 |
Durante esse passado AWS Re: Invent, CEO da Amazon, Andy Jassy Compartilhou lições valiosas aprendidas Da própria experiência da Amazon, desenvolvendo quase 1.000 AI generativa Aplicativos em toda a empresa. Com base nessa extensa escala de implantação de IA, Jassy ofereceu três observações principais que moldaram a abordagem da Amazon à implementação da IA corporativa.
Primeiro é que, à medida que você consegue escalar em aplicativos generativos de IA, o custo da computação realmente importa. As pessoas estão com muita fome para um melhor desempenho de preço. O segundo é realmente muito difícil de construir um aplicativo de IA generativo muito bom. O terceiro é a diversidade dos modelos usados quando demos liberdade aos nossos construtores para escolher o que eles querem fazer. Não nos surpreende, porque continuamos aprendendo a mesma lição repetidamente, que nunca haverá uma ferramenta para governar o mundo.
Como Andy enfatizou, uma ampla e profunda gama de modelos fornecidos pelos clientes da Amazon capacita os clientes a escolher os recursos precisos que melhor atendem às suas necessidades exclusivas. Ao monitorar de perto as necessidades do cliente e os avanços tecnológicos, a AWS expande regularmente nossa seleção de modelos com curadoria para incluir novos modelos promissores ao lado dos favoritos estabelecidos da indústria. Essa expansão contínua de ofertas de modelos diferenciadas e de alto desempenho ajuda os clientes a permanecer na vanguarda da inovação da IA.
Isso nos leva à startup de IA chinesa Deepseek. Deepseek foi lançado Deepseek-V3 em dezembro de 2024 e posteriormente lançado Deepseek-r1Deepseek-R1-Zero com 671 bilhões de parâmetros e modelos Deepseek-R1-Distill, variando de 1,5 a 70 bilhões de parâmetros em 20 de janeiro de 2025. Eles adicionaram sua visão baseada em visão Janus-pro-7b modelo em 27 de janeiro de 2025. Os modelos estão disponíveis ao público e são supostamente 90-95% mais acessíveis e econômicos do que modelos comparáveis. De acordo com o Deepseek, seu modelo se destaca por suas capacidades de raciocínio, alcançadas por meio de técnicas de treinamento inovadoras, como o aprendizado de reforço.
Hoje, agora você pode implantar modelos Deepseek-R1 em Amazon Bedrock e Amazon Sagemaker AI. A Amazon Bedrock é melhor para as equipes que buscam integrar rapidamente modelos de fundação pré-treinados por meio de APIs. A Amazon Sagemaker AI é perfect para organizações que desejam personalização, treinamento e implantação avançados, com acesso à infraestrutura subjacente. Além disso, você também pode usar AWS Trainium e AWS Inferentia Para implantar modelos Deepseek-R1-Distill Amazon Elastic Compute Cloud (Amazon EC2) ou Amazon Sagemaker AI.
Com a AWS, você pode usar os modelos Deepseek-R1 para construir, experimentar e escalar com responsabilidade suas idéias generativas de IA usando esse modelo poderoso e econômico com investimento mínimo de infraestrutura. Você também pode impulsionar com confiança a inovação generativa da IA, desenvolvendo serviços da AWS que são projetados exclusivamente para segurança. É altamente recomendável integrar suas implantações dos modelos Deepseek-R1 com Amazon Bedrock Guardrails Para adicionar uma camada de proteção para seus aplicativos generativos de IA, que podem ser usados pelos clientes da Amazon Bedrock e da Amazon Sagemaker AI.
Você pode escolher como implantar modelos Deepseek-R1 na AWS hoje de algumas maneiras: 1// Amazon Bedrock Market Para o modelo Deepseek-R1Assim, 2/ Amazon Sagemaker Jumpstart Para o modelo Deepseek-R1Assim, 3/ Amazon Bedrock CustOM Modelo Importar Para os modelos Deepseek-R1-Distille 4/ Instâncias Amazon EC2 TRN1 Para os modelos Deepseek-R1-Distill.
Deixe-me orientá-lo nos vários caminhos para começar com os modelos Deepseek-R1 na AWS. Esteja você construindo seu primeiro aplicativo de IA ou dimensionando soluções existentes, esses métodos fornecem pontos de partida flexíveis com base na experiência e requisitos da sua equipe.
1. O modelo Deepseek-R1 no Amazon Bedrock Market
Amazon Bedrock Market Oferece mais de 100 FMs populares, emergentes e especializadas, juntamente com a atual seleção de modelos líderes do setor na Amazon Bedrock. Você pode descobrir facilmente modelos em um único catálogo, assinar o modelo e, em seguida, implantar o modelo em pontos de extremidade gerenciados.
Para acessar o modelo Deepseek-R1 no mercado de rock da Amazon, vá para o Console da Amazon Bedrock e selecione Modelo Catálogo sob o Modelos de fundação seção. Você pode encontrar rapidamente o DeepSeek pesquisando ou filtrando por provedores de modelos.
Depois de verificar a página de detalhes do modelo, incluindo os recursos do modelo e as diretrizes de implementação, você pode implantar diretamente o modelo fornecendo um nome de terminal, escolhendo o número de instâncias e selecionando um tipo de instância.
Você também pode configurar opções avançadas que permitem personalizar as configurações de segurança e infraestrutura do modelo Deepseek-R1, incluindo redes VPC, permissões de função de serviço e configurações de criptografia. Para implantações de produção, você deve revisar essas configurações para se alinhar com os requisitos de segurança e conformidade da sua organização.
Com o Amazon Bedrock Guardrails, você pode avaliar independentemente as entradas do usuário e as saídas do modelo. Você pode controlar a interação entre usuários e Deepseek-R1 com o conjunto definido de políticas, filtrando conteúdo indesejável e prejudicial em aplicativos de IA generativos. O modelo Deepseek-R1 no Amazon Bedrock Market só pode ser usado com o Bedrock’s APP APPGUARDRAIL API Para avaliar as entradas do usuário e as respostas do modelo para FMS personalizados e de terceiros disponíveis fora da Amazon Bedrock. Para saber mais, leia Implementar medidas de segurança independentes do modelo com Amazon Bedrock Guardrails.
A Amazon Bedrock Guardrails também pode ser integrada a outras ferramentas de rocha, incluindo Agentes da Amazon Bedrock e Bases de conhecimento da Amazon Bedrock Para construir aplicativos de IA generativos mais seguros e seguros, alinhados com políticas de IA responsáveis. Para saber mais, visite o AWS Responsável IA página.
Ao usar o modelo Deepseek-R1 com Bedrock’s InvokeModel API e o console do playground, use o modelo de bate -papo da Deepseek para obter melhores resultados. Por exemplo, <｜start▁of▁sentence｜><｜Person｜>content material for inference<｜Assistant｜>.
Consulte isso Guia passo a passo Sobre como implantar o modelo Deepseek-R1 no mercado de rochas da Amazon. Para saber mais, visite Implantar modelos no Amazon Bedrock Market.
2. O modelo Deepseek-R1 no Amazon Sagemaker Jumpstart
Amazon Sagemaker Jumpstart é um hub de aprendizado de máquina (ML) com FMS, algoritmos embutidos e soluções ML pré-construídas que você pode implantar com apenas alguns cliques. Para implantar Deepseek-R1 no Sagemaker Jumpstart, você pode descobrir o modelo Deepseek-R1 em Sagemaker Unified StudioAssim, Sagemaker StudioAssim, Sagemaker AI Consoleou programaticamente através do Sagemaker Python SDK.
No Amazon Sagemaker AI ConsoleOpen Sagemaker Unified Studio ou Sagemaker Studio. No caso do Sagemaker Studio, escolha Jumpstart e procurar por “DeepSeek-R1” no Todos os modelos públicos página.
Você pode selecionar o modelo e escolher implantar para criar um terminal com as configurações padrão. Quando o endpoint vem Conservicevocê pode fazer inferências enviando solicitações ao seu terminal.
Você pode derivar o desempenho do modelo e os controles de operações de ML com Amazon Sagemaker AI Recursos como Amazon Sagemaker PipelinesAssim, Depurador da Amazon Sagemakerou logs de contêineres. O modelo é implantado em um ambiente seguro da AWS e, sob seus controles virtuais de nuvem privada (VPC), ajudando a oferecer suporte à segurança dos dados.
Como o mercado de Bedrock, você pode usar o ApplyGuardrail API no Sagemaker Jumpstart para dissipar salvaguardas para seus aplicativos de IA generativos do modelo Deepseek-R1. Agora você pode usar o GuardRails sem invocar o FMS, que abre a porta para uma integração mais integração de salvaguardas corporativas padronizadas e minuciosas para o seu fluxo de aplicativos, independentemente dos modelos utilizados.
Consulte isso Guia passo a passo sobre como implantar Deepseek-R1 no Amazon Sagemaker Jumpstart. Para saber mais, visite Descubra modelos de sagemaker jumpstart no Sagemaker Unified Studio ou Implantar modelos de jumpstart de sagemaker no estúdio de sagemaker.
3. Modelos Deepseek-R1-Distill usando a importação de modelo Amazon Bedrock personalizada
Importação de modelo personalizada da Amazon Bedrock Fornece a capacidade de importar e usar seus modelos personalizados juntamente com o FMS existente através de uma única API unificada e sem servidor, sem a necessidade de gerenciar a infraestrutura subjacente. Com a importação de modelos personalizada da Amazon Bedrock, você pode importar modelos de llama Deepseek-R1-Distill, variando de 1,5-70 bilhão de parâmetros. Como destaquei em meu weblog put up sobre a destilação do modelo Amazon Bedrocko processo de destilação envolve o treinamento de modelos menores e mais eficientes para imitar o comportamento e os padrões de raciocínio do modelo maior de Deepseek-R1 com 671 bilhões de parâmetros usando-o como modelo de professor.
Depois de armazenar esses modelos disponíveis ao público em um Amazon Easy Storage Service (Amazon S3) balde ou um Amazon Sagemaker Mannequin RegistryVá para Modelos importados sob Modelos de fundação no Console da Amazon Bedrock e importá -los e implantá -los em um ambiente totalmente gerenciado e sem servidor através da Amazon Bedrock. Essa abordagem sem servidor elimina a necessidade de gerenciamento de infraestrutura, fornecendo segurança e escalabilidade de nível corporativo.
Consulte isso Guia passo a passo sobre como implantar modelos Deepseek-R1 usando a importação de modelos Amazon Bedrock Customized Mannequin. Para saber mais, visite Importar um modelo personalizado para a Amazon Bedrock.
4. Modelos Deepseek-R1-Distill usando a AWS Trainium e AWS Inferentia
AWS Deep Studying Amis (Dlami) Fornece imagens de máquina personalizadas que você pode usar para aprender profundamente em uma variedade de instâncias do Amazon EC2, desde uma pequena instância somente CPU até as mais recentes instâncias de multi-GPU de alta potência. Você pode implantar os modelos Deepseek-R1-Distill nas instâncias da AWS TrainUIM1 ou AWS Inferentia2 para obter o melhor desempenho de preço.
Para começar, vá para Console do Amazon EC2 e inicie a trn1.32xlarge Instância do EC2 com o Neurônio Multi -Framework Dlami Chamado Deep Studying Ami Neurônio (Ubuntu 22.04).
Depois de se conectar à sua instância EC2 lançada, instale o VLLM, uma ferramenta de código aberto para servir Modelos de idiomas grandes (LLMS) e baixe o modelo Deepseek-R1-Distill de Hugging Face. Você pode implantar o modelo usando VLLM e invocar o servidor de modelos.
Para saber mais, consulte isso Guia passo a passo sobre como implantar modelos de llama Deepseek-R1-Distill na AWS Inferentia e Trainium.
Você também pode visitar o Deepseek-R1-Distill-llama-8b ou Deepseek-AI/Deepseek-R1-Distill-Llama-70B Cartões de modelo em abraçar o rosto. Escolher Implantar e então Amazon Sagemaker. Do AWS Inferentia e Trainium guia, copie o código de exemplo para implantar modelos de llama deepseek-r1-distill.
Desde o lançamento do Deepseek-R1, vários guias de sua implantação para a Amazon EC2 e Amazon Elastic Kubernetes Service (Amazon EKS) foram postados. Aqui está algum materials adicional para você conferir:
Coisas para saber
Aqui estão algumas coisas importantes a saber.
- Preço -Para modelos publicamente disponíveis como Deepseek-R1, você é cobrado apenas o preço da infraestrutura com base nas horas de inferência que seleciona para a Amazon Bedrock Markeplace, o Amazon Sagemaker Jumpstart e o Amazon EC2. Para a importação de modelo personalizada do Bedrock, você é cobrado apenas pela inferência do modelo, com base no número de cópias do seu modelo personalizado, está ativo, cobrado em janelas de 5 minutos. Para saber mais, confira o Preços da Amazon BedrockAssim, Amazon Sagemaker AI Preçose Preços do Amazon EC2 páginas.
- Segurança de dados -Você pode usar os recursos de segurança de nível corporativo no Amazon Bedrock e na Amazon Sagemaker para ajudá-lo a tornar seus dados e aplicativos seguros e privados. Isso significa que seus dados não são compartilhados com os provedores de modelos e não são usados para melhorar os modelos. Isso se aplica a todos os modelos-propiárias e disponíveis publicamente-como os modelos Deepseek-R1 no Amazon Bedrock e na Amazon Sagemaker. Para saber mais, visite Amazon Bedrock Safety and Privateness e Segurança na Amazon Sagemaker AI.
Agora disponível
O Deepseek-R1 geralmente está disponível hoje no Amazon Bedrock Market e no Amazon Sagemaker Jumpstart. Você também pode usar modelos DeepSeek-R1-Distill usando as instâncias de importação de modelos Amazon Bedrock e Amazon EC2 com chips AWS Trainum e Inferentia.
Experimente os modelos Deepseek-R1 hoje no Console da Amazon BedrockAssim, Amazon Sagemaker AI Consolee Console do Amazon EC2e enviar suggestions para AWS Re: Publish for Amazon Bedrock e AWS Re: Publish for Sagemaker AI ou através de seus contatos habituais de suporte da AWS.
– Canal