 |
Hoje estamos Expandindo os modelos da Amazon Nova Household of Basis anunciados na AWS Re: Invent com a disponibilidade geral de Amazon Nova Premiernosso modelo mais capaz para tarefas complexas e professor para destilação de modelos.
Nova Premier se junta ao existente Modelos de compreensão da Amazon Nova disponível em Amazon Bedrock. Semelhante a Nova Lite e Professional, a Premier pode processar texto, imagens e vídeos de entrada (excluindo áudio). Com seus recursos avançados, a Nova Premier se destaca em tarefas complexas que exigem profundo entendimento do contexto, planejamento de vários etapas e execução precisa em várias ferramentas e fontes de dados. Com um comprimento de contexto de um milhão de tokens, a Nova Premier pode processar documentos extremamente longos ou bases de código grandes.
Com Nova Premier e Destilação do modelo da Amazon Bedrockvocê pode criar versões altamente capazes, econômicas e de baixa latência do Nova Professional, Lite e Micro, para suas necessidades específicas. Por exemplo, usamos Nova Premier para destilar a Nova Professional para seleção complexa de ferramentas e chamadas de API. O destilado Nova Professional teve uma precisão 20% maior para invocações de API em comparação com o modelo básico e correspondeu consistentemente ao desempenho do professor, com os benefícios de velocidade e custo do Nova Professional.
Amazon Nova Premier Benchmark Avaliação
Avaliamos a Nova Premier em uma ampla gama de benchmarks nas inteligência de texto, inteligência visible e fluxos de trabalho agênticos. A Nova Premier é o modelo mais capaz da família Nova, conforme medido em 17 benchmarks, como mostrado na tabela abaixo.
A Nova Premier também é comparável aos melhores modelos que não é racha do setor e é igual ou melhor em aproximadamente metade desses benchmarks quando comparada a outros modelos na mesma camada de inteligência. Detalhes dessas avaliações estão no Relatório Técnico.
A Nova Premier também é o modelo mais rápido e mais econômico da Amazon Bedrock para sua camada de inteligência. Para mais detalhes e comparação sobre preços, consulte o Página de preços de rocha.
A Nova Premier também pode ser usada como modelo de professor para destilação, o que significa que você pode transferir seus recursos avançados para um caso de uso específico para modelos menores, mais rápidos e mais eficientes, como Nova Professional, Micro e Lite, para implantações de produção.
Usando a Amazon Nova Premier
Para começar com Nova Premier, você primeiro precisa solicitar acesso ao modelo no Console da Amazon Bedrock. Navegar para Acesso ao modelo No painel de navegação, encontre Nova Premiere alternar o acesso.
Depois de ter acesso, você pode usar o NOVA Premier através do API Amazon Bedrock Converse fornecendo entrada em uma lista de mensagens do consumer e o assistant. As mensagens podem incluir texto, imagens e vídeos. Aqui está um exemplo de uma invocação direta usando o AWS SDK para Python (BOTO3):
import boto3
import json
AWS_REGION = "us-east-1"
MODEL_ID = "us.amazon.nova-premier-v1:0"
bedrock_runtime = boto3.shopper('bedrock-runtime', region_name=AWS_REGION)
messages = (
{
"function": "consumer",
"content material": (
{
"textual content": "Clarify the variations between vector databases and conventional relational databases for AI purposes."
}
)
}
)
response = bedrock_runtime.converse(
modelId=MODEL_ID,
messages=messages
)
response_text = response("output")("message")("content material")(-1)("textual content")
print(response_text)
Este exemplo mostra como a Nova Premier pode fornecer explicações detalhadas para questões técnicas complexas. Mas o verdadeiro poder do Premier vem com sua capacidade de lidar com fluxos de trabalho sofisticados.
Caso de uso de colaboração multi-agente
Vamos explorar um cenário mais complexo que mostra como Nova Premier trabalha uma arquitetura de colaboração multi-agente para pesquisa de investimento.
O processo de pesquisa de ações normalmente envolve vários estágios: identificar fontes de dados relevantes para investimentos específicos, recuperar as informações necessárias dessas fontes e sintetizar os dados em informações acionáveis. Esse processo se torna cada vez mais complexo ao lidar com diferentes tipos de instrumentos financeiros, como índices de ações, ações individuais e moedas.
Podemos construir esse tipo de aplicativo usando Colaboração multi-agente na Amazon Bedrockcom Nova Premier ligando o agente do supervisor que orquestra todo o fluxo de trabalho. O agente do supervisor analisa a consulta inicial (por exemplo, “Quais são as tendências emergentes nos investimentos em energia renovável?”), Divida em etapas lógicas, determina quais subagentes especializados para se envolver e sintetiza a resposta ultimate.
Para esse cenário, criei um sistema com os seguintes componentes:
- Um agente de supervisor alimentado por Nova Premier
- Vários subagentes especializados alimentados pelo Nova Professional, cada um com foco em diferentes fontes de dados financeiros
- Ferramentas que se conectam a bancos de dados financeiros, ferramentas de análise de mercado e outras fontes de informação relevantes
Quando envio uma consulta sobre tendências emergentes em investimentos em energia renovável, o agente do supervisor alimentado por Nova Premier faz o seguinte:
- Analisa a consulta para determinar os tópicos e fontes subjacentes para cobrir
- Seleciona os subagentes apropriados específicos para esses tópicos e fontes
- Cada subagente recupera seus indicadores econômicos relevantes, análise técnica e dados de sentimentos de mercado
- O agente do supervisor sintetiza essas informações em um relatório abrangente para revisão por um profissional financeiro
A utilização da Nova Premier em uma arquitetura de colaboração multi-agente, como essa, simplifica o trabalho do profissional financeiro e os ajuda a formular sua análise de investimento mais rapidamente. O vídeo a seguir fornece uma descrição visible desse cenário.
A principal vantagem do uso da NOVA Premier para a função do supervisor é sua precisão na coordenação de fluxos de trabalho complexos, para que as fontes de dados certas sejam consultadas na sequência ideally suited e cada subagente receba na entrada das informações corretas para seu trabalho, resultando em informações de maior qualidade.
Colaboração multi-agente com destilação do modelo
Embora a Nova Premier forneça o mais alto nível de precisão de sua família de modelos, convém otimizar a latência e o custo em ambientes de produção. É aqui que a força de Nova Premier como modelo de professora para destilação se torna interessante. Usando Destilação do modelo da Amazon Bedrockpodemos personalizar a Nova Micro a partir dos resultados da Nova Premier para este caso de uso específico de pesquisa de investimentos.
Diferentemente do ajuste fino tradicional que requer suggestions humano e exemplos rotulados, com a destilação do modelo, você pode gerar dados de treinamento de alta qualidade, fazendo com que um modelo de professor produza as saídas desejadas, simplificando o processo de aquisição de dados.
O processo para destilar um modelo envolve:
- Gerando dados de treinamento sintético capturando a entrada e saída da Nova Premier executa em vários instrumentos financeiros
- Usando esses dados como referência para treinar uma versão personalizada do Nova Micro através de ferramentas de ajuste fino personalizadas
- Avaliando a diferença na latência e no desempenho do micro modelo personalizado
- Implantando o micro modelo personalizado como agente de supervisor na produção
Com a Amazon Bedrock, você pode simplificar ainda mais o processo e Use logs de invocação para preparação de dados. Para fazer isso, você precisa definir o login de invocação do modelo e configurar um Amazon Easy Storage Service (Amazon S3) Bucket como o destino dos logs.
Vozes do cliente
Alguns de nossos clientes tiveram acesso antecipado ao Nova Premier. Isso é o que eles compartilharam conosco:
“A Amazon Nova Premier tem sido excelente em sua capacidade de executar fluxos de trabalho de análise interativa, enquanto ainda é mais rápido e quase metade do custo em comparação com outros modelos principais em nossos testes”, disse Curtis AllenEngenheiro de equipe sênior em Folgauma empresa que reúne conversas, aplicativos e clientes em um só lugar.
“A implementação de novas soluções construídas no topo da Amazon Nova nos ajudou com nossa missão de democratizar as finanças para todos”, disse Dev GuareChefe de IA e dados em Mercados de Robinhooduma empresa em uma missão para democratizar as finanças para todos. “Estamos particularmente empolgados com a capacidade de explorar novas avenidas, como colaborações multi-agentes complexas que não são apenas com exceção de desempenho, mas também econômicas e rápidas. A inteligência do Nova Premier e o que pode ser transferido para outros modelos como Nova Micro, Nova Lite e NOVA PRO Unlocks Multi-Agent, a uma efficiency, preço e velocidade e velocidade que farão de TI.
“Acelerar as implantações de IA do mundo real-não apenas protótipos-exige a capacidade de criar modelos especializados para as necessidades exclusivas de aplicativos do mundo actual”, disse Henry Ehrenbergco-fundador de Snorkel aiuma empresa de tecnologia que capacita os cientistas e desenvolvedores de dados a transformar rapidamente dados em aplicativos de IA precisos e adaptáveis. “Estamos empolgados em ver a AWS impulsionando a personalização eficiente do modelo com a destilação do modelo Amazon Bedrock e o Amazon Nova Premier. Esses novos recursos de modelo têm o potencial de acelerar nossos clientes corporativos na construção de aplicativos de AI de produção, incluindo aplicativos de perguntas e respostas com dados multimodais e muito mais.”
Coisas para saber
A Nova Premier está disponível na Amazon Bedrock, nos EUA, leste (N. Virginia), US East (Ohio) e US West (Oregon) Regiões da AWS hoje by way of Inferência de região cruzada. Com a Amazon Bedrock, você paga apenas pelo que usa. Para mais informações, visite Preços da Amazon Bedrock.
Os clientes nos EUA também podem acessar os modelos Amazon Nova em https://nova.amazon.comum website para explorar facilmente nosso FMS.
A Nova Premier é nossa melhor professora para destilar variantes personalizadas do Nova Professional, Micro e Lite, o que significa que você pode capturar os recursos oferecidos pela Premier em modelos menores e mais rápidos para implantação de produção.
Nova Premier inclui controles de segurança internos para promover AI responsável Use, com recursos de moderação de conteúdo que ajudam a manter as saídas apropriadas em uma ampla gama de aplicativos.
Para começar com Nova Premier, visite o Console da Amazon Bedrock hoje. Para mais informações, consulte o Guia do usuário da Amazon Nova e enviar suggestions para AWS Re: Submit for Amazon Bedrock. Discover a seção generativa de IA de nosso Neighborhood.aws Website para ver como nossas comunidades construtoras estão usando a Amazon Bedrock em suas soluções.
– Danilo
Como está o weblog de notícias? Pegue isso 1 minuto de pesquisa!
(Esse enquete é hospedado por uma empresa externa. AWS lida com suas informações conforme descrito no Aviso de privacidade da AWS. A AWS possuirá os dados coletados por meio desta pesquisa e não compartilharão as informações coletadas com os entrevistados.)