 |
Em julho, nós anunciou a disponibilidade dos modelos Llama 3.1 no Amazon Bedrock. IA generativa a tecnologia está melhorando a uma velocidade incrível e hoje temos o prazer de apresentar o novo Modelos de lhama 3.2 da Meta em Base Amazônica.
Llama 3.2 oferece visão multimodal e modelos leves que representam o mais recente avanço da Meta em modelos de linguagem grande (LLMs) e fornecendo recursos aprimorados e aplicabilidade mais ampla em vários casos de uso. Com foco em inovação responsável e segurança em nível de sistemaesses novos modelos demonstram desempenho de última geração em uma ampla gama de benchmarks do setor e apresentam recursos que ajudam você a construir uma nova geração de experiências de IA.
Esses modelos são projetados para inspirar os construtores com raciocínio de imagem e são mais acessíveis para aplicações de ponta, abrindo mais possibilidades com IA.
A coleção de modelos Llama 3.2 é oferecida em vários tamanhos, desde modelos leves de parâmetros 1B e 3B somente texto, adequados para dispositivos de borda, até modelos de parâmetros 11B e 90B de pequeno e médio porte, capazes de tarefas de raciocínio sofisticadas, incluindo suporte multimodal para imagens de alta resolução. Llama 3.2 11B e 90B são os primeiros modelos Llama a suportar tarefas de visão, com uma nova arquitetura de modelo que integra representações de codificador de imagem ao modelo de linguagem. Os novos modelos foram projetados para serem mais eficientes para cargas de trabalho de IA, com latência reduzida e desempenho aprimorado, tornando-os adequados para uma ampla gama de aplicações.
Todos os modelos do Llama 3.2 suportam um comprimento de contexto de 128K, mantendo a capacidade expandida de token introduzida no Llama 3.1. Além disso, os modelos oferecem suporte multilíngue aprimorado para oito idiomas, incluindo inglês, alemão, francês, italiano, português, hindi, espanhol e tailandês.
Além do texto existente capaz Modelos Lhama 3.1 8B, 70B e 405Bo Llama 3.2 oferece suporte a casos de uso multimodais. Agora você pode usar quatro novos modelos Llama 3.2 — 90B, 11B, 3B e 1B — do Meta no Amazon Bedrock para construir, experimentar e dimensionar suas ideias criativas:
Llama 3.2 90B Imaginative and prescient (entrada de texto + imagem) – O modelo mais avançado da Meta, preferrred para aplicações de nível empresarial. Este modelo é excelente em conhecimento geral, geração de textos longos, tradução multilíngue, codificação, matemática e raciocínio avançado. Ele também introduz recursos de raciocínio de imagem, permitindo tarefas de compreensão de imagem e raciocínio visible. Este modelo é preferrred para os seguintes casos de uso: legenda de imagens, recuperação de texto de imagem, fundamentação visible, resposta visible a perguntas e raciocínio visible e resposta visible a perguntas documentadas.
Llama 3.2 11B Imaginative and prescient (entrada de texto + imagem) – Adequado para criação de conteúdo, IA de conversação, compreensão de linguagem e aplicativos empresariais que exigem raciocínio visible. O modelo demonstra forte desempenho em resumo de texto, análise de sentimento, geração de código e seguimento de instruções, com a capacidade adicional de raciocinar sobre imagens. Os casos de uso deste modelo são semelhantes à versão 90B: legenda de imagens, recuperação de texto de imagem, fundamentação visible, resposta visible a perguntas e raciocínio visible e resposta visible a perguntas documentais.
Lhama 3.2 3B (entrada de texto) – Projetado para aplicações que exigem inferência de baixa latência e recursos computacionais limitados. É excelente em tarefas de resumo de texto, classificação e tradução de idiomas. Este modelo é preferrred para os seguintes casos de uso: assistentes de escrita móveis com tecnologia de IA e aplicativos de atendimento ao cliente.
Lhama 3.2 1B (entrada de texto) – O modelo mais leve da coleção de modelos Llama 3.2, perfeito para recuperação e resumo para dispositivos de ponta e aplicativos móveis. Este modelo é preferrred para os seguintes casos de uso: gerenciamento de informações pessoais e recuperação de conhecimento multilíngue.
Além disso, o Llama 3.2 é construído sobre o Pilha de lhamauma interface padronizada para a construção de componentes canônicos do conjunto de ferramentas e aplicativos de agente, tornando a construção e a implantação mais fáceis do que nunca. Os adaptadores e distribuições da API Llama Stack são projetados para aproveitar de forma mais eficaz os recursos do modelo Llama e oferecem aos clientes a capacidade de comparar modelos Llama em diferentes fornecedores.
A Meta testou o Llama 3.2 em mais de 150 conjuntos de dados de benchmark abrangendo vários idiomas e conduziu extensas avaliações humanas, demonstrando desempenho competitivo com outros modelos básicos líderes. Vamos ver como esses modelos funcionam na prática.
Usando modelos Llama 3.2 no Amazon Bedrock
Para começar com os modelos Llama 3.2, navego até o Console Amazon Bedrock e escolha Acesso ao modelo no painel de navegação. Lá solicito acesso aos novos modelos Llama 3.2: Llama 3.2 1B, 3B, 11B Imaginative and prescient e 90B Imaginative and prescient.
Para testar a nova capacidade de visão, abro outra aba do navegador e faço obtain do Website Nosso Mundo em Dados o Parcela de eletricidade gerada por energias renováveis gráfico em formato PNG. O gráfico tem resolução muito alta e eu o redimensiono para 1024 pixels de largura.
De volta ao console Amazon Bedrock, eu escolho Bater papo sob Parques infantis no painel de navegação, selecione meta como a categoria e escolha o Lhama 3.2 90B Visão modelo.
eu uso Escolha os arquivos para selecionar a imagem do gráfico redimensionada e usar este immediate:
Primarily based on this chart, which international locations in Europe have the very best share?
eu escolho Correr e o modelo analisa a imagem e retorna seus resultados:
Também posso acessar os modelos programaticamente usando o Interface de linha de comando da AWS (AWS CLI) e SDKs da AWS. Comparado ao uso dos modelos Llama 3.1, só preciso atualize os IDs do modelo conforme descrito na documentação. Eu também posso usar o novo endpoint de inferência entre regiões para os EUA e as regiões da UE. Esses endpoints funcionam para qualquer região dos EUA e da UE, respectivamente. Por exemplo, os pontos finais de inferência entre regiões para o modelo Llama 3.2 90B Imaginative and prescient são:
us.meta.llama3-2-90b-instruct-v1:0eu.meta.llama3-2-90b-instruct-v1:0
Aqui está um exemplo de comando da AWS CLI usando o API Amazon Bedrock Converse. eu uso o --query parâmetro da CLI para filtrar o resultado e mostrar apenas o conteúdo de texto da mensagem de saída:
Na saída, recebo a mensagem de resposta do "assistant".
Não é muito diferente se você usar um dos AWS SDKs. Por exemplo, veja como você pode usar Python com o SDK da AWS para Python (Boto3) para analisar a mesma imagem do exemplo do console:
import boto3
MODEL_ID = "us.meta.llama3-2-90b-instruct-v1:0"
# MODEL_ID = "eu.meta.llama3-2-90b-instruct-v1:0"
IMAGE_NAME = "share-electricity-renewable-small.png"
bedrock_runtime = boto3.shopper("bedrock-runtime")
with open(IMAGE_NAME, "rb") as f:
picture = f.learn()
user_message = "Primarily based on this chart, which international locations in Europe have the very best share?"
messages = (
{
"function": "person",
"content material": (
{"picture": {"format": "png", "supply": {"bytes": picture}}},
{"textual content": user_message},
),
}
)
response = bedrock_runtime.converse(
modelId=MODEL_ID,
messages=messages,
)
response_text = response("output")("message")("content material")(0)("textual content")
print(response_text)Os modelos Llama 3.2 também estão disponíveis no Amazon SageMaker JumpStartum aprendizado de máquina (ML) hub que facilita a implantação de modelos pré-treinados usando o console ou programaticamente por meio do SDK do SageMaker para Python. No SageMaker JumpStart, você também pode acessar e implantar novos modelos de proteção que podem ajudar a classificar o nível de segurança das entradas (prompts) e saídas (respostas) do modelo, incluindo o Llama Guard 3 11B Imaginative and prescient, que são projetados para apoiar a inovação responsável e o nível do sistema. segurança.
Além disso, você pode ajustar facilmente os modelos Llama 3.2 1B e 3B com o SageMaker JumpStart hoje mesmo. Modelos ajustados podem então ser importados como modelos personalizados para o Amazon Bedrock. O ajuste fino para a coleção completa de modelos Llama 3.2 no Amazon Bedrock e no Amazon SageMaker JumpStart estará disponível em breve.
Os pesos disponíveis publicamente dos modelos Llama 3.2 facilitam o fornecimento de soluções personalizadas para necessidades personalizadas. Por exemplo, você pode ajustar um modelo Llama 3.2 para um caso de uso específico e traga-o para o Amazon Bedrock como um modelo personalizadopotencialmente superando outros modelos em tarefas específicas de domínio. Esteja você ajustando para melhorar o desempenho em áreas como criação de conteúdo, compreensão de linguagem ou raciocínio visible, a disponibilidade do Llama 3.2 no Amazon Bedrock e no SageMaker permite que você crie recursos de IA exclusivos e de alto desempenho que podem diferenciar suas soluções .
Mais sobre a arquitetura do modelo Llama 3.2
O Llama 3.2 baseia-se no sucesso de seus antecessores com uma arquitetura avançada projetada para desempenho e versatilidade ideais:
Modelo de linguagem auto-regressivo – Em sua essência, o Llama 3.2 usa uma arquitetura de transformador otimizada, permitindo gerar texto prevendo o próximo token com base no contexto anterior.
Técnicas de ajuste fino – As versões ajustadas às instruções do Llama 3.2 empregam duas técnicas principais:
- Ajuste fino supervisionado (SFT) – Este processo adapta o modelo para seguir instruções específicas e gerar respostas mais relevantes.
- Aprendizagem por reforço com suggestions humano (RLHF) – Esta técnica avançada alinha os resultados do modelo com as preferências humanas, aumentando a utilidade e a segurança.
Capacidades multimodais – Para os modelos Imaginative and prescient 11B e 90B, o Llama 3.2 introduz uma nova abordagem para a compreensão de imagens:
- Os pesos do adaptador de raciocínio de imagem treinados separadamente são integrados aos pesos principais do LLM.
- Esses adaptadores são conectados ao modelo principal através de mecanismos de atenção cruzada. A atenção cruzada permite que uma seção do modelo se concentre em partes relevantes da saída de outro componente, permitindo o fluxo de informações entre diferentes seções do modelo.
- Quando uma imagem é inserida, o modelo trata o processo de raciocínio da imagem como uma operação de “uso de ferramenta”, permitindo uma análise visible sofisticada juntamente com o processamento de texto. Neste contexto, uso de ferramentas é o termo genérico usado quando um modelo utiliza recursos ou funções externas para aumentar suas capacidades e completar tarefas de forma mais eficaz.
Inferência otimizada – Todos os modelos suportam atenção de consulta agrupada (GQA), o que aumenta a velocidade e a eficiência da inferência, particularmente benéfico para o modelo 90B maior.
Essa arquitetura permite que o Llama 3.2 lide com uma ampla gama de tarefas, desde geração e compreensão de texto até raciocínio complexo e análise de imagens, tudo isso mantendo alto desempenho e adaptabilidade em diferentes tamanhos de modelos.
Coisas para saber
Modelos de lhama 3.2 da Meta agora estão geralmente disponíveis em Base Amazônica no seguinte Regiões da AWS:
- Os modelos Llama 3.2 1B e 3B estão disponíveis nas regiões Oeste dos EUA (Oregon) e Europa (Frankfurt) e estão disponíveis nas regiões Leste dos EUA (Ohio, Norte da Virgínia) e Europa (Irlanda, Paris) by way of inferência entre regiões.
- Os modelos Llama 3.2 11B Imaginative and prescient e 90B Imaginative and prescient estão disponíveis na região Oeste dos EUA (Oregon) e nas regiões Leste dos EUA (Ohio, Norte da Virgínia) by way of inferência entre regiões.
Verifique o lista completa de regiões da AWS para atualizações futuras. Para estimar seus custos, visite o Página de preços do Amazon Bedrock.
Para saber mais sobre como você pode usar os modelos Llama 3.2 11B e 90B para dar suporte a tarefas de visão, leia o Casos de uso de visão com modelos Llama 3.2 11B e 90B da Meta poste no canal do weblog do AWS Machine Studying.
AWS e Meta também estão colaborando para trazer modelos Llama menores para aplicativos em dispositivos, apresentando os novos modelos 1B e 3B. Para obter mais informações, consulte o Oportunidades para telecomunicações com modelos de linguagem pequena: Insights da AWS e Meta poste no canal do weblog AWS for Industries.
Para saber mais sobre os recursos e capacidades do Llama 3.2, visite o Seção de modelos de lhama da documentação do Amazon Bedrock. Experimente o Llama 3.2 no Console Amazon Bedrock hoje e envie suggestions para AWS re:Publish para Amazon Bedrock.
Você pode encontrar conteúdo técnico aprofundado e descobrir como nossas comunidades Builder estão usando o Amazon Bedrock em comunidade.aws. Deixe-nos saber o que você constrói com o Llama 3.2 no Amazon Bedrock!
– Danilo