Anunciando os modelos Llama 3.1 405B, 70B e 8B da Meta na Amazon Bedrock


Anunciando os modelos Llama 3.1 405B, 70B e 8B da Meta na Amazon Bedrock

Hoje, estamos anunciando a disponibilidade geral de Modelos Llama 3.1 na Amazon Bedrock. Os modelos Llama 3.1 são os modelos mais avançados e capazes da Meta até o momento. Os modelos Llama 3.1 são uma coleção de modelos de tamanho de parâmetro 8B, 70B e 405B que demonstram desempenho de última geração em uma ampla gama de benchmarks da indústria e oferecem novos recursos para o seu inteligência synthetic generativa (IA generativa) formulários.

Todos os modelos Llama 3.1 suportam um comprimento de contexto de 128K (um aumento de 120K tokens em relação ao Llama 3), que tem 16 vezes a capacidade de Lhama 3 modelos e raciocínio aprimorado para casos de uso de diálogo multilíngue em oito idiomas, incluindo inglês, alemão, francês, italiano, português, hindi, espanhol e tailandês.

Agora você pode usar três novos modelos Llama 3.1 da Meta em Base rochosa da Amazônia para construir, experimentar e dimensionar de forma responsável suas ideias de IA generativa:

  • Lhama 3.1 405B é o maior website de notícias do mundo disponível ao público modelo de linguagem grande (LLM) de acordo com Meta. O modelo outline um novo padrão para IA e é perfect para aplicações de nível empresarial e pesquisa e desenvolvimento (P&D). É perfect para tarefas como geração de dados sintéticos onde as saídas do modelo podem ser usadas para melhorar modelos Llama menores e destilações modelo para transferir conhecimento para modelos menores do modelo 405B. Este modelo se destaca em conhecimento geral, geração de texto longo, tradução multilíngue, tradução automática, codificação, matemática, uso de ferramentas, compreensão contextual aprimorada e raciocínio e tomada de decisão avançados. Para saber mais, visite o AWS Machine Studying Weblog sobre usando Llama 3.1 405B para gerar dados sintéticos para destilação modelo.
  • Lhama 3.1 70B é perfect para criação de conteúdo, IA conversacional, compreensão de linguagem, P&D e aplicativos empresariais. O modelo se destaca em sumarização e precisão de texto, classificação de texto, análise de sentimento e raciocínio de nuance, modelagem de linguagem, sistemas de diálogo, geração de código e acompanhamento de instruções.
  • Lhama 3.1 8B é mais adequado para poder computacional e recursos limitados. O modelo se destaca em sumarização de texto, classificação de texto, análise de sentimento e tradução de linguagem que exigem inferência de baixa latência.

A Meta mediu o desempenho do Llama 3.1 em mais de 150 conjuntos de dados de benchmark que abrangem uma ampla gama de idiomas e avaliações humanas extensivas. Como você pode ver no gráfico a seguir, o Llama 3.1 supera o Llama 3 em todas as principais categorias de benchmarking.

Para saber mais sobre os recursos e capacidades do Llama 3.1, visite o Cartão modelo Llama 3.1 de Meta e Modelos de lhama na documentação da AWS.

Você pode aproveitar o Llama 3.1 IA responsável capacidades, combinadas com os recursos de governança de dados e avaliação de modelos do Amazon Bedrock para criar aplicativos de IA generativa seguros e confiáveis ​​com confiança.

  • Guarda-corpos para leito rochoso da Amazônia – Ao criar vários guardrails com diferentes configurações adaptadas a casos de uso específicos, você pode usar Guardrails para promover interações seguras entre usuários e seus aplicativos de IA generativa implementando salvaguardas personalizadas para seus casos de uso e políticas de IA responsáveis. Com Guarda-corpos para leito rochoso da Amazôniavocê pode monitorar e analisar continuamente as entradas do usuário e as respostas do modelo que podem violar as políticas definidas pelo cliente, detectar alucinações em respostas do modelo que não são baseadas em dados corporativos ou são irrelevantes para a consulta do usuário e avaliar em diferentes modelos, incluindo modelos personalizados e de terceiros. Para começar, visite Crie um guarda-corpo na documentação da AWS.
  • Avaliação de modelo no Amazon Bedrock – Você pode avaliar, comparar e selecionar os melhores modelos Llama para seu caso de uso em apenas algumas etapas usando avaliação automática ou avaliação humana. Com avaliação de modelo no Amazon Bedrockvocê pode escolher a avaliação automática com métricas predefinidas, como precisão, robustez e toxicidade. Como alternativa, você pode escolher fluxos de trabalho de avaliação humana para métricas subjetivas ou personalizadas, como relevância, estilo e alinhamento à voz da marca. A avaliação do modelo fornece conjuntos de dados com curadoria integrados ou você pode trazer seus próprios conjuntos de dados. Para começar, visite Comece com a avaliação do modelo na documentação da AWS.

Para saber mais sobre como manter seus dados e aplicativos seguros e privados na AWS, visite o Segurança e privacidade do Amazon Bedrock página.

Introdução aos modelos Llama 3.1 no Amazon Bedrock
Se você é novo no uso de modelos Llama do Meta, vá para o Console Amazon Bedrock na região oeste dos EUA (Oregon) e escolha Acesso ao modelo no painel inferior esquerdo. Para acessar os modelos mais recentes do Llama 3.1 da Meta, solicite acesso separadamente para Lhama 3.1 8B Instruir, Lhama 3.1 70B Instruirou Lhama 3.1 450B Instruir.

Para testar os modelos Llama 3.1 no console Amazon Bedrock, escolha Texto ou Bater papo sob Parques infantis no painel do menu esquerdo. Em seguida, escolha Selecione o modelo e selecione Meta como a categoria e Lhama 3.1 8B Instruir, Lhama 3.1 70B Instruirou Lhama 3.1 405B Instruir como modelo.

No exemplo a seguir, selecionei o Lhama 3.1 405B Instruir modelo.

Escolhendo Exibir solicitação de APIvocê também pode acessar o modelo usando exemplos de código no Interface de linha de comando da AWS (AWS CLI) e SDKs da AWS. Você pode usar IDs de modelo como meta.llama3-1-8b-instruct-v1, meta.llama3-1-70b-instruct-v1 ou meta.llama3-1-405b-instruct-v1.

Aqui está um exemplo do comando AWS CLI:

aws bedrock-runtime invoke-model 
  --model-id meta.llama3-1-405b-instruct-v1:0 
--body "{"immediate":" (INST)You're a very clever bot with distinctive important considering(/INST) I went to the market and acquired 10 apples. I gave 2 apples to your pal and a couple of to the helper. I then went and acquired 5 extra apples and ate 1. What number of apples did I stay with? Let's assume step-by-step.","max_gen_len":512,"temperature":0.5,"top_p":0.9}" 
  --cli-binary-format raw-in-base64-out 
  --region us-west-2 
  invoke-model-output.txt

Você pode usar exemplos de código para modelos Llama no Amazon Bedrock usando AWS SDKs para construir seus aplicativos usando várias linguagens de programação. Os seguintes exemplos de código Python mostram como enviar uma mensagem de texto para Llama usando a Amazon Bedrock Converse API para geração de texto.

import boto3
from botocore.exceptions import ClientError

# Create a Bedrock Runtime shopper within the AWS Area you wish to use.
shopper = boto3.shopper("bedrock-runtime", region_name="us-west-2")

# Set the mannequin ID, e.g., Llama 3 8b Instruct.
model_id = "meta.llama3-1-405b-instruct-v1:0"

# Begin a dialog with the consumer message.
user_message = "Describe the aim of a 'hiya world' program in a single line."
dialog = (
    {
        "function": "consumer",
        "content material": ({"textual content": user_message}),
    }
)

attempt:
    # Ship the message to the mannequin, utilizing a primary inference configuration.
    response = shopper.converse(
        modelId=model_id,
        messages=dialog,
        inferenceConfig={"maxTokens": 512, "temperature": 0.5, "topP": 0.9},
    )

    # Extract and print the response textual content.
    response_text = response("output")("message")("content material")(0)("textual content")
    print(response_text)

besides (ClientError, Exception) as e:
    print(f"ERROR: Cannot invoke '{model_id}'. Purpose: {e}")
    exit(1)

Você também pode usar todos os modelos Llama 3.1 (8B, 70B e 405B) em Amazon SageMaker JumpStart. Você pode descobrir e implantar modelos Llama 3.1 com alguns cliques em Estúdio Amazon SageMaker ou programaticamente através do SageMaker Python SDK. Você pode operar seus modelos com recursos do SageMaker, como Pipelines do SageMaker, Depurador SageMakerou logs de contêiner sob seus controles de nuvem privada digital (VPC), que ajudam a fornecer segurança de dados.

O ajuste fino para modelos Llama 3.1 no Amazon Bedrock e Amazon SageMaker JumpStart chegará em breve. Ao construir modelos ajustados no SageMaker JumpStart, você também poderá importe seus modelos personalizados no Amazon Bedrock. Para saber mais, visite Os modelos Meta Llama 3.1 agora estão disponíveis no Amazon SageMaker JumpStart no weblog de aprendizado de máquina da AWS.

Para clientes que desejam implantar modelos Llama 3.1 na AWS por meio de fluxos de trabalho de aprendizado de máquina autogerenciados para maior flexibilidade e controle dos recursos subjacentes, Treinamento AWS e Inferência da AWS-alimentado Nuvem de computação elástica da Amazon (Amazon EC2) instâncias permitem implantação de alto desempenho e custo-efetiva de modelos Llama 3.1 na AWS. Para saber mais, visite Os chips de IA da AWS oferecem alto desempenho e baixo custo para os modelos Meta Llama 3.1 sobre AWS no weblog de aprendizado de máquina da AWS.

Vozes do cliente
Para comemorar este lançamento, Parkin Kent, gerente de desenvolvimento de negócios da Meta, fala sobre o poder da colaboração entre a Meta e a Amazon, destacando como a Meta e a Amazon estão trabalhando juntas para expandir os limites do que é possível com IA generativa.

Descubra como os negócios dos clientes estão alavancando modelos Llama no Amazon Bedrock para aproveitar o poder da IA ​​generativa. A Nomura, um grupo international de serviços financeiros que abrange 30 países e regiões, está democratizando a IA generativa em sua organização usando modelos Llama no Amazon Bedrock.

A TaskUs, fornecedora líder de serviços digitais terceirizados e experiência de cliente de última geração para as empresas mais inovadoras do mundo, está ajudando clientes a representar, proteger e expandir suas marcas usando modelos Llama no Amazon Bedrock.

Agora disponível
Os modelos Llama 3.1 405B, 70B e 8B da Meta estão disponíveis hoje na Amazon Bedrock na região Oeste dos EUA (Oregon). Verifique o lista completa de regiões para atualizações futuras. Para saber mais, confira o Lhama na página do produto Amazon Bedrock e a Preços do Amazon Bedrock página.

Experimente o Llama 3.1 no Console Amazon Bedrock hoje e envie suggestions para AWS re:Submit para Amazon Bedrock ou por meio de seus contatos habituais de suporte da AWS.

Visite nosso comunidade.sítio aws para encontrar conteúdo técnico aprofundado e descobrir como nossas comunidades Builder estão usando o Amazon Bedrock em suas soluções. Deixe-me saber o que você constrói com o Llama 3.1 no Amazon Bedrock!

Channy

23 de julho de 2024 – Postagem atualizada para adicionar nova captura de tela para acesso ao modelo e vídeo do cliente apresentando o TaskUs.
25 de julho de 2024 – Postagem atualizada para indicar que o Llama 3.1 405B já está disponível para o público em geral.



Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *