A família de modelos Jamba 1.5 da AI21 Labs já está disponível na Amazon Bedrock

Hoje, estamos anunciando a disponibilidade da nova e poderosa família Jamba 1.5 de modelos de grandes linguagens (LLMs) da AI21 Labs em Base rochosa da Amazônia. Esses modelos representam um avanço significativo em recursos de linguagem de contexto longo, fornecendo velocidade, eficiência e desempenho em uma ampla gama de aplicativos. A família de modelos Jamba 1.5 inclui Jamba 1.5 Mini e Jamba 1.5 Massive. Ambos os modelos suportam uma janela de contexto de token de 256K, saída JSON estruturada, chamada de função e são capazes de digerir objetos de documento.

A AI21 Labs é líder na construção de modelos de fundação e sistemas de inteligência synthetic (IA) para empresas. Juntos, a AI21 Labs e a AWS estão capacitando clientes em todos os setores a construir, implantar e dimensionar IA generativa aplicativos que solucionam desafios do mundo actual e estimulam a inovação por meio de uma colaboração estratégica. Com os modelos avançados e prontos para produção do AI21 Labs, juntamente com os serviços dedicados e a infraestrutura poderosa da Amazon, os clientes podem aproveitar os LLMs em um ambiente seguro para moldar o futuro de como processamos informações, nos comunicamos e aprendemos.

O que é Jamba 1.5?
Os modelos Jamba 1.5 aproveitam uma arquitetura híbrida exclusiva que combina a arquitetura do modelo do transformador com Modelo de Espaço de Estado Estruturado (SSM) tecnologia. Essa abordagem inovadora permite que os modelos Jamba 1.5 lidem com janelas de contexto longas de até 256K tokens, mantendo as características de alto desempenho dos modelos de transformadores tradicionais. Você pode aprender mais sobre essa arquitetura híbrida SSM/transformador no Jamba: Um modelo híbrido de linguagem transformadora-mamba whitepaper.

Agora você pode usar dois novos modelos Jamba 1.5 da AI21 no Amazon Bedrock:

• Jamba 1.5 Grande se destaca em tarefas de raciocínio complexas em todos os tamanhos de immediate, o que o torna supreme para aplicações que exigem saídas de alta qualidade em entradas longas e curtas.
• Jamba 1.5 Mini é otimizado para processamento de baixa latência de prompts longos, permitindo análise rápida de documentos e dados extensos.

Os principais pontos fortes dos modelos Jamba 1.5 incluem:

• Tratamento de contexto longo – Com comprimento de contexto de token de 256K, os modelos Jamba 1.5 podem melhorar a qualidade de aplicativos empresariais, como resumo e análise de documentos extensos, bem como fluxos de trabalho RAG e agentic.
• Multilíngue – Suporte para inglês, espanhol, francês, português, italiano, holandês, alemão, árabe e hebraico.
• Fácil de usar para desenvolvedores – Suporte nativo para saída JSON estruturada, chamada de função e capacidade de digerir objetos de documentos.
• Rapidez e eficiência – O AI21 mediu o desempenho dos modelos Jamba 1.5 e compartilhou que os modelos demonstram inferência até 2,5X mais rápida em contextos longos do que outros modelos de tamanhos comparáveis. Para resultados detalhados de desempenho, visite o Anúncio da família modelo Jamba no web site AI21.

Comece com os modelos Jamba 1.5 no Amazon Bedrock
Para começar a usar os novos modelos Jamba 1.5, acesse o Console Amazon Bedrockescolher Acesso ao modelo no painel inferior esquerdo e solicite acesso ao Jamba 1.5 Mini ou Jamba 1.5 Massive.

Para testar os modelos Jamba 1.5 no console Amazon Bedrock, escolha o Texto ou Bater papo playground no painel do menu esquerdo. Em seguida, escolha Selecione o modelo e selecione AI21 como a categoria e Jamba 1.5 Mini ou Jamba 1.5 Grande como modelo.

Ao escolher Exibir solicitação de APIvocê pode obter um exemplo de código de como invocar o modelo usando o Interface de linha de comando da AWS (AWS CLI) com o immediate de exemplo atual.

Você pode seguir o exemplos de código na documentação do Amazon Bedrock para acessar os modelos disponíveis usando SDKs da AWS e criar seus aplicativos usando diversas linguagens de programação.

O exemplo de código Python a seguir mostra como enviar uma mensagem de texto para modelos do Jamba 1.5 usando a API Amazon Bedrock Converse para geração de texto.

import boto3
from botocore.exceptions import ClientError

# Create a Bedrock Runtime shopper.
bedrock_runtime = boto3.shopper("bedrock-runtime", region_name="us-east-1")

# Set the mannequin ID.
# modelId = "ai21.jamba-1-5-mini-v1:0"
model_id = "ai21.jamba-1-5-large-v1:0"

# Begin a dialog with the consumer message.
user_message = "What are 3 enjoyable details about mambas?"
dialog = (
    {
        "function": "consumer",
        "content material": ({"textual content": user_message}),
    }
)

attempt:
    # Ship the message to the mannequin, utilizing a fundamental inference configuration.
    response = bedrock_runtime.converse(
        modelId=model_id,
        messages=dialog,
        inferenceConfig={"maxTokens": 256, "temperature": 0.7, "topP": 0.8},
    )

    # Extract and print the response textual content.
    response_text = response("output")("message")("content material")(0)("textual content")
    print(response_text)

besides (ClientError, Exception) as e:
    print(f"ERROR: Cannot invoke '{model_id}'. Cause: {e}")
    exit(1)

Os modelos Jamba 1.5 são perfeitos para casos de uso como análise de documentos pareados, análise de conformidade e resposta a perguntas para documentos longos. Eles podem comparar facilmente informações em várias fontes, verificar se as passagens atendem a diretrizes específicas e lidar com documentos muito longos ou complexos. Você pode encontrar um código de exemplo no Repositório GitHub AI21-on-AWS. Para saber mais sobre como solicitar modelos Jamba de forma eficaz, confira Documentação do AI21.

Agora disponível
A família de modelos Jamba 1.5 da AI21 Labs está disponível hoje na Amazon Bedrock no Leste dos EUA (Norte da Virgínia) Região AWS. Verifique o lista completa de regiões para atualizações futuras. Para saber mais, confira o Laboratórios AI21 na Amazônia Bedrock página do produto e página de preços.

Experimente os modelos Jamba 1.5 no Console Amazon Bedrock hoje e envie suggestions para AWS re:Put up para Amazon Bedrock ou por meio de seus contatos habituais de suporte da AWS.

Visite nosso comunidade.aws web site para encontrar conteúdo técnico aprofundado e descobrir como nossas comunidades Builder estão usando o Amazon Bedrock em suas soluções.

— Formiga