Modelos de peso aberto open agora disponíveis na AWS


Modelos de peso aberto open agora disponíveis na AWS

A AWS está comprometida em trazer a você o mais avançado Modelos de fundação (FMS) No setor, expandir continuamente nossa seleção para incluir modelos inovadores dos principais inovadores da IA, para que você sempre tenha acesso aos mais recentes avanços para impulsionar seus negócios.

Hoje, fico feliz em anunciar a disponibilidade de dois novos Modelos OpenAI com pesos abertos em Amazon Bedrock e Amazon Sagemaker Jumpstart. Openai GPT-OSS-120B e GPT-OSS-20B Os modelos são projetados para geração de texto e tarefas de raciocínio, oferecendo a desenvolvedores e organizações novas opções para criar aplicativos de IA com controle completo sobre sua infraestrutura e dados.

Esses modelos de peso aberto se destacam na codificação, análise científica e raciocínio matemático, com desempenho comparável às principais alternativas. Ambos os modelos suportam uma janela de contexto de 128k e fornecem níveis de raciocínio ajustáveis (baixo/médio/alto) para atender aos seus requisitos específicos de casos de uso. Os modelos suportam ferramentas externas para aprimorar seus recursos e podem ser usados em um fluxo de trabalho agêntico, por exemplo, usando uma estrutura como Agentes fios.

Com a Amazon Bedrock e a Amazon Sagemaker Jumpstart, a AWS oferece a liberdade de inovar com o acesso a centenas de FMS das principais empresas de IA, incluindo modelos de peso aberto do OpenAi. Com nossa seleção abrangente de modelos, você pode combinar suas cargas de trabalho de IA com o modelo perfeito sempre.

Através da Amazon Bedrock, você pode experimentar perfeitamente modelos, misturar e combinar recursos e alternar entre provedores sem reescrever o código – tira Escolha do modelo Em uma vantagem estratégica que ajuda você a evoluir continuamente sua estratégia de IA à medida que surgem novas inovações. Esses novos modelos estão disponíveis no Bedrock por meio de um terminal compatível com o OpenAI. Você pode apontar o SDK OpenAI para este ponto de extremidade ou usar a rocha Invokemodel e Converse API.

Com o Sagemaker Jumpstart, você pode avaliar, comparar e personalizar rapidamente modelos para o seu caso de uso. Você pode implantar o modelo unique ou personalizado em produção com o console da AI da Sagemaker ou usando o Sagemaker Python SDK.

Vamos ver como eles funcionam na prática.

Introdução com modelos de peso aberto open em Amazon Bedrock
No Console da Amazon BedrockEu escolho Acesso ao modelo do Configure e aprenda Seção do painel de navegação. Em seguida, navego para os dois modelos OpenAI listados nesta página e solicito acesso.

Captura de tela do console

Agora que tenho acesso, eu uso o Bate -papo/teste Playground para testar e avaliar os modelos. Eu seleciono Openai como categoria e então GPT-OSS-120B modelo.

Captura de tela do console

Usando este modelo, executo o seguinte immediate de amostra:

Uma família tem US $ 5.000 para economizar para suas férias no próximo ano. Eles podem colocar o dinheiro em uma conta de poupança, obtendo juros de 2% anualmente ou em um certificado de depósito que obtém 4% de juros anualmente, mas sem acesso aos fundos até as férias. Se eles precisam de US $ 1.000 para despesas de emergência durante o ano, como eles devem dividir seu dinheiro entre as duas opções para maximizar o fundo de férias?

Este immediate gera uma saída que inclui a cadeia de pensamento usada para produzir o resultado.

Eu posso usar esses modelos com o SDK OpenAI configurando o endpoint da API (URL base) e usando um Chave da API da Amazon Bedrock para autenticação. Por exemplo, eu defino essas variáveis de ambiente para usar o terminal da região da AWS do oeste (Oregon) dos EUA (us-west-2) e minha chave de API da Amazon Bedrock:

export OPENAI_API_KEY=""
export OPENAI_BASE_URL="https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1"

Agora eu invoco o modelo usando o SDK do Openai Python.

from openai import OpenAI

shopper = OpenAI()

response = shopper.chat.completions.create( 
    messages=({ "position": "consumer", "content material": "Inform me the sq. root of 42 ^ 3" }),
    mannequin="openai.gpt-oss-120b-1:0",
    stream=False
)

for merchandise in response:
    print(merchandise)

Eu salvo o código (test-openai.py arquivo), instale as dependências e execute o agente localmente:

pip set up openai
python test-openai.py

Para construir um agente de IA, posso escolher qualquer estrutura que suporta a API da Amazon Bedrock ou a API Openai. Por exemplo, aqui está o código inicial para agentes de fios usando a API da Amazon Bedrock:

from strands import Agent
from strands.fashions import BedrockModel

bedrock_model = BedrockModel(
    model_id="openai.gpt-oss-120b-1:0",
    region_name="us-west-2",
    streaming=False
)

agent = Agent(
    mannequin=bedrock_model
)

agent("Inform me the sq. root of 42 ^ 3")

Eu salvo o código (test-strands.py arquivo), instale as dependências e execute o agente localmente:

pip set up strands-agents
python test-strands.py

Quando estou satisfeito com o agente, posso implantar em produção usando o Recursos oferecidos pela Amazon Bedrock Agentcoreincluindo um tempo de execução sem servidor totalmente gerenciado e gerenciamento de memória e identidade.

Introdução com modelos de peso aberto open no Amazon Sagemaker Jumpstart
No Amazon Sagemaker AI Consolevocê pode usar modelos de peso aberto open no Sagemaker Studio. A primeira vez que faço isso, preciso configurar um domínio de sagema. Existem opções para configurá -lo para um único usuário (mais simples) ou uma organização. Para esses testes, eu uso uma única configuração de usuário.

No Sagemaker Jumpstart Visualização do modelo, tenho acesso a uma descrição detalhada do GPT-OSS-120B ou GPT-OSS-20B modelo.

Eu escolho o Modelo GPT-20B e depois implante o modelo. Nas próximas etapas, seleciono o tipo de instância e a contagem inicial da instância. Depois de alguns minutos, a implantação cria um ponto de extremidade que eu posso invocar no Sagemaker Studio e usando qualquer AWS SDKS.

Para saber mais, visite Os modelos GPT OSS do OpenAI estão agora disponíveis no Sagemaker Jumpstart no weblog de inteligência synthetic da AWS.

Coisas para saber
O novo Modelos de peso aberto open agora estão disponíveis em Amazon Bedrock No oeste dos EUA (Oregon) Região da AWSenquanto Amazon Sagemaker Jumpstart Suporta esses modelos nos EUA East (Ohio, N. Virgínia) e Ásia -Pacífico (Mumbai, Tóquio).

Cada modelo vem equipado com recursos de saída da cadeia de pensamentos completos, fornecendo visibilidade detalhada no processo de raciocínio do modelo. Essa transparência é particularmente valiosa para aplicações que exigem altos níveis de interpretabilidade e validação. Esses modelos oferecem a liberdade de modificar, adaptar e personalizá -los às suas necessidades específicas. Essa flexibilidade permite ajustar os modelos para seus casos de uso exclusivos, integrá-los aos seus fluxos de trabalho existentes e até mesmo desenvolver para criar novos modelos especializados, adaptados ao seu setor ou aplicativo.

A segurança e a segurança são incorporadas ao núcleo desses modelos, com processos abrangentes de avaliação e medidas de segurança. Os modelos mantêm a compatibilidade com o tokenizador GPT-4 padrão.

Ambos os modelos podem ser usados em seu ambiente preferido, seja através da experiência sem servidor da Amazon Bedrock ou da extensa aprendizado de máquina (ML) Capacidades de desenvolvimento do Sagemaker Jumpstart. Para obter informações sobre os custos associados ao uso desses modelos e serviços, visite o Preços da Amazon Bedrock e Amazon Sagemaker AI Preços páginas.

Para saber mais, consulte o parâmetros para os modelos e o API de conclusão de bate -papo na documentação da Amazon Bedrock.

Comece hoje com modelos de peso aberto open no AWS no Console da Amazon Bedrock ou em Amazon Sagemaker AI Console.

Danilo

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *