 |
Há quatro meses, nós apresentou Claude 3.5 da Anthropic no Amazon Bedrockelevando o nível da indústria em termos de inteligência de modelo de IA, mantendo ao mesmo tempo a velocidade e o custo de Soneto de Cláudio 3.
Hoje, tenho o prazer de anunciar três novos recursos para o Família de modelos Claude 3.5 no Amazon Bedrock:
Soneto Claude 3.5 atualizado – Agora você tem acesso a um modelo Claude 3.5 Sonnet atualizado que se baseia nos pontos fortes de seu antecessor, oferecendo ainda mais inteligência pelo mesmo custo. O Claude 3.5 Sonnet continua a melhorar sua capacidade de resolver tarefas de engenharia de software program do mundo actual e seguir fluxos de trabalho complexos e de agência. O Claude 3.5 Sonnet atualizado ajuda em todo o ciclo de vida de desenvolvimento de software program, desde o design inicial até correções de bugs, manutenção e otimizações. Com esses recursos, o modelo Claude 3.5 Sonnet atualizado pode ajudar a construir chatbots mais avançados com um tom caloroso e humano. Outros casos de uso em que o modelo atualizado se destaca incluem plataformas de perguntas e respostas de conhecimento, extração de dados de recursos visuais como gráficos e diagramas e automação de tarefas e operações repetitivas.
Uso do computador – Claude 3.5 Sonnet agora oferece recursos de uso de computador no Amazon Bedrock em versão beta pública, permitindo que Claude perceba e interaja com interfaces de computador. Os desenvolvedores podem orientar Claude a usar os computadores da mesma forma que as pessoas: olhando para uma tela, movendo o cursor, clicando em botões e digitando texto. Isso funciona dando ao modelo acesso a ferramentas integradas que podem retornar ações do computador, como pressionamentos de teclas e cliques do mouse, edição de arquivos de texto e execução de comandos shell. Os desenvolvedores de software program podem integrar o uso do computador em suas soluções construindo uma camada de execução de ação e concedendo acesso à tela do Claude 3.5 Sonnet. Dessa forma, os desenvolvedores de software program podem construir aplicativos com a capacidade de realizar ações no computador, seguir diversas etapas e verificar seus resultados. O uso do computador abre novas possibilidades para aplicações baseadas em IA. Por exemplo, pode ajudar a automatizar testes de software program e tarefas de again workplace e implementar assistentes de software program mais avançados que podem interagir com os aplicativos. Dado que esta tecnologia é precoce, os desenvolvedores são incentivados a explorar tarefas de menor risco e usá-las em um ambiente sandbox.
Claude 3.5 Haiku – O novo Claude 3.5 Haiku será lançado em breve e combina tempos de resposta rápidos com capacidades de raciocínio aprimoradas, tornando-o splendid para tarefas que exigem velocidade e inteligência. O Claude 3.5 Haiku melhora seu antecessor e iguala o desempenho do Claude 3 Opus (anteriormente o maior modelo de Claude) com a velocidade e o custo do Claude 3 Haiku. Claude 3.5 Haiku pode ajudar em casos de uso como sugestões de código rápidas e precisas, chatbots altamente interativos que precisam de tempos de resposta rápidos para atendimento ao cliente, soluções de comércio eletrônico e plataformas educacionais. Para clientes que lidam com grandes volumes de dados não estruturados em finanças, saúde, pesquisa e muito mais, o Claude 3.5 Haiku pode ajudar a processar e categorizar informações com eficiência.
De acordo com a Anthropic, o Claude 3.5 Sonnet atualizado oferece melhorias generalizadas em relação ao seu antecessor, com ganhos significativos na codificação, uma área onde já se destacou. O Claude 3.5 Sonnet atualizado mostra amplas melhorias nos benchmarks do setor. Na codificação, melhora o desempenho no SWE-bench Verified de 33% para 49%, pontuando mais alto do que todos os modelos disponíveis publicamente. Também melhora o desempenho no banco TAU, uma tarefa de uso de ferramenta de agência, de 62,6% para 69,2% no domínio de varejo e de 36,0% para 46,0% no domínio de companhias aéreas. A tabela a seguir inclui as avaliações dos modelos fornecidos pela Anthropic.
Uso do computador, uma nova fronteira na interação com IA
Em vez de restringir o modelo ao uso de APIs, Claude foi treinado em conhecimentos gerais de informática, permitindo-lhe usar uma ampla gama de ferramentas e programas de software program padrão. Dessa forma, os aplicativos podem usar Claude para perceber e interagir com interfaces de computador. Os desenvolvedores de software program podem integrar esta API para permitir que Claude traduza solicitações (por exemplo, “encontre um resort em Roma”) em comandos de computador específicos (abrir um navegador, navegar neste website e assim por diante).
Mais especificamente, ao invocar o modelo, os desenvolvedores de software program agora têm acesso a três novas ferramentas integradas que fornecem um conjunto digital de mãos para operar um computador:
- Ferramenta de computador – Esta ferramenta pode receber como entrada uma captura de tela e um objetivo e retornar uma descrição das ações do mouse e teclado que devem ser realizadas para atingir esse objetivo. Por exemplo, esta ferramenta pode pedir para mover o cursor para uma posição específica, clicar, digitar e fazer capturas de tela.
- Ferramenta de edição de texto – Usando esta ferramenta, o modelo pode solicitar a realização de operações como visualizar o conteúdo do arquivo, criar novos arquivos, substituir texto e desfazer edições.
- Ferramenta Bash – Esta ferramenta retorna comandos que podem ser executados em um sistema de computador para interagir em um nível inferior como um usuário digitando em um terminal.
Essas ferramentas abrem um mundo de possibilidades para automatizar tarefas complexas, desde análise de dados e testes de software program até criação de conteúdo e administração de sistemas. Think about um aplicativo desenvolvido por Claude 3.5 Sonnet interagindo com o computador como um ser humano faria, navegando por diversas ferramentas de desktop, incluindo terminais, editores de texto, navegadores de web, e também capaz de preencher formulários e até mesmo depurar código.
Estamos entusiasmados em ajudar os desenvolvedores de software program a explorar esses novos recursos com o Amazon Bedrock. Esperamos que esta capacidade melhore rapidamente nos próximos meses, e a capacidade atual de Claude de usar computadores tem limites. Algumas ações como rolar, arrastar ou aplicar zoom podem apresentar desafios para Claude, e encorajamos você a começar a explorar tarefas de baixo risco.
Ao olhar para OSWorlduma referência para agentes multimodais em ambientes computacionais reais, o Claude 3.5 Sonnet atualizado atualmente obtém 14,9%. Embora as competências a nível humano estejam muito à frente, com cerca de 70-75%, este resultado é muito melhor do que os 7,7% obtidos pelo segundo melhor modelo na mesma categoria.
Usando o Claude 3.5 Sonnet atualizado no console Amazon Bedrock
Para começar com o Claude 3.5 Sonnet atualizado, navego até o Console Amazon Bedrock e escolha Acesso ao modelo no painel de navegação. Lá, solicito acesso para o novo Claude 3.5 Soneto V2 modelo.
Para testar a nova capacidade de visão, abro outra aba do navegador e faço obtain do Website Nosso Mundo em Dados o Geração de energia eólica gráfico em formato PNG.
De volta ao console Amazon Bedrock, eu escolho Bate-papo/texto sob Parques infantis no painel de navegação. Para o modelo, eu seleciono Antrópico como fornecedor do modelo e depois Claude 3.5 Soneto V2.
Eu uso os três pontos verticais na seção de entrada do chat para fazer add do arquivo de imagem do meu computador. Então eu insiro este immediate:
That are the highest nations for wind energy era? Reply solely in JSON.
O resultado segue minhas instruções e retorna a lista extraindo as informações da imagem.
Usando o Claude 3.5 Sonnet atualizado com AWS CLI e SDKs
Aqui está uma amostra Interface de linha de comando da AWS (AWS CLI) comando usando o API Amazon Bedrock Converse. eu uso o --query parâmetro da CLI para filtrar o resultado e mostrar apenas o conteúdo de texto da mensagem de saída:
Na saída, recebo este texto na resposta.
An anchor! You throw an anchor out if you need to use it to cease a ship, however you are taking it in (pull it up) when you do not need to use it and need to transfer the boat.
O SDKs da AWS implementar uma interface semelhante. Por exemplo, você pode usar o SDK da AWS para Python (Boto3) para analisar a mesma imagem do exemplo do console:
import boto3
MODEL_ID = "anthropic.claude-3-5-sonnet-20241022-v2:0"
IMAGE_NAME = "wind-generation.png"
bedrock_runtime = boto3.consumer("bedrock-runtime")
with open(IMAGE_NAME, "rb") as f:
picture = f.learn()
user_message = "That are the highest nations for wind energy era? Reply solely in JSON."
messages = (
{
"position": "consumer",
"content material": (
{"picture": {"format": "png", "supply": {"bytes": picture}}},
{"textual content": user_message},
),
}
)
response = bedrock_runtime.converse(
modelId=MODEL_ID,
messages=messages,
)
response_text = response("output")("message")("content material")(0)("textual content")
print(response_text)
Integrando o uso do computador com seu aplicativo
Vamos ver como funciona o uso do computador na prática. Primeiro, tiro um instantâneo da área de trabalho de um sistema Ubuntu:
Esta captura de tela é o ponto de partida para as etapas que serão implementadas pelo uso do computador. Para ver como isso funciona, executo um script Python passando como entrada para o modelo a imagem da captura de tela e este immediate:
Discover me a resort in Rome.
Este script invoca o Claude 3.5 Sonnet atualizado no Amazon Bedrock usando a nova sintaxe necessária para uso no computador:
import base64
import json
import boto3
MODEL_ID = "anthropic.claude-3-5-sonnet-20241022-v2:0"
IMAGE_NAME = "ubuntu-screenshot.png"
bedrock_runtime = boto3.consumer(
"bedrock-runtime",
region_name="us-east-1",
)
with open(IMAGE_NAME, "rb") as f:
picture = f.learn()
image_base64 = base64.b64encode(picture).decode("utf-8")
immediate = "Discover me a resort in Rome."
physique = {
"anthropic_version": "bedrock-2023-05-31",
"max_tokens": 512,
"temperature": 0.5,
"messages": (
{
"position": "consumer",
"content material": (
{"sort": "textual content", "textual content": immediate},
{
"sort": "picture",
"supply": {
"sort": "base64",
"media_type": "picture/jpeg",
"knowledge": image_base64,
},
},
),
}
),
"instruments": (
{ # new
"sort": "computer_20241022", # literal / fixed
"identify": "pc", # literal / fixed
"display_height_px": 1280, # min=1, no max
"display_width_px": 800, # min=1, no max
"display_number": 0 # min=0, max=N, default=None
},
{ # new
"sort": "bash_20241022", # literal / fixed
"identify": "bash", # literal / fixed
},
{ # new
"sort": "text_editor_20241022", # literal / fixed
"identify": "str_replace_editor", # literal / fixed
}
),
"anthropic_beta": ("computer-use-2024-10-22"),
}
# Convert the native request to JSON.
request = json.dumps(physique)
strive:
# Invoke the mannequin with the request.
response = bedrock_runtime.invoke_model(modelId=MODEL_ID, physique=request)
besides Exception as e:
print(f"ERROR: {e}")
exit(1)
# Decode the response physique.
model_response = json.masses(response("physique").learn())
print(model_response)
O corpo da solicitação inclui novas opções:
anthropic_betacom valor("computer-use-2024-10-22")para permitir o uso do computador.- O
instrumentsseção suporta um novosortopção (definida comocustomizedpara as ferramentas que você configura). - Observe que a ferramenta do computador precisa saber a resolução da tela (
display_height_pxedisplay_width_px).
Para seguir minhas instruções ao usar o computador, o modelo fornece ações que operam na área de trabalho descritas na captura de tela de entrada.
A resposta do modelo inclui uma tool_use seção do pc ferramenta que fornece o primeiro passo. A modelo encontrou na captura de tela o ícone do navegador Firefox e a posição da seta do mouse. Por causa disso, agora pede para mover o mouse para coordenadas específicas para iniciar o navegador.
{
"id": "msg_bdrk_01WjPCKnd2LCvVeiV6wJ4mm3",
"sort": "message",
"position": "assistant",
"mannequin": "claude-3-5-sonnet-20241022",
"content material": (
{
"sort": "textual content",
"textual content": "I will show you how to seek for a resort in Rome. I see Firefox browser on the desktop, so I will use that to entry a journey web site.",
},
{
"sort": "tool_use",
"id": "toolu_bdrk_01CgfQ2bmQsPFMaqxXtYuyiJ",
"identify": "pc",
"enter": {"motion": "mouse_move", "coordinate": (35, 65)},
},
),
"stop_reason": "tool_use",
"stop_sequence": None,
"utilization": {"input_tokens": 3443, "output_tokens": 106},
}Este é apenas o primeiro passo. Tal como acontece com as solicitações normais de uso da ferramenta, o script deve responder com o resultado do uso da ferramenta (movendo o mouse neste caso). Com base na solicitação inicial de reserva de um resort, haveria um ciclo de interações de uso da ferramenta que pediria para clicar no ícone, digitar uma URL no navegador e assim por diante até que o resort fosse reservado.
Um exemplo mais completo está disponível neste repositório compartilhado pela Anthropic.
Coisas para saber
O atualizado Soneto de Cláudio 3.5 está disponível hoje em Base Amazônica no oeste dos EUA (Oregon) Região AWS e é oferecido pelo mesmo custo do Soneto Claude 3.5 unique. Para obter informações atualizadas sobre a disponibilidade regional, consulte o Documentação do Amazon Bedrock. Para obter informações detalhadas sobre custos de cada modelo Claude, visite o Página de preços do Amazon Bedrock.
Além da maior inteligência do modelo atualizado, os desenvolvedores de software program agora podem integrar o uso do computador (disponível em versão beta pública) em seus aplicativos para automatizar fluxos de trabalho complexos de desktop, aprimorar processos de teste de software program e criar aplicativos mais sofisticados com tecnologia de IA.
Claude 3.5 Haiku será lançado nas próximas semanas, inicialmente como modelo somente texto e posteriormente com entrada de imagem.
Você pode ver como o uso do computador pode ajudar na codificação neste vídeo com Alex AlbertoChefe de Relações com Desenvolvedores da Anthropic.
Esse outro vídeo descreve o uso do computador para automatizar operações.
Para saber mais sobre esses novos recursos, visite o Seção de modelos Claude da documentação do Amazon Bedrock. Experimente o Claude 3.5 Sonnet atualizado no Console Amazon Bedrock hoje e envie suggestions para AWS re:Submit para Amazon Bedrock. Você pode encontrar conteúdo técnico aprofundado e descobrir como nossas comunidades Builder estão usando o Amazon Bedrock em comunidade.aws. Deixe-nos saber o que você constrói com esses novos recursos!
– Danilo