 |
Hoje estamos anunciando aceleração de GPU sem servidor e otimização automática para índice vetorial em Serviço Amazon OpenSearch que ajuda você a construir bancos de dados de vetores em grande escala com mais rapidez e custos mais baixos e otimizar automaticamente índices de vetores para obter compensações ideais entre qualidade, velocidade e custo da pesquisa.
Aqui estão os novos recursos introduzidos hoje:
- Aceleração de GPU – Você pode criar bancos de dados vetoriais até 10 vezes mais rápido por um quarto do custo de indexação em comparação com a aceleração sem GPU, e pode criar bancos de dados vetoriais em escala de bilhões em menos de uma hora. Com ganhos significativos em economia de custos e velocidade, você obtém uma vantagem no tempo de lançamento no mercado, na velocidade da inovação e na adoção da pesquisa vetorial em escala.
- Otimização automática – Você pode encontrar o melhor equilíbrio entre latência de pesquisa, qualidade e requisitos de memória para seu campo vetorial sem precisar de experiência em vetores. Essa otimização ajuda você a obter melhores economias de custos e taxas de recall em comparação com configurações de índice padrão, enquanto o ajuste guide do índice pode levar semanas para ser concluído.
Você pode usar esses recursos para criar bancos de dados vetoriais de maneira mais rápida e econômica no OpenSearch Service. Você pode usá-los para potencializar aplicativos generativos de IA, pesquisar catálogos de produtos e bases de conhecimento e muito mais. Você pode ativar a aceleração de GPU e a otimização automática ao criar um novo domínio ou coleção OpenSearch, bem como atualizar um domínio ou coleção existente.
Vamos ver como funciona!
Aceleração de GPU para índice vetorial
Quando você habilita a aceleração de GPU em seu domínio do OpenSearch Service ou coleção sem servidor, o OpenSearch Service detecta automaticamente oportunidades para acelerar suas cargas de trabalho de indexação de vetores. Essa aceleração ajuda a construir as estruturas de dados vetoriais em seu domínio do OpenSearch Service ou coleção Serverless.
Você não precisa provisionar as instâncias de GPU, gerenciar seu uso ou pagar pelo tempo ocioso. O OpenSearch Service isola com segurança suas cargas de trabalho aceleradas do seu domínio ou coleção Nuvem privada digital da Amazon (Amazon VPC) dentro da sua conta. Você paga apenas pelo processamento útil por meio dos preços OpenSearch Compute Items (OCU) – Vector Acceleration.
Para ativar a aceleração da GPU, vá para o Console do serviço OpenSearch e escolha Habilitar aceleração GPU no Recursos avançados seção ao criar ou atualizar seu domínio do OpenSearch Service ou coleção Serverless.
Você pode usar o seguinte Interface de linha de comando da AWS (AWS CLI) comando para ativar a aceleração de GPU para um domínio existente do OpenSearch Service.
$ aws opensearch update-domain-config
--domain-name my-domain
--aiml-options '{"ServerlessVectorAcceleration": {"Enabled": true}}'
Você pode criar um índice vetorial otimizado para processamento de GPU. Este índice de exemplo armazena vetores de 768 dimensões para incorporações de texto, permitindo index.knn.remote_index_build.enabled.
PUT my-vector-index
{
"settings": {
"index.knn": true,
"index.knn.remote_index_build.enabled": true
},
"mappings": {
"properties": {
"vector_field": {
"kind": "knn_vector",
"dimension": 768,
},
"textual content": {
"kind": "textual content"
}
}
}
}Agora você pode adicionar dados vetoriais e otimizar seu índice usando operações padrão do OpenSearch Service usando a API em massa. A aceleração da GPU é aplicada automaticamente às operações de indexação e mesclagem forçada.
POST my-vector-index/_bulk
{"index": {"_id": "1"}}
{"vector_field": (0.1, 0.2, 0.3, ...), "textual content": "Pattern doc 1"}
{"index": {"_id": "2"}}
{"vector_field": (0.4, 0.5, 0.6, ...), "textual content": "Pattern doc 2"}Executamos benchmarks de construção de índice e observamos ganhos de velocidade com a aceleração da GPU variando entre 6,4 a 13,8 vezes. Fique ligado para mais benchmarks e mais detalhes nas próximas postagens.
Para saber mais, visite Aceleração de GPU para indexação vetorial no Guia do desenvolvedor do Amazon OpenSearch Service.
Bancos de dados vetoriais com otimização automática
Você pode usar o novo recurso de ingestão de vetores para assimilar documentos de Serviço de armazenamento simples da Amazon (Amazon S3)gere incorporações de vetores, otimize índices automaticamente e crie índices de vetores em grande escala em minutos. Durante a ingestão, a otimização automática gera recomendações com base nos campos vetoriais e nos índices do domínio do OpenSearch Service ou da coleção Serverless. Você pode escolher uma dessas recomendações para ingerir e indexar rapidamente seu conjunto de dados vetoriais em vez de configurar manualmente esses mapeamentos.
Para começar, escolha Ingestão de vetores sob o Ingestão menu no painel de navegação esquerdo do Console do serviço OpenSearch.
Você pode criar um novo trabalho de ingestão de vetores com as seguintes etapas:
- Preparar conjunto de dados – Put together documentos parquet do OpenSearch Service em um bucket S3 e escolha um domínio ou coleção para seu destino.
- Configure índices e automatize otimizações – Otimize automaticamente seus campos vetoriais ou configure-os manualmente.
- Ingerir e acelerar a indexação – Use pipelines de ingestão do OpenSearch para carregar dados do Amazon S3 no OpenSearch Service. Crie grandes índices vetoriais até 10 vezes mais rápido por um quarto do custo.
Em Etapa 2configure seu índice vetorial com campo vetorial de otimização automática. A otimização automática está atualmente limitada a um campo vetorial. Outros mapeamentos de índice podem ser inseridos após a conclusão do trabalho de otimização automática.
As configurações de otimização do campo vetorial dependem do seu caso de uso. Por exemplo, se você precisar de alta qualidade de pesquisa (taxa de recall) e não precisar de respostas mais rápidas, escolha Modesto para o Requisitos de latência (p90) e maior ou igual a 0,9 para o Qualidade de pesquisa aceitável (recall). Quando você cria um trabalho, ele começa a ingerir dados vetoriais e a otimizar automaticamente o índice vetorial. O tempo de processamento depende da dimensionalidade do vetor.
Para saber mais, visite Índice vetorial de otimização automática no Guia do desenvolvedor do OpenSearch Service.
Agora disponível
A aceleração de GPU no Amazon OpenSearch Service agora está disponível nas regiões Leste dos EUA (Norte da Virgínia), Oeste dos EUA (Oregon), Ásia-Pacífico (Sydney), Ásia-Pacífico (Tóquio) e Europa (Irlanda). A otimização automática no OpenSearch Service agora está disponível nas regiões Leste dos EUA (Ohio), Leste dos EUA (Norte da Virgínia), Oeste dos EUA (Oregon), Ásia-Pacífico (Mumbai), Ásia-Pacífico (Cingapura), Ásia-Pacífico (Sydney), Ásia-Pacífico (Tóquio), Europa (Frankfurt) e Europa (Irlanda).
O OpenSearch Service cobra separadamente pelo OCU – Vector Acceleration usado apenas para indexar seus bancos de dados de vetores. Para mais informações, visitePágina de preços do serviço OpenSearch.
Experimente e envie suggestions para o AWS re:Publish para Amazon OpenSearch Service ou por meio de seus contatos habituais do AWS Assist.
– Channy