Google apresenta acesso ao Bigtable SQL e novos recursos prontos para IA do Spanner


Google apresenta acesso ao Bigtable SQL e novos recursos prontos para IA do Spanner

Eugene Mymrin/Getty Photos

Na quinta-feira, o Google anunciou uma série de melhorias no banco de dados e na análise de dados em sua arquitetura de dados na nuvem.

Neste artigo, vamos nos concentrar nas melhorias substanciais do Spanner e do Bigtable (duas das ofertas de banco de dados em nuvem do Google). Esses anúncios aumentam substancialmente a interoperabilidade e abrem a porta para implementações adicionais de IA por meio do uso de novos recursos que o Google está apresentando.

Também: Custo de violação de dados sobe 10%, mas IA ajuda a limitar alguns danos

Chave Inglesa é o banco de dados international em nuvem do Google. Ele se destaca em fornecer consistência mundial (o que é muito mais difícil de implementar do que parece) devido a uma infinidade de problemas relacionados ao tempo que o Google resolveu. Ele também é escalável, o que significa que o banco de dados pode crescer muito e abranger países e regiões. Ele é multimodal, o que significa que ele suporta dados de mídia e não apenas texto. Ele também é tudo gerenciado por meio de consultas SQL (Structured Question Language).

Mesa grande também é altamente escalável (daí o “huge” em Bigtable). Seu foco são colunas muito amplas que podem ser adicionadas rapidamente e não precisam ser definidas uniformemente em todas as linhas. Ele também tem latência muito baixa e alto rendimento. Até agora, ele foi caracterizado como um banco de dados NoSQL, um termo usado para descrever bancos de dados não relacionais que permitem esquemas flexíveis e organização de dados.

Ambas as ferramentas fornecem suporte para bancos de dados empresariais gigantes. O Spanner é geralmente uma escolha melhor para aplicativos que usam um banco de dados distribuído globalmente que requer consistência robusta e imediata e transações complexas. O Bigtable é melhor se alto rendimento for importante. O Bigtable tem uma forma de consistência, mas atrasos de propagação significam que os dados não serão imediatamente, mas eventualmente, consistentes.

Anúncios do Bigtable

O Bigtable é consultado principalmente por meio de chamadas de API. Um dos maiores e mais inovadores recursos anunciados hoje são as consultas SQL para o Bigtable.

Isso é enorme do ponto de vista das habilidades de programação. Em um Pesquisa Stack Overflow 2023 do uso de linguagem de programação, SQL ficou em quarto lugar, com 48,66% dos programadores usando-a. Não houve menção ao Bigtable na pesquisa do Stack Overflow, então recorri ao LinkedIn para obter alguma perspectiva. Uma busca rápida por empregos contendo “SQL” resultou em mais de 400.000 resultados. Enquanto isso, uma busca por “Bigtable” resultou em 1.561 resultados, menos de 1% do número SQL.

Também: Google atualiza Pesquisa para combater deepfakes e rebaixar websites que os publicam

Então, enquanto qualquer número de pessoas que conhece SQL poderia ter aprendido como fazer chamadas de API do Bigtable, SQL significa que a curva de aprendizado foi achatada para quase zero. Quase um em cada dois desenvolvedores agora pode usar a nova interface SQL para o Bigtable para escrever consultas sempre que precisarem.

Uma observação, no entanto: esta atualização do Bigtable não suporta todo o SQL. O Google, no entanto, implementou mais de 100 funções e promete mais por vir.

Também na tabela Bigtable está a introdução de contadores distribuídos. Contadores são recursos como soma, média e outras funções matemáticas relacionadas. O Google está introduzindo a capacidade de obter essas agregações de dados em tempo actual com um nível muito alto de rendimento e em vários nós em um cluster Bigtable, o que permite que eles executem funções de análise e agregação simultaneamente em todas as fontes.

Isso permite que você faça coisas como calcular o engajamento diário, encontrar valores máximos e mínimos a partir de leituras de sensores e assim por diante. Com o Bigtable, você pode implantar isso em projetos de grande escala que precisam de insights rápidos e em tempo actual e que não podem suportar gargalos normalmente vindos da agregação por nó e, em seguida, da agregação dos nós. São números grandes, rápidos.

Anúncios de chaves inglesas

O Google tem uma série de grandes anúncios do Spanner que movem a ferramenta de banco de dados para fornecer suporte a projetos de IA. O grande é a introdução do Spanner Graph, que adiciona recursos de banco de dados de gráfico à funcionalidade de banco de dados distribuído international no núcleo do Spanner.

Não confunda “banco de dados de gráficos” com “gráficos”. O termo significa que os nós e conexões do banco de dados podem ser ilustrados como um gráfico. Se você já ouviu o termo “gráfico social” em referência ao Fb, sabe o que é um banco de dados de gráficos. Pense nos nós como entidades, como pessoas, lugares, itens, and so on., e as conexões (também chamadas de arestas) como os relacionamentos entre as entidades.

O gráfico social do Fb, por exemplo, contém todas as pessoas com quem você tem relacionamentos, depois todas as pessoas com quem elas têm relacionamentos, e assim por diante.

O Spanner agora pode armazenar e gerenciar nativamente esse tipo de dado, o que é uma grande novidade para implementações de IA. Isso dá às implementações de IA uma maneira international, altamente consistente e sem região de representar vastas informações de relacionamento. Isso é poderoso para travessia (encontrar um caminho ou explorar uma rede), correspondência de padrões (identificar grupos que correspondem a um certo padrão), análise de centralidade (determinar quais nós são mais importantes do que os outros nós) e detecção de comunidade (encontrar clusters de nós que compõem um cluster de algum tipo, como uma vizinhança).

Também: OpenAI lança o tão aguardado Modo de Voz avançado, mas há um porém

Junto com a representação de dados do gráfico, o Spanner agora suporta GQL (Graph Question Language), uma linguagem padrão da indústria para executar consultas poderosas em gráficos. Ele também funciona com SQL, o que significa que os desenvolvedores podem usar SQL e GQL na mesma consulta. Isso pode ser um grande negócio para aplicativos que precisam peneirar dados de linha e coluna e discernir relacionamentos na mesma consulta.

O Google também está introduzindo duas novas modalidades de busca no Spanner: texto completo e vetor. Texto completo é algo com o qual a maioria das pessoas está familiarizada — a capacidade de buscar dentro de texto, como artigos e documentos, por um determinado padrão.

A busca por vetores transforma palavras (ou até mesmo documentos inteiros) em números que são representações matemáticas dos dados. Eles são chamados de “vetores” e essencialmente capturam a intenção, o significado ou a essência do texto authentic. As consultas também são transformadas em vetores (representações numéricas), então quando um aplicativo realiza uma pesquisa, ele procura outros vetores que são matematicamente próximos uns dos outros — essencialmente calculando similaridade.

Os vetores podem ser muito poderosos porque as correspondências não precisam mais ser exatas. Por exemplo, um aplicativo que consulta “ficção policial” saberia procurar por “romances de mistério”, “seguro residencial” também funcionaria para “cobertura de propriedade” e “luminárias de mesa” também funcionaria para “iluminação de mesa”.

Você pode ver como esse tipo de correspondência de similaridade seria benéfica para análise de IA. No caso de Spanner, essas correspondências de similaridade poderiam funcionar em dados armazenados em diferentes continentes ou racks de servidores.

Abrindo dados para insights mais profundos

De acordo com Relatório de tendências de dados e IA do Google 202452% dos usuários não técnicos pesquisados ​​já estão usando IA generativa para fornecer insights de dados. Quase dois terços dos entrevistados acreditam que a IA causará uma “democratização do acesso a insights”, essencialmente permitindo que não programadores façam novas perguntas sobre seus dados sem exigir que um programador os incorpore em código. 84% acreditam que a IA generativa fornecerá esses insights mais rapidamente.

Eu concordo. Sou um usuário técnico, mas quando alimentei Bate-papoGPT alguns dados brutos do meu servidor, e o resultado foi uma análise de negócios poderosa e útil em minutos, sem precisar escrever uma linha de código, Percebi que a IA mudaria o jogo para o meu negócio.

Também: O momento em que percebi que o ChatGPT Plus mudaria o jogo para o meu negócio

Aqui está o problema. De acordo com a pesquisa, 66% dos entrevistados relatam que pelo menos metade de seus dados são obscuros. O que isso significa é que os dados estão lá, em algum lugar, mas não acessíveis para análise.

Parte disso tem a ver com problemas de governança de dados, parte tem a ver com o formato dos dados ou a falta dele, parte tem a ver com o fato de que os dados não podem ser representados em linhas e colunas, e parte tem a ver com uma infinidade de outros problemas.

Essencialmente, embora os sistemas de IA possam “democratizar” o acesso a insights de dados, isso só é possível se os sistemas de IA puderem obter os dados.

Isso nos leva à relevância dos anúncios atuais do Google. Todos esses recursos aumentam o acesso aos dados, seja por causa de um novo mecanismo de consulta, devido à capacidade dos programadores de usar habilidades existentes como SQL, a capacidade de grandes bancos de dados de representar relacionamentos de dados de novas maneiras ou a capacidade de consultas de pesquisa de encontrar dados semelhantes. Todos eles abrem o que antes eram dados obscuros para análise e insights.


Você pode acompanhar as atualizações do meu projeto do dia a dia nas redes sociais. Não deixe de se inscrever meu boletim informativo semanal de atualizaçãoe siga-me no Twitter/X em @DavidGewirtzno Fb em Fb.com/DavidGewirtzno Instagram em Instagram.com/DavidGewirtze no YouTube em YouTube.com/DavidGewirtzTV.



Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *