Desde o seu lançamento em 2023, o Databricks Assistant cresceu para centenas de milhares de usuários mensais, incluindo desenvolvedores de grandes empresas como Rivian, SiriusXM e Morgan Stanley. Nosso assistente de IA sensível ao contexto, disponível nativamente no Databricks, permite aos usuários consultar dados, explicar lógica complexa e corrigir erros automaticamente usando exclusivamente linguagem pure.
O Databricks Assistant é um sistema de agente que aproveita vários modelos, dados e ferramentas de IA para fornecer resultados precisos e contextuais, com base na semântica dos seus dados e padrões de uso. No ano passado, introduzimos muitos novos recursos e melhorias no Databricks Assistant. Vamos dar uma olhada em alguns dos destaques e mostrar o que vem por aí em 2025.
Preenchimento automático do assistente
Preenchimento automático do assistente ajuda os usuários a escrever código com mais rapidez e precisão, fornecendo sugestões baseadas no contexto enquanto digitam. Desde o seu lançamento, introduzimos diversas melhorias técnicas para melhorar sua precisão e usabilidade. Isso inclui recuperação de código personalizada e preenchimento de várias linhas. Também aprimoramos a avaliação e a classificação do contexto para melhor considerar células, tabelas e variáveis vizinhas, garantindo que as sugestões sejam mais relevantes. Por fim, aumentamos nosso limite de caracteres, permitindo gerar sugestões de código mais longas e completas, ao mesmo tempo que refinamos os mecanismos de truncamento para exibir linhas completas de código de forma mais consistente.
“Embora eu geralmente seja um pouco cético em relação à GenAI, descobri que a ferramenta Databricks Assistant Autocomplete é um dos poucos casos de uso realmente excelentes para a tecnologia. Geralmente é rápido e preciso o suficiente para economizar um número significativo de pressionamentos de tecla, permitindo-me concentrar-me mais totalmente na tarefa de raciocínio em vez de digitar. Além disso, ele substituiu quase inteiramente minhas viagens regulares à Web por uma sintaxe de API semelhante a um padrão (por exemplo, anotação de plotagem, and so on.). – Jonas Powell, cientista de dados da equipe, Rivian
Diagnóstico de erros e soluções rápidas
Este ano, aprimoramos nosso caso de uso mais standard – diagnóstico de erros de código – introduzindo o Assistant Correção rápida. Concentrando-se nos tipos de erros mais comuns, como problemas de sintaxe e nomes de tabelas ou colunas com erros ortográficos, o Assistente agora gera automaticamente sugestões de correção de linha única em apenas 1 a 3 segundos.
“Uma das melhores coisas sobre o Databricks Assistant é como ele pode documentar automaticamente suas tabelas. Um pop-up oferece assistência com um erro e, nove em cada dez vezes, você clica em ‘sim’ e o assistente deixa tudo perfeito com o clique desse botão. Então, só isso já tornou as coisas significativamente mais fáceis e produtivas.” – Andy Featherstone, gerente de engenharia de dados, RDSolutions
Diagnosticando erros de trabalho
O Databricks Assistant agora oferece a capacidade de diagnosticar erros diretamente na página Fluxos de trabalho. Para começar, nos concentramos especificamente em erros de trabalho relacionados à autoria em notebooks. No futuro, também adicionaremos suporte para outros tipos comuns de erros de trabalho, como parâmetros de trabalho mal configurados, problemas relacionados ao cluster, como erros de falta de memória, falhas em nível de tarefa em execuções de trabalho e análise de impacto downstream para entender como uma falha afeta trabalhos dependentes ou consumidores de dados.
Visualização e Criação de Dashboard
O Databricks Assistant simplificou o processo de criação de visualizações e painéis, permitindo aos usuários transformar rapidamente dados brutos em insights significativos. Esse recurso tem sido particularmente valioso para apresentar dados complexos em formatos de fácil digestão.
Segurança e privacidade aprimoradas
Em resposta às crescentes preocupações com a privacidade dos dados, a Databricks introduziu um exclusivo Assistente hospedado em databricks no remaining de 2024 em AWS e Azul. Esta versão garante que todo o processamento de dados permaneça dentro da conta do Databricks, aproveitando os modelos hospedados pelo Databricks e a infraestrutura segura que alimenta o Databricks Mannequin Serving. Planejamos expandir o suporte para incluir chat em linha e no painel lateral no futuro.
Gerenciamento de threads e conversas
O Databricks Assistant utiliza um sistema baseado em threads para gerenciar conversas, permitindo que os usuários criem e retomem vários threads de discussão em diferentes contextos na plataforma Databricks. O Assistente aproveita o histórico de conversas para fornecer respostas contextuais, permitindo que os usuários refinem ou desenvolvam interações anteriores sem reescrever prompts inteiros. As conversas contínuas com o Assistente também incluem citações de documentos do Databricks, quando aplicável, e divisórias com hyperlinks para páginas e objetos de referência relevantes.
Registros de uso do assistente
Administradores e gerentes agora podem rastrear a adoção e o envolvimento do Assistant com a tabela de sistema do Assistant recém-introduzida (system.entry.assistant_events). Cada linha nesta tabela registra as interações do usuário com o painel lateral ou bate-papo in-line.
Criamos um personalizado painel de amostra que permite visualizar informações importantes rapidamente. Este painel fornece insights sobre usuários ativos por dia e mês, usuários ativos por espaço de trabalho, principais usuários em geral e dados de envios por espaço de trabalho e no complete.
“A introdução do Databricks Assistant realmente me impressionou. Não preciso mais escrever código. O que costumava levar uma hora para escrever, fiz em cinco minutos. Dos usuários avançados aos usuários básicos da Corning, todos ficam impressionados com o impacto imediato,” – Jibreal Hamenoo, engenheiro principal de sistemas, engenharia de dados, Corning Integrated
Integração do Explorador de Catálogo
A integração de Explorador de Catálogo com Databricks Assistant aprimora a funcionalidade e a precisão do assistente com tecnologia de IA. Essa integração aproveita os metadados e o contexto avançados fornecidos pelo Catalog Explorer para fornecer respostas mais relevantes e personalizadas.
Introduzimos novos agentes para fornecer informações detalhadas sobre linhagens e insights de tabelas. Os usuários podem invocar esses agentes com comandos como /getTableLineages para visualizar dependências upstream e downstream ou /getTableInsights para acessar insights orientados por metadados, como atividade do usuário e padrões de consulta. Isso permite que o Assistente responda a perguntas como “mostre-me linhagens downstream” ou “quem consulta esta tabela com mais frequência”.
Melhore a eficiência do SQL
A sintaxe de aproveitamento destaca os avisos e o /otimizar comando para melhorar consultas SQL ineficientes. As recomendações aparecem em tempo actual, ajudando você a identificar rapidamente problemas como chaves de partição ausentes, filtros de cláusula WHERE ineficientes, operações GROUP BY de alta cardinalidade ou junções dispendiosas usando tipos de dados STRING.
Maior precisão e confiabilidade do assistente
Este ano, introduzimos atualizações importantes para melhorar a qualidade e a confiabilidade do Databricks Assistant. A precisão da pesquisa em tabelas foi aprimorada para lidar com consultas de maneira mais eficaz, mesmo sem correspondências exatas. Além disso, expandimos a recuperação de documentação, que agora influencia cerca de 45% de todas as interações do Assistant, para garantir respostas atualizadas da documentação do Databricks, MLFlow, Spark e Delta.
Também melhoramos o suporte para Delta Stay Tables introduzindo heurística para detectar consultas relacionadas a DLT e acionar respostas personalizadas. Essas respostas incluem documentação direcionada e instruções sobre tópicos como ingestão, observabilidade e controle de versão, aumentando a utilidade de 12% para 40%.
O que vem a seguir
Estamos empenhados em tornar o Databricks Assistant mais inteligente, mais intuitivo e mais personalizado de acordo com as suas necessidades. Aqui está uma prévia do que você pode esperar:
- Execução flexível de código: A execução do código estará disponível no painel lateral em várias páginas, incluindo o Catalog Explorer. Isso permite a execução contínua do código sem troca de contexto, preservando o histórico do bate-papo para fácil referência. Os usuários agora podem executar código sem esforço e acessar conversas anteriores, simplificando o fluxo de trabalho e aumentando a produtividade.
- Melhorias de correção rápida: Estamos introduzindo a recuperação de código personalizada, aproveitando trechos de execuções de células bem-sucedidas e código visualizado para fornecer sugestões mais relevantes. Além disso, estamos atualizando nossa lógica de acionamento para incluir mais tipos de erros. Por fim, estamos explorando sugestões consecutivas e com várias linhas.
- Edições direcionadas para células grandes: Estamos trabalhando para gerar alterações de código mais precisas em vez de substituir blocos inteiros, melhorando o desempenho e a usabilidade de células com mais de 20 a 30 linhas.
Comece
Use o Databricks Assistant hoje para descrever sua tarefa em linguagem pure e deixe o Assistant gerar consultas SQL, explicar códigos complexos e corrigir erros automaticamente. Estamos entusiasmados para ver quais projetos de dados e IA você construirá com a ajuda do Assistente. Comece a usar o assistente encontrando o ícone do Assistente no ambiente do Databricks.
Confira nosso página do produto veja o Assistente do Databricks em ação ou leia o documentação para obter mais informações sobre todos os recursos.