Gênio de IA/BI é uma experiência de conversação para equipes de negócios obterem insights de seus dados por meio de linguagem pure. A Genie aproveita a IA generativa adaptada aos dados, padrões de uso e conceitos de negócios de uma organização e aprende continuamente com o suggestions dos usuários. Isso permite que usuários não técnicos façam perguntas como fariam a um colega de trabalho experiente, recebendo respostas relevantes e precisas diretamente dos dados da empresa.
Com a crescente adoção dos espaços Genie, é essencial que os usuários confiam na precisão dos insights fornecidos. Essa garantia é essential para permitir que eles tomem decisões mais informadas com base nos insights que a Genie oferece.
Os profissionais de dados responsáveis pela criação e manutenção de espaços Genie para suas equipes de negócios geralmente citam dois requisitos críticos:
- A capacidade de garantir que as instruções e exemplos mantidos no espaço Genie melhorem efetivamente a precisão geral.
- Quando solicitado, você poderá verificar se as respostas geradas pelo Genie estão corretas e comunicar esse suggestions ao usuário ultimate.
Para atender a esses requisitos, temos o prazer de apresentar dois novos recursos no AI/BI Genie para ajudar a aumentar a confiança na precisão das respostas retornadas:
- Referências – Os autores do Genie agora podem criar perguntas de teste para monitorar a precisão geral à medida que atualizam as instruções e configurações do espaço Genie.
- Solicitar revisão – Os usuários finais agora podem solicitar que os autores do Genie verifiquem ou corrijam as respostas e, em seguida, recebam a confirmação.
Referências
Os benchmarks permitem que os autores do Genie avaliem sistematicamente a precisão de seus espaços Genie. Um conjunto bem elaborado de perguntas de referência deve incluir as perguntas mais frequentes do usuário, junto com 2 a 3 variações de fraseado. Os autores podem então executar esses benchmarks ao longo do tempo para determinar se as edições no espaço estão efetivamente melhorando a precisão geral.
Como usar benchmarks
Para avaliar melhor a precisão do seu espaço Genie com benchmarks, siga estas etapas:
- Preparar: certifique-se de que seu espaço Genie inclua tabelas e metadados limpos. Comece testando manualmente algumas perguntas comuns dos usuários e adicionando instruções para aumentar a precisão da linha de base.
- Adicionar comparativos de mercado: os benchmarks adicionados devem refletir as diferentes frases e versões das perguntas comuns feitas pelos usuários. Por exemplo, se seus usuários costumam solicitar Os 10 principais clientes por vendas totais este ano, seria útil comparar algumas versões como “10 principais clientes por receita no ano fiscal de 2024” e “Mostre-me os 10 principais clientes deste ano por receita”. Em seguida, você adiciona uma instrução SQL que responde com precisão à sua pergunta de benchmark. Isso ajuda a função de avaliação a comparar a resposta do Genie com uma fonte de verdade para cada pergunta.
- Execute benchmarks + avalie: depois de criar um conjunto representativo de benchmarks, clique em ‘Executar benchmarks’ para avaliar automaticamente o Genie em todas as questões de benchmark. Cada pergunta receberá um rótulo de avaliação: Correta ou Precisa de Revisão. As perguntas serão marcadas como Corretas se o resultado da consulta do Genie corresponder exatamente ao resultado da consulta do benchmark.
≈ - Melhorar: clique duas vezes em perguntas específicas para entender onde o Genie precisa de melhorias. Depois de identificar as questões específicas com as quais seu espaço Genie enfrenta, faça melhorias em seu espaço Genie. Por exemplo, você pode descobrir que precisa adicionar instruções para ensinar ao Genie como calcular o “melhor representante de vendas na Ásia”. Em seguida, você acessa a página de instruções e adiciona um exemplo de consulta SQL mostrando ao Genie como responder a essa pergunta corretamente.
- Reexecutar benchmarks: depois de melhorar as instruções do meu espaço, eu executaria novamente meu conjunto de benchmarks para ver se minha precisão geral aumentou. Você pode então acompanhar a precisão do seu espaço Genie ao longo do tempo na guia Avaliações. Proceed adicionando mais perguntas do Benchmark à medida que você vê perguntas comuns feitas pelos usuários finais.
Solicitar revisão
Genie é uma ferramenta poderosa para análise exploratória de dados, permitindo que usuários não técnicos façam perguntas de acompanhamento e obtenham novos insights de seus dados sem envolver profissionais especializados. No entanto, assim como a análise em outras ferramentas como o Excel, você pode querer uma segunda opinião antes de apresentar suas descobertas como factuais.
O recurso Solicitar revisão permite que os usuários finais concluam esse ciclo de revisão diretamente no Genie – não há necessidade de capturas de tela e idas e vindas no Slack ou Groups.
Como usar a Revisão de Solicitação
- Clique no botão Solicitar: quando um usuário recebe uma resposta que deseja verificar, ele pode clicar no ícone de solicitação para iniciar uma revisão. É recomendado que eles adicionem um comentário explicando sua solicitação ao administrador do espaço Genie.
- Revisão do administrador: depois que uma solicitação é enviada, os administradores do espaço Genie podem revisá-la na página Histórico, verificando o immediate unique, o SQL gerado e quaisquer comentários anexados. Eles podem marcar o SQL como correto ou modificá-lo para o usuário empresarial.
- Solicitante notificado: depois que o administrador verificar ou corrigir o SQL gerado, os usuários finais serão notificados sobre essa verificação. Eles podem então revisar isso na visualização da página Histórico.
Conclusão
Com a introdução de Benchmarks e Request Evaluate, o AI/BI Genie aumenta significativamente a confiança do usuário na precisão e confiabilidade das respostas que recebe. Os benchmarks permitem o rastreamento sistemático de melhorias de precisão ao longo do tempo, garantindo que as edições de instruções sejam eficazes. A revisão de solicitações fornece uma maneira perfeita para os usuários verificarem respostas críticas, promovendo a confiança nos insights gerados pelo Genie. Juntos, esses novos recursos capacitam as equipes de negócios a aproveitar o Genie com confiança para tomar as decisões críticas necessárias em seu trabalho diário.
Encorajamos todos vocês a começarem a criar espaços Genie, caso ainda não o tenham feito. Não deixe de ler nosso Documentação do AI/BI Genie. Para ver os painéis de IA/BI e o Genie em ação, confira nosso demonstração e pegue o tour do produto.
A equipe do Databricks está sempre procurando melhorar a experiência do AI/BI Genie e adoraria ouvir seus comentários!