Observabilidade da IA na prática
Muitas organizações começam com boas intenções, construindo soluções de IA promissoras, mas essas aplicações iniciais frequentemente acabam desconectadas e não observáveis. Por exemplo, um sistema de manutenção preditiva e um docsbot GenAI podem operar em áreas diferentes, levando à dispersão. A Observabilidade de IA se refere à capacidade de monitorar e entender a funcionalidade de modelos de aprendizado de máquina de IA generativos e preditivos ao longo de seu ciclo de vida dentro de um ecossistema. Isso é essential em áreas como Operações de Aprendizado de Máquina (MLOps) e particularmente em Operações de Modelo de Linguagem Grande (LLMOps).
A AI Observability se alinha com DevOps e operações de TI, garantindo que modelos de IA generativos e preditivos possam se integrar suavemente e ter um bom desempenho. Ela permite o rastreamento de métricas, problemas de desempenho e saídas geradas por modelos de IA, fornecendo uma visão abrangente por meio da plataforma de observabilidade de uma organização. Ela também configura equipes para construir soluções de IA ainda melhores ao longo do tempo, salvando e rotulando dados de produção para retreinar modelos preditivos ou refinamentos generativos. Esse processo de retreinamento contínuo ajuda a manter e aprimorar a precisão e a eficácia dos modelos de IA.
No entanto, não é sem desafios. A “proliferação” de arquitetura, usuário, banco de dados e modelo agora sobrecarrega as equipes de operações devido à configuração mais longa e à necessidade de conectar várias peças de infraestrutura e modelagem, e ainda mais esforço é dedicado à manutenção e atualização contínuas. Lidar com a proliferação é impossível sem uma plataforma aberta e flexível que atue como o centro de comando e controle centralizado da sua organização para gerenciar, monitorar e governar todo o cenário de IA em escala.

A maioria das empresas não se apega a uma pilha de infraestrutura e pode mudar as coisas no futuro. O que é realmente importante para elas é que a produção, a governança e o monitoramento de IA permaneçam consistentes.
A DataRobot está comprometida com a observabilidade entre ambientes – nuvem, híbrido e native. Em termos de fluxos de trabalho de IA, isso significa que você pode escolher onde e como desenvolver e implementar seus projetos de IA, mantendo insights completos e controle sobre eles – mesmo na borda. É como ter uma visão de 360 graus de tudo.

A DataRobot oferece 10 principais componentes prontos para uso para alcançar uma prática de observabilidade de IA bem-sucedida:
- Monitoramento de métricas: Acompanhamento de métricas de desempenho em tempo actual e solução de problemas.
- Gestão de Modelos: Usando ferramentas para monitorar e gerenciar modelos durante todo o seu ciclo de vida.
- Visualização: Fornecer painéis para insights e análises do desempenho do modelo.
- Automação: Automatizando os estágios de construção, governança, implantação, monitoramento e retreinamento no ciclo de vida da IA para fluxos de trabalho tranquilos.
- Qualidade e explicabilidade dos dados: Garantir a qualidade dos dados e explicar as decisões do modelo.
- Algoritmos avançados: Empregar métricas e proteções prontas para uso para aprimorar os recursos do modelo.
- Experiência de usuário: Melhorando a experiência do usuário com fluxos de GUI e API.
- AIOps e Integração: Integração com AIOps e outras soluções para gerenciamento unificado.
- APIs e Telemetria: Usando APIs para integração perfeita e coleta de dados de telemetria.
- Prática e fluxos de trabalho: Criando um ecossistema de suporte em torno da observabilidade da IA e tomar medidas com base no que está sendo observado.

Observabilidade da IA em ação
Cada indústria implementa GenAI Chatbots em várias funções para propósitos distintos. Exemplos incluem aumentar a eficiência, aprimorar a qualidade do serviço, acelerar os tempos de resposta e muito mais.
Vamos explorar a implantação de um chatbot GenAI dentro de uma organização e discutir como alcançar a observabilidade da IA usando uma plataforma de IA como a DataRobot.
Etapa 1: coletar rastros e métricas relevantes
O DataRobot e seus recursos de MLOps fornecem escalabilidade de classe mundial para implantação de modelos. Modelos em toda a organização, independentemente de onde foram construídos, podem ser supervisionados e gerenciados em uma única plataforma. Além dos modelos do DataRobot, modelos de código aberto implantados fora do DataRobot MLOps também podem ser gerenciados e monitorados pela plataforma DataRobot.
Os recursos de observabilidade de IA na plataforma DataRobot AI ajudam a garantir que as organizações saibam quando algo dá errado, entendam por que deu errado e possam intervir para otimizar o desempenho dos modelos de IA continuamente. Ao rastrear serviços, desvios, dados de previsão, dados de treinamento e métricas personalizadas, as empresas podem manter seus modelos e previsões relevantes em um mundo em rápida mudança.

Etapa 2: Analisar dados
Com o DataRobot, você pode utilizar painéis pré-criados para monitorar métricas tradicionais de ciência de dados ou personalizar suas próprias métricas para abordar aspectos específicos do seu negócio.
Essas métricas personalizadas podem ser desenvolvidas do zero ou usando um modelo do DataRobot. Use essas métricas para os modelos criados ou hospedados no DataRobot ou fora dele.

‘Recusa imediata’ métricas representam a porcentagem de respostas do chatbot que o LLM não conseguiu abordar. Embora essa métrica forneça insights valiosos, o que o negócio realmente precisa são etapas acionáveis para minimizá-la.
Perguntas guiadas: Responda a estas perguntas para obter uma compreensão mais abrangente dos fatores que contribuem para recusas imediatas:
- O LLM tem a estrutura e os dados apropriados para responder às perguntas?
- Existe algum padrão nos tipos de perguntas, palavras-chave ou temas que o LLM não consegue abordar ou com os quais tem dificuldades?
- Existem mecanismos de suggestions para coletar informações do usuário sobre as respostas do chatbot?
Loop de suggestions de uso: Podemos responder a essas perguntas implementando um loop de suggestions de uso e construindo um aplicativo para encontrar as “informações ocultas”.
Abaixo está um exemplo de um aplicativo Streamlit que fornece insights sobre uma amostra de perguntas do usuário e grupos de tópicos para perguntas que o LLM não conseguiu responder.


Etapa 3: tome medidas com base na análise
Agora que você tem uma noção dos dados, pode seguir os seguintes passos para melhorar significativamente o desempenho do seu chatbot:
- Modifique o immediate: Experimente diferentes prompts do sistema para obter resultados melhores e mais precisos.

- Melhore seu banco de dados de vetores: Identifique as perguntas para as quais o LLM não tinha respostas, adicione essas informações à sua base de conhecimento e, então, treine novamente o LLM.

- Ajuste ou substitua seu LLM: Experimente diferentes configurações para ajustar seu LLM existente para obter o desempenho splendid.

Como alternativa, avalie outras estratégias de LLM e examine seu desempenho para determinar se uma substituição é necessária.

- Moderar em tempo actual ou definir os modelos de proteção corretos: Emparelhe cada modelo generativo com um modelo de proteção de IA preditivo que avalia a qualidade da saída e filtra perguntas inapropriadas ou irrelevantes.
Esta estrutura tem ampla aplicabilidade em casos de uso em que a precisão e a veracidade são primordiais. O DR fornece uma camada de controle que permite que você pegue os dados de aplicativos externos, proteja-os com os modelos preditivos hospedados dentro ou fora dos guardrails do Datarobot ou NeMo e chame o LLM externo para fazer previsões.

Seguindo essas etapas, você pode garantir uma visão de 360° de todos os seus ativos de IA em produção e que seus chatbots permaneçam eficazes e confiáveis.
Resumo
A observabilidade da IA é essencial para garantir a desempenho eficaz e confiável de modelos de IA em todo o ecossistema de uma organização. Ao alavancar a plataforma DataRobot, as empresas mantêm supervisão e controle abrangentes de seus fluxos de trabalho de IA, garantindo consistência e escalabilidade.
A implementação de práticas robustas de observabilidade não apenas ajuda a identificar e prevenir problemas em tempo actual, mas também auxilia na otimização e no aprimoramento contínuos de modelos de IA, criando, em última análise, aplicativos úteis e seguros.
Ao utilizar as ferramentas e estratégias certas, as organizações podem navegar pelas complexidades das operações de IA e aproveitar todo o potencial de seus investimentos em infraestrutura de IA.
Sobre o autor

Atalia Horenshtien é uma International Technical Product Advocacy Lead na DataRobot. Ela desempenha um papel very important como desenvolvedora líder da história de mercado técnico da DataRobot e trabalha em estreita colaboração com produtos, advertising and marketing e vendas. Como ex-cientista de dados voltados para o cliente na DataRobot, Atalia trabalhou com clientes em diferentes setores como uma consultora confiável em IA, resolveu problemas complexos de ciência de dados e os ajudou a desbloquear valor comercial em toda a organização.
Seja falando com clientes e parceiros ou se apresentando em eventos do setor, ela ajuda a defender a história da DataRobot e como adotar IA/ML em toda a organização usando a plataforma DataRobot. Algumas de suas sessões de palestras sobre diferentes tópicos como MLOps, Previsão de Séries Temporais, projetos esportivos e casos de uso de vários setores verticais em eventos do setor como AI Summit NY, AI Summit Silicon Valley, Advertising and marketing AI Convention (MAICON) e eventos de parceiros como Snowflake Summit, Google Subsequent, masterclasses, webinars conjuntos e muito mais.
Atalia é bacharel em engenharia industrial e gestão e possui dois mestrados: MBA e Enterprise Analytics.

Aslihan Buner é gerente sênior de advertising and marketing de produtos para AI Observability na DataRobot, onde cria e executa estratégias de entrada no mercado para produtos LLMOps e MLOps. Ela faz parcerias com equipes de desenvolvimento e gerenciamento de produtos para identificar as principais necessidades dos clientes, identificando e implementando estrategicamente mensagens e posicionamento. Sua paixão é atingir lacunas de mercado, abordar pontos problemáticos em todos os setores e vinculá-los às soluções.

Kateryna Bozhenko é gerente de produtos para produção de IA na DataRobot, com ampla experiência na construção de soluções de IA. Com diplomas em Negócios Internacionais e Administração de Saúde, ela é apaixonada por ajudar usuários a fazer modelos de IA funcionarem efetivamente para maximizar o ROI e experimentar a verdadeira magia da inovação.