(Rawf8/Shutterstock)
Os dados ruins existem desde que os homens das cavernas começaram a fazer as primeiras marcas errantes na caverna. Avançar rapidamente em nossa period do large information e a escala do problema de qualidade dos dados aumentou exponencialmente. Enquanto a automação movida a IA aumentou, muitos ainda estão presos na idade das trevas de dados. Para ajudar a orientar as organizações em direção à luz, o Anomalo revelou hoje os seis pilares da qualidade dos dados.
Anomalo foi fundada em 2021 por dois engenheiros da Instacart, que viram o impacto que os dados ruins podem ter em uma empresa. Através da automação, o CEO Elliot Shmukler e o CTO Jeremy Stanley esperavam ajudar as empresas no caminho para bons dados, detectando automaticamente problemas em seus dados estruturados e não estruturados e perfurando para abordar suas causas radiculares antes que elas afetem os aplicativos a jusante ou os modelos de IA.
A Anomalo desenvolveu seu produto para lidar com uma variedade de necessidades de observabilidade. Ele utiliza aprendizado de máquina não supervisionado para detectar problemas automaticamente com dados e alerta os administradores quando um problema foi encontrado. Ele fornece um sistema de bilheteria para rastrear os problemas, bem como as ferramentas para ajudar a automatizar a análise de causa raiz. A empresa diz que sua abordagem pode escalar para bancos de dados com milhões de tabelas e foi adotada por empresas como Uncover Monetary Companies, Collegeboard e Block.
Hoje, a empresa Palo Alto, Califórnia, lançou seus seis pilares de qualidade de dados. Os pilares, de acordo com Anomalo, incluem: segurança de nível corporativo; profundidade do entendimento dos dados; Cobertura de dados abrangente; detecção de anomalia automatizada; facilidade de uso; e personalização e controle.
O CEO Shmukler elaborou os seis pilares em uma postagem no weblog.
- Segurança da qualidade corporativa: Este é um requisito de linha de base que não é negociável, de acordo com o Anomalo. Para atender a esse requisito, uma ferramenta de observabilidade deve ser implantada no ambiente de uma organização, apenas o uso de LLMs é aprovado por uma organização e atende a mandatos rigorosos de conformidade e opere em volumes em tempo actual. “Uma solução de qualidade de dados que não pode escalar ou atender aos padrões de segurança e conformidade é um não iniciante para a empresa”, escreveu Shmukler. “As grandes organizações normalmente têm requisitos rígidos para auditabilidade, residência de dados e conformidade regulatória”.
- Profundidade do entendimento dos dados: Uma boa solução de qualidade de dados parecerá abaixo dos metadados da superfície e analisará os valores reais de dados, diz Anomalo. O Anomalo descarta essa forma de “observabilidade” de verificações de qualidade de dados como insuficiente e facilitadores do desafio da qualidade dos dados, que custa a média de quase US $ 13 milhões anualmente. “Alguns fornecedores … contam com verificações de metadados para encontrar dicas de questões em seus dados”, escreveu ele. “Este atalho, conhecido como observabilidade, tem um custo acentuado: verifica os valores anormais do nível da superfície, correlações ocultas e mudanças sutis de distribuição que distorcem silenciosamente os modelos de painéis, análises e IA”.
- Cobertura de dados abrangente: Não é incomum uma organização ter dezenas de milhares de tabelas, com bilhões de linhas em vários bancos de dados. Nessas situações, cobrir apenas algumas mesas de alto nível não é suficiente, diz Anomalo. “E com mais de 80% dos dados corporativos agora não estruturados, um número crescendo a uma taxa de 40-60% ao ano, a maioria dos fornecedores deixa pontos cegos críticos, concentrando-se apenas em dados estruturados, assim como as organizações se preparam para a IA”.
- Detecção de anomalia automatizada: O tamanho e a complexidade da pilha de dados modernos tornam o monitoramento handbook ou baseado em regras insustentável, diz a empresa. O problema das abordagens baseadas em regras, diz o fornecedor, é que eles só podem capturar problemas antecipados, mas as empresas precisam de maneiras de detectar problemas inesperados que emergem em escala. “Os vendedores legados … confiam nas abordagens baseadas em regras para a qualidade dos dados, que colocam o ônus das empresas para configurar, gerenciar e atualizar conjuntos de regras complexas”, escreveu Shmukler. “Cobertura abrangente na Escala Enterprise é impossível de gerenciar apenas com as regras. Dezenas de milhares de tabelas e bilhões de linhas geram muita complexidade para verificações manuais para acompanhar”.
- Facilidade de uso: É ótimo obter uma visão dos problemas de qualidade dos dados, mas as organizações devem ser capazes de agir sobre eles, diz Anomalo. Democratizando o acesso ao perception de qualidade de dados pode ajudar a tornar todo o exercício que vale a pena. “O monitoramento, por mais completo, só é útil se as pessoas podem adaptá -lo às suas necessidades”, escreveu Shmukler. “Usuários como analistas de negócios, gerentes de operações e engenheiros de ML precisam saber que podem confiar nos dados na frente deles ou entender o que há de errado com isso, sem precisar incomodar alguém na equipe de dados.
- Personalização e controle: Toda empresa é única, o que significa que as soluções de qualidade de dados pré -embaladas provavelmente fracassarão, diz Anomalo. O que é necessário é uma estrutura extensível que se integra às ferramentas e fluxos de trabalho existentes. “Uma solução pode verificar todas as caixas, mas se não tiver a flexibilidade de adaptar -se às regras de negócios exclusivas de uma empresa, requisitos regulatórios ou prioridades operacionais, ela falhará”, escreveu Shmukler. “Sem essa adaptabilidade, mesmo a plataforma mais poderosa criará ruído, desencadeará a fadiga e resmungos de resfriador de água e, finalmente, corroem a confiança.
Claramente, o Anomalo tinha seu próprio produto em mente quando escreveu os seis pilares. De qualquer forma, a empresa ainda forneceu algumas informações úteis para a organização que buscam controlar seu próprio relacionamento peculiar com os dados.
Itens relacionados:
A qualidade dos dados é uma bagunça, mas Genai pode ajudar