Fonte: Shutterstock
Em 2024, Profecia da empresa de integração de dados revelou seu copiloto de IA para Databricksmarcando um passo significativo na transformação de dados. Aproveitando o poder do Genai, a ferramenta permitiu que os usuários e analistas de negócios construíssem pipelines de dados usando a linguagem pure. O objetivo foi simplificar os fluxos de trabalho e oferecer às organizações um caminho mais eficiente para gerenciar e utilizar seus recursos de dados de maneira eficaz.
Com base nessa fundação, a Profecia agora introduziu a Profecia 4.0, a mais recente iteração de sua plataforma de integração de dados orientada pela IA otimizada para o Databricks SQL. Enquanto o copiloto do ano passado foi sobre a criação da criação de oleodutos a IA, o novo lançamento está mais focado em adicionar recursos completos de autoatendimento sem quebrar as regras de governança de TI.
A relação entre profecia e banco de dados está enraizada em um objetivo compartilhado de aumentar a usabilidade dos dados entre as organizações. A profecia se baseia na infraestrutura de dados dos Databricks, oferecendo ferramentas projetadas para simplificar a preparação e a transformação de dados para uma gama mais ampla de usuários.
“As organizações colocaram seus ativos de dados mais valiosos em Databricks, e a Profecia 4.0 facilita o que nunca disponibiliza esses dados para analistas”, disse Roger Murff, vice -presidente de parceiros de tecnologia da Databricks. “E como a profecia é integrada nativamente à plataforma de inteligência de dados do Databricks, as equipes da plataforma obtêm visibilidade e controle centralizados sobre o acesso ao usuário, os custos de computação e muito mais”.
A diferença entre analistas e equipes de dados geralmente cria desafios, especialmente para organizações maiores. Embora os analistas precisem de dados confiáveis para a IA e a tomada de decisão estratégica, as equipes centrais se concentram na governança e na segurança. Essa desconexão ou desalinhamento em prioridades geralmente resulta em ineficiências, atrasos e oportunidades perdidas para aproveitar totalmente o potencial dos dados.
Um recente Pesquisa de Pesquisa Wakefield revelou que 50% dos executivos de dados lutam para contratar engenheiros de dados, enquanto 53% enfrentam dificuldades em escalar suas equipes para atender à demanda. Apesar dos esforços contínuos para recrutar e expandir, esses desafios continuam sendo um gargalo significativo.
A profecia referenciou as descobertas desta pesquisa para mostrar a necessidade de ferramentas que possam facilitar a carga de trabalho das equipes de dados, e é exatamente isso que pretende fazer com a versão mais recente. Dar aos analistas a capacidade de preparar dados por conta própria ajuda a reduzir a dependência e o ônus dos engenheiros de dados e melhora a eficiência do fluxo de trabalho para as organizações.
Uma das principais atualizações da plataforma é que ela suporta conexões seguras para fontes amplamente usadas como SFTP, SharePoint, Salesforce e arquivos de mesa, como Excel e CSV. Ao eliminar a necessidade de scripts personalizados ou transferências manuais, essa funcionalidade não apenas economiza tempo, mas também minimiza possíveis erros.
A plataforma atualizada também foi projetada para otimizar a “última milha” dos fluxos de trabalho de dados. Isso se refere a tarefas como a integração de resultados em ferramentas de visualização como o Tableau e o envio de notificações automatizadas às partes interessadas por e -mail.
Além disso, a profecia introduziu automação interna com uma interface arrastar e soltar. Isso foi projetado para permitir que os analistas projetem, executem e validem facilmente os fluxos de trabalho sem confiar em conhecimentos técnicos ou ferramentas adicionais.
De acordo com Stewart Bond, vice -presidente de software program de inteligência e integração de dados da IDC, a complexidade dos ambientes de dados modernos, caracterizados por sua natureza distribuída e dinâmica, apresenta desafios significativos para as empresas. Ele enfatizou que, à medida que as organizações visam cada vez mais permitir que os usuários não técnicos tenham acesso a dados corporativos, soluções como a Profecia 4.0 podem se tornar mais vitais.
Ao lançar as atualizações para a plataforma, a profecia garantiu sua governança priorizada. A plataforma possui controle de versão simplificado, permitindo que analistas e engenheiros trabalhem juntos sem problemas para refinar e implantar pipelines. Ele também inclui perfis de dados que dão aos usuários insights sobre a distribuição de dados e a integridade.
A profecia adicionou pacotes reutilizáveis para facilitar a criação de fluxos de trabalho que atendem aos padrões de conformidade predefinidos. Esse recurso também pode ser útil para ajudar as equipes de observabilidade a identificar e resolver os problemas mais cedo.
Raj Bains, CEO da Profecia, enfatizou que as ineficiências causadas por fluxos de trabalho desconectados entre as equipes de dados são um grande ponto de dor. Esses processos desarticulados geralmente têm um impacto negativo na produtividade e residem recursos valiosos.
“Visitamos empresas em que os analistas descreveriam os fluxos de trabalho de dados em suas ferramentas de preparação de dados e, em seguida, os engenheiros a jusante recuperariam todo o pipeline do zero com seu software program ETL”, disse Bains. “Foi uma enorme perda de tempo e energia. Com a profecia 4.0, tudo é feito uma vez. Os analistas podem projetar e publicar pipelines sempre que quiserem, com padrões de segurança, desempenho e acesso a dados predefinidos por ele”.
Ao combinar a preparação de dados de autoatendimento e os recursos de governança, a Profecia 4.0 tem o potencial de se destacar como uma ferramenta valiosa para empresas que desejam refinar seus fluxos de trabalho de dados.
No entanto, seu sucesso dependerá de superar os desafios, como garantir a compatibilidade com os sistemas herdados e atender a diversos requisitos de conformidade entre os setores. O recente Financiamento de US $ 47m Série B deve ajudar a fornecer à empresa os recursos necessários para aprimorar ainda mais a plataforma.
Itens relacionados
A IA tornando o trabalho de analista de dados mais estratégico, diz Alteryx
Verificação da realidade para Genai: Deloitte encontra entusiasmo temperado por obstáculos de adoção
O relatório anual de Grafana descobre as principais idéias sobre o futuro da observabilidade