Configurar Mage AI com Postgres


Introdução

Think about-se como um profissional de dados encarregado de criar um pipeline de dados eficiente para agilizar processos e gerar informações em tempo actual. Parece desafiador, certo? É aí que o Mage AI entra para garantir que os credores que operam on-line ganhem uma vantagem competitiva. Think about isso: assim, ao contrário de muitas outras extensões que exigem configuração profunda e codificação constante, o Mage AI tem uma configuração passo a passo clara e pouco exigente, e você pode usar sua interface clara sem ter que arrastar e soltar itens. Também compartilharei com você como importar o Mage AI com PostgreSQL para que você possa criar seu primeiro pipeline de dados com Mage AI. Permita-me apresentar a você os passos que ajudarão a tornar seu processamento de dados ainda melhor!

Resultados de aprendizagem

  • Entenda como configurar o Mage AI para integração perfeita com o PostgreSQL.
  • Aprenda a carregar dados brutos no PostgreSQL e criar esquemas usando o pgAdmin4.
  • Domine o processo de criação e gerenciamento de pipelines de dados no Mage AI.
  • Discover como configurar gatilhos automatizados e agendamento para pipelines de dados.
  • Obtenha insights sobre os recursos avançados do Mage AI, como processamento e monitoramento em tempo actual.

Este artigo foi publicado como parte do Blogathon de ciência de dados.

O que é Mage AI?

O Mage AI simplifica a integração de fluxos de trabalho de dados crescentes como uma ferramenta de código aberto. Com seu design limpo e interface semelhante a um aplicativo, engenheiros e analistas de dados podem criar facilmente pipelines de dados usando opções de um clique, eliminando a necessidade de codificação. Importar, analisar e manipular huge knowledge é muito mais fácil com o Mage AI, que vem com recursos como arrastar e soltar, transformação de dados, compatibilidade de fonte de dados, entre outros. O primeiro permite que os usuários gastem seu tempo no lado analítico em vez de se preocupar com as infraestruturas subjacentes a serem configuradas. O Mage AI também oferece suporte a scripts Python, onde é possível definir transformações personalizadas que o tornam adequado para usuários técnicos e não técnicos.

Benefícios de usar Mage AI com PostgreSQL

Vamos analisar os benefícios de usar o Mage AI com o PostgreSQL.

  • Gerenciamento de dados simplificado: O Mage AI simplifica a criação de pipeline de dados com sua interface de arrastar e soltar, facilitando o carregamento, a transformação e a exportação de dados de PostgreSQL sem codificação handbook.
  • Automação aprimorada: Automatize tarefas de dados recorrentes, como processos ETL, configurando gatilhos e pipelines agendados, reduzindo a necessidade de intervenções manuais constantes.
  • Integração perfeita: O Mage AI integra-se perfeitamente ao PostgreSQL, permitindo que os usuários gerenciem grandes conjuntos de dados com eficiência e executem operações de dados complexas dentro do mesmo fluxo de trabalho.
  • Transformações personalizáveis: Aproveite o script Python no Mage AI para executar transformações de dados personalizadas em dados PostgreSQL, permitindo flexibilidade para processamento avançado de dados.
  • Escalável e confiável: O Mage AI gerencia pipelines com eficiência, garantindo o manuseio tranquilo de conjuntos de dados pequenos e grandes, enquanto a escalabilidade do PostgreSQL oferece suporte ao crescimento dos negócios sem gargalos de desempenho.
  • Amigo do usuário: A interface intuitiva o torna acessível a usuários com diferentes níveis de conhecimento técnico, permitindo aprendizado e implantação mais rápidos de soluções de dados.
Configurar Mage AI com Postgres

Configure o Mage AI com Postgres para construir e gerenciar seu pipeline de dados

Configurar o Mage AI com o Postgres permite que você crie e gerencie perfeitamente pipelines de dados poderosos, automatizando fluxos de trabalho e simplificando tarefas de dados complexas para insights eficientes. Vamos dar uma olhada nas etapas necessárias para configurar o Mage AI com o Postgres.

Etapa 1: Preparando seu banco de dados Postgres

Antes de mergulhar no Mage AI, carregue seus arquivos de dados brutos no Postgres usando o pgAdmin4 e crie o esquema correto para cada arquivo. Veja como começar:

Carregar arquivos Uncooked para Postgres through pgAdmin4

  • Abra o pgAdmin4 e conecte-se ao seu servidor Postgres.
  • Crie um novo banco de dados ou use um existente.
  • Certifique-se de adicionar o esquema correto para cada arquivo de dados brutos.
  • Carregue/exporte seus arquivos de dados para as tabelas apropriadas dentro deste esquema.
import pandas as pd
import chardet

# Open the file in binary mode and skim a pattern
with open("expensemaster.csv", 'rb') as file:
    pattern = file.learn(10000)  # Learn first 10,000 bytes as a pattern

# Detect encoding
detected = chardet.detect(pattern)
print(detected('encoding'))

# Use the detected encoding to learn the CSV
attempt:
    df = pd.read_csv("expensemaster.csv", encoding=detected('encoding'))
besides UnicodeDecodeError:
    # If studying fails, attempt with a standard encoding like UTF-8
    df = pd.read_csv("expensemaster.csv", encoding="utf-8")

# Infer knowledge varieties
dtype_mapping = {
    'object': 'TEXT',
    'int64': 'BIGINT',
    'float64': 'DOUBLE PRECISION',
    'datetime64(ns)': 'TIMESTAMP',
    'bool': 'BOOLEAN'
}

column_definitions=", ".be a part of((f'"{col}" {dtype_mapping(str(df(col).dtype))}' for col in df.columns))

# Generate the CREATE TABLE SQL
table_name="expensemaster"
create_table_sql = f'CREATE TABLE {table_name} ({column_definitions});'
print(create_table_sql)
Configurar Mage AI com Postgres

Clique em atualizar em “Tabelas” para obter a tabela recém-criada.

Configurar Mage AI com Postgres para

Inicie o serviço Postgres

Certifique-se de que o serviço Postgres esteja em execução. Você pode verificar isso no pgAdmin4 ou usando o terminal psql.

Etapa 2: coletando detalhes de configuração do Postgres

Você precisará de detalhes específicos para configurar o Mage AI com Postgres. Aqui está o que você precisa e como encontrar:

  • POSTGRES_DBNAME: O nome do seu banco de dados Postgres.
  • ESQUEMA_POSTGRES: O esquema onde seus arquivos de dados são carregados.
  • USUÁRIO_POSTGRES: O nome de usuário do seu banco de dados Postgres.
  • SENHA_POSTGRES: A senha para seu banco de dados Postgres.
  • POSTGRES_HOST: O endereço IP do host do seu servidor Postgres.
  • PORTA_POSTGRES: Normalmente 5432 para Postgres.

Etapa 3: Instalando o Mage AI usando o Docker no VS Code

Para instalar o Mage AI, usaremos a Docker Extension no Visible Studio Code (VS Code). Certifique-se de ter o Docker Desktop e a extensão Docker para VS Code instalados.

Instalar o Docker Desktop

Baixe e instale o Docker Desktop aqui e inicialize-o.

Instale a extensão Docker para VS Code:

  • Abra o VS Code e vá para a visualização Extensões clicando no ícone Extensões na Barra de Atividades na lateral da janela ou pressionando Ctrl+Shift+X.
  • Procure por “Docker” e instale a extensão Docker da Microsoft.

Puxe a imagem do Docker do Mage AI

  • Abra um terminal no VS Code e navegue até a pasta do seu projeto.
  • Execute o seguinte comando para obter a imagem mais recente do Docker do Mage AI:
docker pull mageai/mageai:newest

Execute a imagem do Docker do Mage AI

  • Depois que a imagem do Mage AI for extraída, vá para a aba Docker no VS Code.
  • Encontre a imagem Mage AI e execute-a. Isso criará um novo contêiner.
  • Clique com o botão direito do mouse no contêiner recém-criado e selecione “Abrir no navegador”.
  • A interface do Mage AI agora deve ser carregada no seu navegador padrão.
Execute a imagem do Docker do Mage AI

Etapa 4: Configurando o Mage AI para conectar-se ao Postgres

Configure a conexão com o banco de dados em io_config.yaml:

  • Navegue até a seção Todos os arquivos do seu pipeline.
  • Localize e abra o arquivo io_config.yaml.
  • Adicione os detalhes da sua conexão Postgres da seguinte forma
Etapa 4: Configurando o Mage AI para conectar-se ao Postgres

Permitir que o Mage AI acesse o banco de dados Postgres

  • Para conceder acesso ao banco de dados no seu endereço IP, você precisa modificar o arquivo pg_hba.conf.
  • Localize o arquivo pg_hba.conf em C:Program FilesPostgreSQL16data.
  • Abra o arquivo e adicione a linha na seção # IPv4 native connections, conforme mostrado na Fig. 4.

Etapa 5: Criando seu primeiro pipeline de dados

Agora que o Mage AI está configurado para se conectar com o Postgres, podemos criar nosso primeiro pipeline de dados. Começaremos configurando blocos de carregador de dados para cada conjunto de dados e usando o recurso de arrastar e soltar para conectá-los em um fluxograma.

Criar blocos do carregador de dados

  • Para cada conjunto de dados, crie um bloco de carregador de dados separado.
  • Na interface do Mage AI, arraste e solte um bloco de carregador de dados na tela para cada conjunto de dados que você precisa carregar do Postgres.
  • Configure cada bloco do carregador de dados com os detalhes de conexão apropriados e consulte para buscar os dados do Postgres.
Criar blocos do carregador de dados

Conecte os blocos do carregador de dados ao bloco do transformador

Use o recurso de arrastar e soltar para conectar os blocos do carregador de dados no fluxograma ao próximo bloco de código do transformador. Essa representação visible ajuda a entender o fluxo de dados e a garantir que todas as etapas estejam conectadas corretamente.

Conecte os blocos do carregador de dados ao bloco do transformador
Conecte os blocos do carregador de dados ao bloco do transformador

Criando blocos exportadores de dados

  • Na interface do Mage AI, depois de configurar o carregador de dados e os blocos de transformação, adicione um bloco exportador de dados à tela.
  • Escolha “Postgres” como destino para os dados em Python.
  • Forneça os detalhes de conexão necessários para seu banco de dados Postgres. Escreva o código para exportar os dados transformados de volta para o banco de dados PostgreSQL.
Criando blocos exportadores de dados
Mage AI com Postgres

Etapa 6: Criando gatilhos e agendando pipelines

O Mage AI oferece a capacidade de criar gatilhos para executar seu pipeline e agendá-lo para execução common. Isso garante que seus dados estejam sempre atualizados sem intervenção handbook.

Criando um gatilho

  • No Mage AI, você pode configurar gatilhos para executar seu pipeline com base em eventos ou condições específicas. Por exemplo, você pode disparar um pipeline para ser executado sempre que novos dados forem adicionados ao seu banco de dados Postgres.
  • Para criar um gatilho, navegue até as configurações do pipeline e configure as condições do gatilho conforme necessário.

Agendando o Pipeline

  • O Mage AI suporta o agendamento de pipelines para execução em intervalos regulares. Isso pode ser feito por meio das configurações de agendamento no painel do Mage AI.
  • Você pode especificar a frequência (diária, semanal, and so forth.) e o horário de execução do pipeline.
Mage AI com Postgres

Recursos adicionais do Mage AI

O Mage AI fornece vários recursos poderosos para automatizar e aprimorar seus pipelines de dados:

  • Integração com múltiplas fontes de dados: O Mage AI também aceita vários tipos de entradas de dados: bancos de dados, armazenamento em nuvem e APIs, permitindo que você construa fluxos de dados diversos e abrangentes.
  • Capacidades avançadas de transformação: Com base em Python, o Mage AI oferece a oportunidade de implementar transformações personalizadas com a ajuda de decoradores, o que facilita o processo de realização de vários algoritmos de transformação de dados.
  • Escalabilidade: O Mage AI otimiza sua taxa de transferência para huge knowledge, permitindo que ele lide com quantidades cada vez maiores de dados conforme eles crescem.
  • Monitoramento e alertas: O Mage AI fornece uma forte funcionalidade de monitoramento e alerta e permite monitorar o fluxo de trabalho do pipeline, bem como receber notificações sobre falhas.
  • Interface amigável: O structure gráfico dos pipelines de dados significa que os usuários não precisam se preocupar com codificação complicada para manipular e transformar seus dados.

Eles fazem do Mage AI uma ferramenta para automatizar os fluxos de trabalho de dados como infraestrutura de dados, para que você não exact gastar muito tempo com isso.

Conclusão

Hoje, a informação é um ativo valioso, tornando o gerenciamento de dados essencial para as organizações. Este artigo fornece orientação clara sobre como configurar o Mage AI com o PostgreSQL, ajudando você a construir um pipeline de dados robusto que não apenas simplifica vários processos, mas também aumenta significativamente a produtividade. Com o software program associado, a utilização do Mage AI juntamente com bancos de dados robustos como o PostgreSQL permite que os usuários manipulem, analisem e tomem as decisões certas no menor tempo possível. À medida que as organizações intensificam os esforços em metodologias e estruturas orientadas por dados, tecnologias como o Mage AI estão prestes a se tornar os modelos dominantes para o gerenciamento de dados.

Perguntas frequentes

P1. O que é Mage AI?

A. Mage AI é uma ferramenta de código aberto projetada para simplificar o processo de construção e gerenciamento de fluxos de trabalho de dados. Ela fornece uma interface amigável e recursos de automação que ajudam os profissionais de dados a criar pipelines sem amplo conhecimento de codificação.

Q2. Por que usar PostgreSQL com Mage AI?

A. O PostgreSQL é um poderoso sistema de gerenciamento de banco de dados relacional de código aberto conhecido por sua robustez e escalabilidade. Quando pareado com o Mage AI, ele permite que os usuários armazenem, recuperem e manipulem grandes conjuntos de dados de forma eficiente, tornando-o uma escolha ultimate para pipelines de dados.

Q3. Preciso de habilidades de programação para usar o Mage AI?

A. Embora alguma familiaridade com conceitos de programação possa ser útil, o Mage AI foi projetado para ser amigável e acessível a usuários com vários níveis de conhecimento técnico. Muitas tarefas podem ser realizadas por meio de sua interface intuitiva.

This fall. Posso integrar outras fontes de dados com o Mage AI?

R. Sim, o Mage AI oferece suporte à integração com várias fontes de dados, permitindo que os usuários criem pipelines de dados abrangentes que extraem dados de várias plataformas, aprimorando o ecossistema geral de dados.

Q5. O Mage AI é gratuito?

A. Mage AI é uma ferramenta de código aberto, o que significa que é gratuita para uso. No entanto, os usuários podem incorrer em custos associados a hospedagem, armazenamento e outros serviços relacionados, dependendo de suas escolhas de infraestrutura.

A mídia mostrada neste artigo não é de propriedade da Analytics Vidhya e é usada a critério do autor.

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *