 |
Hoje, tenho o prazer de anunciar a disponibilidade geral do Edição compatível com Amazon Aurora PostgreSQL e Amazon DynamoDB integrações zero-ETL com Redshift da Amazon. A integração Zero-ETL disponibiliza perfeitamente dados transacionais ou operacionais no Amazon Redshift, eliminando a necessidade de criar e gerenciar pipelines de dados complexos que executam operações de extração, transformação e carregamento (ETL). Ele automatiza a replicação de dados de origem para o Amazon Redshift, atualizando simultaneamente os dados de origem para você usar no Amazon Redshift para recursos de análise e machine studying (ML) para obter insights oportunos e responder com eficácia a eventos críticos e urgentes.
Usando essas novas integrações zero-ETL, você pode executar análises unificadas em seus dados de diferentes aplicativos sem precisar criar e gerenciar diferentes pipelines de dados para gravar dados de diversas fontes de dados relacionais e não relacionais em um único knowledge warehouse. Nesta postagem, forneço duas orientações passo a passo sobre como começar a usar as integrações zero-ETL do Amazon Aurora PostgreSQL e do Amazon DynamoDB com o Amazon Redshift.
Para criar uma integração sem ETL, especifique uma origem e o Amazon Redshift como destino. A integração duplicate dados do knowledge warehouse de origem para o destino, disponibilizando-os perfeitamente no Amazon Redshift e monitorando a integridade do pipeline.
Vamos explorar como essas novas integrações funcionam. Nesta postagem, você aprenderá como criar integrações ETL zero para replicar dados de diferentes bancos de dados de origem (Aurora PostgreSQL e DynamoDB) para o mesmo cluster do Amazon Redshift. Você também aprenderá como selecionar várias tabelas ou bancos de dados de bancos de dados de origem Aurora PostgreSQL para replicar dados para o mesmo cluster do Amazon Redshift. Você observará como as integrações de ETL zero fornecem flexibilidade sem a carga operacional de construir e gerenciar vários pipelines de ETL.
Conceitos básicos da integração zero-ETL do Aurora PostgreSQL com o Amazon Redshift
Antes de criar um banco de dados, crio um grupo de parâmetros de cluster personalizado porque a integração do Aurora PostgreSQL zero-ETL com o Amazon Redshift requer valores específicos para o Parâmetros do cluster de banco de dados Aurora. No Console do Amazon RDSeu vou para Grupos de parâmetros no painel de navegação. eu escolho Criar grupo de parâmetros.
eu entro custom-pg-aurora-postgres-zero-etl para Nome do grupo de parâmetros e Descrição. eu escolho Aurora PostgreSQL para Tipo de motor e aurora-postgresql16 para Família de grupos de parâmetros (a integração zero-ETL funciona com PostgreSQL 16.4 ou versões superiores). Finalmente, eu escolho Grupo de parâmetros de cluster de banco de dados para Tipo e escolha Criar.
Em seguida, edito o grupo de parâmetros de cluster recém-criado, escolhendo-o na guia Grupos de parâmetros página. eu escolho Ações e então escolha Editar. Eu defino as seguintes configurações de parâmetros de cluster:
rds.logical_replication=1aurora.enhanced_logical_replication=1aurora.logical_replication_backup=0aurora.logical_replication_globaldb=0
eu escolho Salvar alterações.
A seguir, crio um Banco de dados Aurora PostgreSQL. Ao criar o banco de dados, você pode definir as configurações de acordo com sua necessidade. Lembre-se de escolher Aurora PostgreSQL (compatível com PostgreSQL 16.4 ou superior) de Versões disponíveis e o grupo de parâmetros de cluster personalizado (custom-pg-aurora-postgres-zero-etl neste caso) para Grupo de parâmetros do cluster de banco de dados no Configuração adicional seção.
Depois que o banco de dados estiver disponível, eu me conecto ao cluster Aurora PostgreSQL, crio um banco de dados chamado livros, crie uma tabela chamada catálogo_de_livros no esquema padrão deste banco de dados e insira dados de amostra para usar com integração ETL zero.
Para começar com a integração zero-ETL, uso um knowledge warehouse existente do Amazon Redshift. Para criar e gerenciar recursos do Amazon Redshift, visite o Guia de primeiros passos do Amazon Redshift.
No console do Amazon RDS, vou para o Integrações Zero-ETL guia no painel de navegação e escolha Crie integração ETL zero. eu entro postgres-redshift-zero-etl para Identificador de integração e Amazon Aurora zero-ETL integration with Amazon Redshift para Descrição da integração. eu escolho Próximo.
Na próxima página, eu escolho Navegue pelos bancos de dados RDS para selecionar o banco de dados de origem. Para o Opções de filtragem de dadoseu uso database.schema.desk padrão. Eu incluo minha mesa chamada catálogo_de_livros no Aurora PostgreSQL livros banco de dados. O * nos filtros irá replicar todos catálogo_de_livros tabelas em todos os esquemas dentro livros banco de dados. eu escolho Incluir como tipo de filtro e insira books.*.book_catalog para dentro do Expressão de filtro campo. eu escolho Próximo.
Na próxima página, eu escolho Navegue pelos knowledge warehouses do Redshift e selecione o knowledge warehouse existente do Amazon Redshift como destino. Devo especificar os principais autorizados e a fonte de integração no destino para permitir que o Amazon Aurora se replique no knowledge warehouse e ativar a diferenciação de maiúsculas e minúsculas. O Amazon RDS pode concluir essas etapas durante a configuração ou posso configurá-las manualmente no Amazon Redshift. Para esta demonstração, eu escolho Corrija isso para mim e escolha Próximo.
Depois que o parâmetro de distinção entre maiúsculas e minúsculas e a política de recursos para knowledge warehouse forem corrigidos, escolho Próximo no próximo Adicione tags e criptografia página. Depois de revisar a configuração, escolho Crie integração ETL zero.
Após o sucesso da integração, escolho o nome da integração para verificar os detalhes.
Agora preciso criar um banco de dados desde a integração para finalizar a configuração. eu vou para o Console do Amazon Redshiftescolher Integrações Zero-ETL no painel de navegação e selecione a integração Aurora PostgreSQL que acabei de criar. eu escolho Criar banco de dados a partir da integração.
eu escolho livros como Banco de dados nomeado de origem e eu entro zeroetl_aurorapg como o Nome do banco de dados de destino. eu escolho Criar banco de dados.
Após a criação do banco de dados, retorno à página de integração do Aurora PostgreSQL. Nesta página, eu escolho Consultar dados para se conectar ao knowledge warehouse do Amazon Redshift para observar se os dados são replicados. Quando executo uma consulta selecionada no zeroetl_aurorapg banco de dados, vejo que os dados em catálogo_de_livros tabela é replicada para o Amazon Redshift com sucesso.
Como eu disse no início, você pode selecionar várias tabelas ou bancos de dados do banco de dados de origem Aurora PostgreSQL para replicar os dados para o mesmo cluster do Amazon Redshift. Para adicionar outro banco de dados à mesma integração ETL zero, tudo o que preciso fazer é adicionar outro filtro ao Opções de filtragem de dados na forma de database.schema.desksubstituindo a parte do banco de dados pelo nome do banco de dados que desejo replicar. Para esta demonstração, selecionarei várias tabelas para serem replicadas no mesmo knowledge warehouse. Eu crio outra tabela chamada editor no cluster do Aurora PostgreSQL e insira dados de amostra nele.
eu edito o Opções de filtragem de dados para incluir a tabela do editor para replicação. Para fazer isso, vou ao postgres-redshift-zero-etl página de detalhes e escolha Modificar. eu acrescento books.*.writer usando vírgula no Expressão de filtro campo. eu escolho Continuar. Eu reviso as alterações e escolho Salvar alterações. Observo que o Tabelas de dados filtrados A seção na página de detalhes da integração agora possui 2 tabelas incluídas para replicação.
Quando mudo para o editor de consultas do Amazon Redshift e atualizo as tabelas, vejo que o novo editor tabela e seus registros são replicados para o knowledge warehouse.
Agora que concluí a integração zero-ETL do Aurora PostgreSQL com o Amazon Redshift, vamos criar uma integração zero-ETL do DynamoDB com o mesmo knowledge warehouse.
Conceitos básicos da integração zero-ETL do DynamoDB com o Amazon Redshift
Nesta parte, continuo criando uma integração zero-ETL do Amazon DynamoDB usando uma tabela existente do Amazon DynamoDB chamada Catálogo_Livro. A tabela contém 2 itens:
eu vou para o Console do Amazon Redshift e escolha Integrações Zero-ETL no painel de navegação. Então, escolho a seta ao lado do Crie integração ETL zero e escolha Criar integração do DynamoDB. eu entro dynamodb-redshift-zero-etl para Nome da integração e Amazon DynamoDB zero-ETL integration with Amazon Redshift para Descrição. eu escolho Próximo.
Na próxima página, eu escolho Navegar nas tabelas do DynamoDB e selecione o Catálogo_Livro mesa. Devo especificar uma política de recursos com entidades de segurança e fontes de integração autorizadas e habilitar a recuperação pontual (PITR) na tabela de origem antes de criar uma integração. O Amazon DynamoDB pode fazer isso por mim ou posso alterar a configuração manualmente. eu escolho Corrija isso para mim para aplicar automaticamente as políticas de recursos necessárias para a integração e ativar o PITR na tabela do DynamoDB. eu escolho Próximo.
Então, eu escolho meu existente Amazon Redshift sem servidor knowledge warehouse como destino e escolha Próximo.
eu escolho Próximo novamente no Adicione tags e criptografia página e escolha Criar integração do DynamoDB no Revise e crie página.
Agora, preciso criar um banco de dados a partir da integração para finalizar a configuração, assim como fiz com a integração zero-ETL do Aurora PostgreSQL. No console do Amazon Redshift, escolho a integração do DynamoDB e escolho Criar banco de dados a partir da integração. Na tela pop-up, eu entro zeroetl_dynamodb como o Nome do banco de dados de destino e escolha Criar banco de dados.
Após a criação do banco de dados, vou para o Amazon Redshift Integrações Zero-ETL página e escolha a integração do DynamoDB que criei. Nesta página, eu escolho Consultar dados conectar-se ao knowledge warehouse do Amazon Redshift para observar se os dados do DynamoDB Catálogo_Livro tabela é replicada. Quando executo uma consulta selecionada no zeroetl_dynamodb banco de dados, vejo que os dados foram replicados para o Amazon Redshift com êxito. Observe que os dados do DynamoDB são replicados em Tipo de dados SUPER coluna e pode ser acessado usando SQL PartiQL.
Insiro outra entrada no DynamoDB Catálogo_Livro mesa.
Quando mudo para o editor de consultas do Amazon Redshift e atualizo a consulta selecionada, posso ver que o novo registro é replicado para o knowledge warehouse.
As integrações Zero-ETL entre Aurora PostgreSQL e DynamoDB com Amazon Redshift ajudam a unificar dados de vários clusters de banco de dados e desbloquear insights em seu knowledge warehouse. O Amazon Redshift permite consultas entre bancos de dados e visualizações materializadas com base em diversas tabelas, oferecendo a oportunidade de consolidar e simplificar seus ativos analíticos, melhorar a eficiência operacional e otimizar custos. Você não precisa mais se preocupar em configurar e gerenciar pipelines ETL complexos.
Agora disponível
A integração zero-ETL do Aurora PostgreSQL com o Amazon Redshift já está disponível nas regiões Leste dos EUA (Norte da Virgínia), Leste dos EUA (Ohio), Oeste dos EUA (Oregon), Ásia-Pacífico (Hong Kong), Ásia-Pacífico (Mumbai), Ásia-Pacífico (Singapura) ), Ásia-Pacífico (Sydney), Ásia-Pacífico (Tóquio), Europa (Frankfurt), Europa (Irlanda) e Europa (Estocolmo) Regiões da AWS.
A integração zero-ETL do Amazon DynamoDB com o Amazon Redshift já está disponível em todas as regiões comerciais da AWS, China e GovCloud.
Para informações sobre preços, visite o Amazônia Aurora e Amazon DynamoDB páginas de preços.
Para começar a usar esse recurso, visite Trabalhando com integrações Aurora zero-ETL com Amazon Redshift e Integrações Zero-ETL do Amazon Redshift documentação.