Histórico do documento - AWS Data Pipeline

Histórico do documento

Esta documentação está associada à versão de 29 de outubro de 2029 do AWS Data Pipeline.

Alteração Descrição Data de lançamento
A documentação foi adicionada para realizar determinados procedimentos usando a AWS do CLI. Procedimentos removidos relacionados ao console do AWS Data Pipeline.

Para obter mais informações, consulte Clonar o pipeline, Visualizar logs de pipeline e Crie pipelines a partir de modelos de Data Pipeline usando a CLI.

26 de maio de 2023
Foram adicionados mais conteúdo e amostras para migrar de AWS Data Pipeline para outros serviços alternativos.

Atualizou o tópico para migrar AWS Data Pipeline para AWS Glue, Step Functions de AWS ou Amazon MWAA com mais informações sobre cada alternativa, mapeamentos conceituais entre os serviços e amostras. Para obter mais informações, consulte Migração de workloads do AWS Data Pipeline.

31 de março de 2023
Foram adicionadas informações sobre o suporte de AWS Data Pipeline do IMDSv2.

O AWS Data Pipeline suporta IMDSv2 para recursos do Amazon EMR e do Amazon EC2. Para obter mais informações, consulte Proteção de dados no AWS Data Pipeline, EmrCluster e Ec2Resource.

16 de dezembro de 2022
Foi adicionado um tópico para migrar de AWS Data Pipeline para outros serviços alternativos.

Agora existem outros serviços de AWS que oferecem aos clientes uma melhor experiência de integração de dados. Você pode migrar casos de uso típicos de AWS Data Pipeline para AWS Glue, Step Functions do AWS ou Amazon MWAA. Para obter mais informações, consulte Migração de workloads do AWS Data Pipeline.

16 de dezembro de 2022

Atualização das listas de instâncias do Amazon EC2 e do Amazon EMR compatíveis.

Atualização da lista de IDs de AMIs de HVM (Hardware Virtual Machine) usadas para as instâncias.

Atualização das listas de instâncias do Amazon EC2 e do Amazon EMR compatíveis. Para obter mais informações, consulte Tipos de instância com suporte para as atividades de trabalho do pipeline.

Atualização da lista de IDs de AMIs de HVM (Hardware Virtual Machine) usadas para as instâncias. Para obter mais informações, consulte Sintaxe e pesquise imageId.

9 de novembro de 2018
Adição de configuração para anexar volumes do Amazon EBS aos nós de cluster e executar um cluster do Amazon EMR em uma sub-rede privada.

Adição de opções de configuração a um objeto EMRcluster. Você pode usar essas opções nos pipelines que usam clusters do Amazon EMR.

Use os campos coreEbsConfiguration, masterEbsConfiguration e TaskEbsConfiguration para configurar anexos de volumes do Amazon EBS como nós core, principal e de tarefa no cluster do Amazon EMR. Para obter mais informações, consulte Anexe os volumes do EBS aos nós de cluster.

Use os campos emrManagedMasterSecurityGroupId, emrManagedSlaveSecurityGroupId e ServiceAccessSecurityGroupId para configurar um cluster do Amazon EMR em uma sub-rede privada. Para obter mais informações, consulte Configurar um cluster do Amazon EMR em uma sub-rede privada.

Para mais informações sobre sintaxe de EMRcluster, consulte EmrCluster.

19 de abril de 2018
Adição de uma lista de instâncias do Amazon EC2 e Amazon EMR compatíveis.

Adição da lista de instâncias que o AWS Data Pipeline cria por padrão se você não especificar um tipo de instância na definição do pipeline. Adição de uma lista de instâncias do Amazon EC2 e Amazon EMR compatíveis. Para obter mais informações, consulte Tipos de instância com suporte para as atividades de trabalho do pipeline.

22 de março de 2018
Adição do suporte aos pipelines sob demanda
  • Mais suporte aos pipelines sob demanda, o que permite que você execute novamente um pipeline ao reativá-lo.

22 de fevereiro de 2016
Suporte adicional para bancos de dados do RDS
  • rdsInstanceId, region e jdbcDriverJarUri adicionados a RdsDatabase.

  • database atualizado em SqlActivity para oferecer suporte a RdsDatabase também.

17 de agosto de 2015
Suporte adicional a JDBC
7 de julho de 2015
Suporte a spot, HadoopActivity e zona de disponibilidade
  • Suporte adicionado para enviar trabalhos paralelos aos clusters do Hadoop. Para obter mais informações, consulte HadoopActivity.

  • Capacidade de solicitar instâncias spot com Ec2Resource e EmrCluster.

  • Capacidade de iniciar recursos EmrCluster em uma zona de disponibilidade específica.

1 de junho de 2015
Desativar pipelines

Suporte adicional à desativação de pipelines ativos. Para obter mais informações, consulte Desativar o pipeline.

7 de abril de 2015
Modelos e console atualizados

Adição de novos modelos. Capítulo Conceitos básicos atualizado para utilização do modelo Conceitos básicos do ShellCommandActivity. Para obter mais informações, consulte Crie pipelines a partir de modelos de Data Pipeline usando a CLI.

25 de novembro de 2014
Suporte à VPC

Suporte adicionado para a iniciar recursos em uma nuvem privada virtual (VPC).

12 de março de 2014
Suporte de região

Suporte adicionado para várias regiões de serviços. Além da região us-east-1, o AWS Data Pipeline é compatível em eu-west-1, ap-northeast-1, ap-southeast-2 e us-west-2.

20 de fevereiro de 2014
Suporte a Amazon Redshift

Suporte adicionado ao Amazon Redshift no AWS Data Pipeline, incluindo um novo modelo do console (Copiar para o Redshift) e um tutorial para demonstrar o modelo. Para obter mais informações, consulte Copiar dados para o Amazon Redshift usando AWS Data Pipeline, RedshiftDataNode, RedshiftDatabase e RedshiftCopyActivity.

6 de novembro de 2013
PigActivity

PigActivity adicionado, que fornece suporte nativo ao Pig. Para obter mais informações, consulte PigActivity.

15 de outubro de 2013
Modelo, atividade e formato de dados novos do console

Novo modelo de console CrossRegion DynamoDB Copy adicionado, incluindo novos HiveCopyActivity e DynamoDBExportDataFormat.

21 de agosto de 2013
Falhas e novas execuções em cascata

Informações adicionadas sobre o comportamento de falhas e novas execuções em cascata do AWS Data Pipeline. Para obter mais informações, consulte Falhas e novas execuções em cascata.

8 de agosto de 2013
Vídeo sobre a solução de problemas

Vídeo adicionado sobre a solução de problemas básicos do AWS Data Pipeline. Para obter mais informações, consulte Solução de problemas.

17 de julho de 2013
Editar pipelines ativos

Mais informações adicionadas sobre como editar pipelines ativos e executar novamente os componentes do pipeline. Para obter mais informações, consulte Editar o pipeline.

17 de julho de 2013
Usar recursos em diferentes regiões

Mais informações adicionadas sobre como usar recursos em diferentes regiões. Para obter mais informações, consulte Usar um pipeline com recursos em várias regiões.

17 de junho de 2013
Status WAITING_ON_DEPENDENCIES

Status CHECKING_PRECONDITIONS alterado para WAITING_ON_DEPENDENCIES e adicionado o campo de tempo de execução @waitingOn para objetos do pipeline.

20 de maio de 2013
DynamoDBDataFormat

Modelo DynamoDBDataFormat adicionado.

23 de abril de 2013
Vídeo Processar logs da web e suporte a instâncias spot

Introdução do vídeo “Processar logs da web com o AWS Data Pipeline, o Amazon EMR e o Hive” e suporte às instâncias spot do Amazon EC2.

21 de fevereiro de 2013

A versão inicial do Guia do desenvolvedor do AWS Data Pipeline.

20 de dezembro de 2012