Nós de dados

Este exemplo usa um nó de dados de entrada, um nó de dados de saída e um banco de dados.

Nó de dados de entrada

O componente de pipeline S3DataNode de entrada define o local dos dados de entrada no Amazon S3 e o formato dos dados de entrada. Para obter mais informações, consulte S3DataNode.

Esse componente de entrada é definido pelos seguintes campos:

{
  "id": "S3DataNodeId1",
  "schedule": {
    "ref": "ScheduleId1"
  },
  "filePath": "s3://datapipeline-us-east-1/samples/hive-ads-samples.csv",
  "name": "DefaultS3DataNode1",
  "dataFormat": {
    "ref": "CSVId1"
  },
  "type": "S3DataNode"
},    

id

O ID definido pelo usuário, que é apenas um rótulo para sua referência.

schedule

Uma referência para o componente de programação.

filePath

O caminho para os dados associados ao nó de dados, que é um arquivo de entrada CSV neste exemplo.

name

O nome definido pelo usuário, que é apenas um rótulo para sua referência.

dataFormat

Uma referência para o formato de dados da atividade a ser processada.

Nó de dados de saída

O componente do pipeline RedshiftDataNode de saída define um local para os dados de saída. Neste caso, uma tabela em um banco de dados do Amazon Redshift. Para obter mais informações, consulte RedshiftDataNode. Esse componente de saída é definido pelos seguintes campos:

{
  "id": "RedshiftDataNodeId1",
  "schedule": {
    "ref": "ScheduleId1"
  },
  "tableName": "orders",
  "name": "DefaultRedshiftDataNode1",
  "createTableSql": "create table StructuredLogs (requestBeginTime CHAR(30) PRIMARY KEY DISTKEY SORTKEY, requestEndTime CHAR(30), hostname CHAR(100), requestDate varchar(20));",
  "type": "RedshiftDataNode",
  "database": {
    "ref": "RedshiftDatabaseId1"
  }
},

id

O ID definido pelo usuário, que é apenas um rótulo para sua referência.

schedule

Uma referência para o componente de programação.

tableName

O nome da tabela do Amazon Redshift.

name

O nome definido pelo usuário, que é apenas um rótulo para sua referência.

createTableSql

Uma expressão SQL para criar a tabela no banco de dados.

database

Uma referência ao banco de dados do Amazon Redshift.

Banco de dados

O componente RedshiftDatabase é definido pelos seguintes campos. Para obter mais informações, consulte RedshiftDatabase.

{
  "id": "RedshiftDatabaseId1",
  "databaseName": "dbname",
  "username": "user",
  "name": "DefaultRedshiftDatabase1",
  "*password": "password",
  "type": "RedshiftDatabase",
  "clusterId": "redshiftclusterId"
},

id

O ID definido pelo usuário, que é apenas um rótulo para sua referência.

databaseName

O nome do banco de dados lógico.

username

O nome de usuário para se conectar ao banco de dados.

name

O nome definido pelo usuário, que é apenas um rótulo para sua referência.

password

A senha para se conectar ao banco de dados.

clusterId

O ID do cluster do Redshift.