数据节点

此示例使用输入数据节点、输出数据节点和数据库。

输入数据节点

输入 S3DataNode 管道组件定义了 Amazon S3 中的输入数据位置和输入数据的数据格式。有关更多信息，请参阅S3DataNode。

此输入组件由以下字段定义：

{
  "id": "S3DataNodeId1",
  "schedule": {
    "ref": "ScheduleId1"
  },
  "filePath": "s3://datapipeline-us-east-1/samples/hive-ads-samples.csv",
  "name": "DefaultS3DataNode1",
  "dataFormat": {
    "ref": "CSVId1"
  },
  "type": "S3DataNode"
},    

id

用户定义 ID，这是仅供您参考的标签。

schedule

对计划组件的引用。

filePath

与数据节点关联的数据的路径，在本示例中是一个 CSV 输入文件。

name

用户定义名称，这是仅供您参考的标签。

dataFormat

对活动要处理的数据格式的引用。

输出数据节点

输出 RedshiftDataNode 管道组件定义了输出数据的位置；在本例中是 Amazon Redshift 数据库中的表。有关更多信息，请参阅RedshiftDataNode。此输出组件由以下字段定义：

{
  "id": "RedshiftDataNodeId1",
  "schedule": {
    "ref": "ScheduleId1"
  },
  "tableName": "orders",
  "name": "DefaultRedshiftDataNode1",
  "createTableSql": "create table StructuredLogs (requestBeginTime CHAR(30) PRIMARY KEY DISTKEY SORTKEY, requestEndTime CHAR(30), hostname CHAR(100), requestDate varchar(20));",
  "type": "RedshiftDataNode",
  "database": {
    "ref": "RedshiftDatabaseId1"
  }
},

id

用户定义 ID，这是仅供您参考的标签。

schedule

对计划组件的引用。

tableName

Amazon Redshift 表的名称。

name

用户定义名称，这是仅供您参考的标签。

createTableSql

一个用于在数据库中创建表的 SQL 表达式。

database

对 Amazon Redshift 数据库的引用。

数据库

RedshiftDatabase 组件由以下字段定义。有关更多信息，请参阅RedshiftDatabase。

{
  "id": "RedshiftDatabaseId1",
  "databaseName": "dbname",
  "username": "user",
  "name": "DefaultRedshiftDatabase1",
  "*password": "password",
  "type": "RedshiftDatabase",
  "clusterId": "redshiftclusterId"
},

id

用户定义 ID，这是仅供您参考的标签。

databaseName

逻辑数据库的名称。

username

连接到数据库的用户名。

name

用户定义名称，这是仅供您参考的标签。

password

连接到数据库的密码。

clusterId

Redshift 集群的 ID。