データノード - AWS Data Pipeline

データノード

この例では、入力データノード、出力データノード、およびデータベースが使用されています。

入力データノード

入力 S3DataNode のパイプラインコンポーネントは、Amazon S3 における入力データの場所と入力データのデータ形式を定義します。詳細については、「S3DataNode」を参照してください。

この入力コンポーネントは、次のフィールドで定義されます。

{ "id": "S3DataNodeId1", "schedule": { "ref": "ScheduleId1" }, "filePath": "s3://datapipeline-us-east-1/samples/hive-ads-samples.csv", "name": "DefaultS3DataNode1", "dataFormat": { "ref": "CSVId1" }, "type": "S3DataNode" },
id

ユーザー定義の ID。これは参照時にのみ使用されるラベルです。

schedule

スケジュールコンポーネントへの参照。

filePath

データノードに関連付けられているデータへのパス。この例では CSV 入力ファイルです。

name

ユーザー定義の名前。これは参照時にのみ使用されるラベルです。

dataFormat

処理するアクティビティのデータの形式への参照。

出力データノード

出力 RedshiftDataNode パイプライン コンポーネントは、出力データの場所を定義します。この例では Amazon Redshift データベース内のテーブルです。詳細については、「RedshiftDataNode」を参照してください。この出力コンポーネントは、次のフィールドで定義されます。

{ "id": "RedshiftDataNodeId1", "schedule": { "ref": "ScheduleId1" }, "tableName": "orders", "name": "DefaultRedshiftDataNode1", "createTableSql": "create table StructuredLogs (requestBeginTime CHAR(30) PRIMARY KEY DISTKEY SORTKEY, requestEndTime CHAR(30), hostname CHAR(100), requestDate varchar(20));", "type": "RedshiftDataNode", "database": { "ref": "RedshiftDatabaseId1" } },
id

ユーザー定義の ID。これは参照時にのみ使用されるラベルです。

schedule

スケジュールコンポーネントへの参照。

tableName

Amazon Redshift テーブルの名前。

name

ユーザー定義の名前。これは参照時にのみ使用されるラベルです。

createTableSql

データベースにテーブルを作成する SQL 式。

database

Amazon Redshift データベースへの参照。

データベース

RedshiftDatabase コンポーネントは、以下のフィールドで定義されます。詳細については、「RedshiftDatabase」を参照してください。

{ "id": "RedshiftDatabaseId1", "databaseName": "dbname", "username": "user", "name": "DefaultRedshiftDatabase1", "*password": "password", "type": "RedshiftDatabase", "clusterId": "redshiftclusterId" },
id

ユーザー定義の ID。これは参照時にのみ使用されるラベルです。

databaseName

論理データベースの名前。

username

データベースに接続するためのユーザー名。

name

ユーザー定義の名前。これは参照時にのみ使用されるラベルです。

password

データベースに接続するためのパスワード。

clusterId

Redshift クラスターの ID。