Simpul Data - AWS Data Pipeline

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Simpul Data

Contoh ini menggunakan simpul data input, simpul data output, dan basis data.

Simpul Data Input

Komponen alur S3DataNode input mendefinisikan lokasi input data di Amazon S3 dan format data dari input data. Untuk informasi selengkapnya, lihat S3 DataNode.

Komponen input ini didefinisikan oleh bidang berikut:

{ "id": "S3DataNodeId1", "schedule": { "ref": "ScheduleId1" }, "filePath": "s3://datapipeline-us-east-1/samples/hive-ads-samples.csv", "name": "DefaultS3DataNode1", "dataFormat": { "ref": "CSVId1" }, "type": "S3DataNode" },
id

ID yang ditetapkan pengguna, yang merupakan label untuk referensi Anda saja.

schedule

Sebuah referensi untuk komponen jadwal.

filePath

Jalur ke data yang terkait dengan simpul data, yang merupakan file input CSV dalam contoh ini.

name

Nama yang ditetapkan pengguna, yang merupakan label untuk referensi Anda saja.

dataFormat

Sebuah referensi ke format data untuk aktivitas untuk memproses.

Simpul Data Output

Komponen alur RedshiftDataNode output mendefinisikan lokasi untuk data output; dalam hal ini, tabel dalam basis data Amazon Redshift. Untuk informasi selengkapnya, lihat RedshiftDataNode. Komponen output ini didefinisikan oleh bidang-bidang berikut:

{ "id": "RedshiftDataNodeId1", "schedule": { "ref": "ScheduleId1" }, "tableName": "orders", "name": "DefaultRedshiftDataNode1", "createTableSql": "create table StructuredLogs (requestBeginTime CHAR(30) PRIMARY KEY DISTKEY SORTKEY, requestEndTime CHAR(30), hostname CHAR(100), requestDate varchar(20));", "type": "RedshiftDataNode", "database": { "ref": "RedshiftDatabaseId1" } },
id

ID yang ditetapkan pengguna, yang merupakan label untuk referensi Anda saja.

schedule

Sebuah referensi untuk komponen jadwal.

tableName

Nama tabel Amazon Redshift.

name

Nama yang ditetapkan pengguna, yang merupakan label untuk referensi Anda saja.

createTableSql

Ekspresi SQL untuk membuat tabel di basis data.

database

Sebuah referensi ke basis data Amazon Redshift.

Basis Data

Komponen RedshiftDatabase didefinisikan oleh bidang berikut. Untuk informasi selengkapnya, lihat RedshiftDatabase.

{ "id": "RedshiftDatabaseId1", "databaseName": "dbname", "username": "user", "name": "DefaultRedshiftDatabase1", "*password": "password", "type": "RedshiftDatabase", "clusterId": "redshiftclusterId" },
id

ID yang ditetapkan pengguna, yang merupakan label untuk referensi Anda saja.

databaseName

Nama basis data logis.

username

Nama pengguna untuk terhubung ke basis data.

name

Nama yang ditetapkan pengguna, yang merupakan label untuk referensi Anda saja.

password

Kata sandi untuk terhubung ke basis data.

clusterId

ID dari klaster Redshift.