MySqlDataNode - AWS Data Pipeline

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

MySqlDataNode

定義使用 MySQL 的資料節點。

注意

MySqlDataNode 類型已移除。我們建議您改用 SqlDataNode

範例

以下為此物件類型的範例。此物件會參考兩個您在相同管道定義檔案中定義的其他物件。CopyPeriodSchedule 物件,Ready 則是先決條件物件。

{ "id" : "Sql Table", "type" : "MySqlDataNode", "schedule" : { "ref" : "CopyPeriod" }, "table" : "adEvents", "username": "user_name", "*password": "my_password", "connectionString": "jdbc:mysql://mysqlinstance-rds.example.us-east-1.rds.amazonaws.com:3306/database_name", "selectQuery" : "select * from #{table} where eventTime >= '#{@scheduledStartTime.format('YYYY-MM-dd HH:mm:ss')}' and eventTime < '#{@scheduledEndTime.format('YYYY-MM-dd HH:mm:ss')}'", "precondition" : { "ref" : "Ready" } }

語法

必要欄位 描述 槽類型
table MySQL 資料庫中的資料表名稱。 字串

物件呼叫欄位 描述 槽類型
schedule 在排程間隔的執行期間會呼叫此物件。使用者必須指定另一個物件的排程參考,設定此物件的相依性執行順序。使用者可以在物件上明確設定排程來滿足此需求,例如指定「schedule」: {"ref」: DefaultSchedule "}。在大部分的情況下,建議您將排程參考放在預設的管道物件,讓所有物件都繼承該排程。或者,如果管道有排程的樹狀目錄 (主排程內還有排程),使用者可以建立有排程參考的父物件。如需範例選用排程組態的詳細資訊,請參閱https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-schedule.html 參考對象,例如「時間表」:{「ref」:」myScheduleId「}

選用欄位 描述 槽類型
attemptStatus 遠端活動最新回報的狀態。 字串
attemptTimeout 遠端工作完成的逾時。如果設定,則系統可能會重試未在設定開始時間內完成的遠端活動。 期間
createTableSql 可建立資料表的 SQL create table 表達式。 字串
database 資料庫的名稱。 引用對象,例如「數據庫」:{「ref」:」myDatabaseId「}
dependsOn 指定與其他可執行物件的相依性。 引用對象,例如「依賴信息」:{「參考」:myActivityId「}
failureAndRerun模式 描述相依性故障或重新執行時的消費者節點行為。 列舉
insertQuery 可將資料載入資料表的 SQL 陳述式。 字串
lateAfterTimeout 管線開始後,物件必須在其中完成的經過時間。僅當明細表類型未設定為時,才會觸發此選項ondemand 期間
maxActiveInstances 同時作用中的元件執行個體數目上限。重新執行不計入作用中的執行個體數量。 Integer
maximumRetries 故障時嘗試重試的次數上限 Integer
onFail 目前物件發生故障時要執行的動作。 引用對象,例如「onFail」:{「參考」:myActionId「}
onLateAction 某個物件尚未排程或仍未完成時,應該觸發的動作。 引用對象,例如 onLateAction「「:{" ref」:」myActionId「}
onSuccess 目前物件成功時要執行的動作。 引用對象,例如「onSuccess」:{「裁判」:myActionId「}
parent 目前物件的父系,其插槽會被繼承。 引用對象,例如「父」:{「ref」:「myBaseObjectID」}
pipelineLogUri 用於上傳管道日誌的 S3 URI(例如 's3://BucketName/密鑰/')。 字串
precondition 選擇是否定義先決條件。在所有先決條件滿足前,資料節點不會標示為"READY"。 引用對象,例如「前提條件」:{「ref」:」myPreconditionId「}
reportProgressTimeout 遠端工作連續呼叫 reportProgress 的逾時。如果設定,則不回報指定時段進度的遠端活動,可能會視為已停滯而重試。 期間
retryDelay 兩次重試嘗試之間的逾時持續時間。 期間
runsOn 執行活動或命令的可運算資源。例如,Amazon EC2 執行個體或 Amazon EMR 叢集。 引用對象,例如「runsOn」:{「參考」:myResourceId「}
scheduleType 排程類型可讓您指定管道定義的物件應該排程在間隔開頭還是間隔結尾。時間序列樣式排程表示執行個體排程在每個間隔的結尾,而 Cron 樣式排程表示執行個體排程在每個間隔的開頭。隨需排程可讓您在每次啟用時執行一次管道。這表示您不必複製或重新建立管道,然後再執行一次。若您使用隨需排程,則必須在預設物件中指定此排程,且其必須是針對管道中物件指定的唯一 scheduleType。若要使用隨選管線,只要呼叫每次後續執行的 ActivatePipeline 作業即可。值為:Cron、ondemand 和 timeseries。 列舉
schemaName 保留資料表的結構描述名稱 字串
selectQuery 可從資料表擷取資料的 SQL 陳述式。 字串
workerGroup 工作者群組。這是用於路由任務。如果您提供 runsOn 值,且 workerGroup 存在,則會忽略 workerGroup。 字串

執行時間欄位 描述 槽類型
@activeInstances 目前已排程的作用中執行個體物件清單。 引用對象,例如「活動實例」:{「ref」:「myRunnableObjectId」}
@actualEndTime 此物件執行完成的時間。 DateTime
@actualStartTime 此物件執行開始的時間。 DateTime
cancellationReason 若此物件已取消,會提供 cancellationReason。 字串
@cascadeFailedOn 物件失敗所在的相依鏈的描述。 參考物件,例如 cascadeFailedOn "" ": {" ref」: "myRunnableObjectId"}
emrStepLog 只在 EMR 活動嘗試時才可使用的 EMR 步驟日誌 字串
errorId 若此物件失敗,會提供 errorId。 字串
errorMessage 若此物件失敗,會提供 errorMessage。 字串
errorStackTrace 如果此物件失敗,則為錯誤堆疊追蹤。 字串
@finishedTime 此物件完成其執行的時間。 DateTime
hadoopJobLog 嘗試 EMR 型活動可用的 Hadoop 任務日誌。 字串
@healthStatus 反映已達終止狀態之最後一個物件執行個體成功或失敗的物件運作狀態。 字串
@healthStatusFromInstanceId 已達終止狀態之最後一個執行個體物件的 ID。 字串
@ healthStatusUpdated 時間 上次更新運作狀態的時間。 DateTime
hostname 選取任務嘗試之用戶端的主機名稱。 字串
@lastDeactivatedTime 此物件最後停用的時間。 DateTime
@ latestCompletedRun 時間 執行完成最近一次執行的時間。 DateTime
@latestRunTime 執行排程最近一次執行的時間。 DateTime
@nextRunTime 下次要排程執行的時間。 DateTime
reportProgressTime 遠端活動最近報告進度的時間。 DateTime
@scheduledEndTime 物件的排程結束時間。 DateTime
@scheduledStartTime 物件的排程開始時間。 DateTime
@status 此物件的狀態。 字串
@version 建立物件使用的管道版本。 字串
@waitingOn 此物件等待之相依性清單的描述。 引用對象,例如「等待」:{「參考」:「myRunnableObjectID」}

系統欄位 描述 槽類型
@error 描述格式錯誤物件的錯誤。 字串
@pipelineId 此物件所屬管道的 ID。 字串
@sphere 物件範圍代表其在生命週期中的位置:Component 物件會引發執行 Attempt 物件的 Instance 物件。 字串

另請參閱