Neptune ML 資料處理 API - Amazon Neptune

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

Neptune ML 資料處理 API

資料處理動作:

ML 一般用途結構:

StartMLDataProcessingJob (動作)

        此 API 的 AWS CLI 名稱是:start-ml-data-processing-job

建立新的 Neptune ML 資料處理工作,用於處理從 Neptune 匯出的圖形資料以進行訓練。請參閱 dataprocessing 命令

在已啟用 IAM 身分驗證的 Neptune 叢集中調用此操作時,發出請求的 IAM 使用者或角色必須附加一個政策,在該叢集中允許 neptune-db:StartMLModelDataProcessingJob IAM 動作。

請求

  • configFileName (在 CLI 中:--config-file-name) – 字串,類型為:string (UTF-8 編碼的字串)。

    描述如何載入所匯出圖形資料進行訓練的資料規格檔案。Neptune 匯出工具組會自動產生此檔案。預設值為 training-data-configuration.json

  • id (在 CLI 中:--id) – 字串,類型為:string (UTF-8 編碼的字串)。

    新工作的唯一識別符。預設值為自動產生的 UUID。

  • inputDataS3Location (在 CLI 中:--input-data-s3-location) – 必要:字串,類型為:string (UTF-8 編碼的字串)。

    Amazon S3 位置的 URI,您想要 SageMaker 在該位置下載執行資料處理工作所需的資料。

  • modelType (在 CLI 中:--model-type) – 字串,類型為:string (UTF-8 編碼的字串)。

    Neptune ML 目前支援的兩種模型類型之一:異質圖形模型 (heterogeneous) 和知識圖譜 (kge)。預設為 none。如果未指定,Neptune ML 會根據資料自動選擇模型類型。

  • neptuneIamRoleArn (在 CLI 中:--neptune-iam-role-arn) – 字串,類型為:string (UTF-8 編碼的字串)。

    IAM 角色的 Amazon Resource Name (ARN),SageMaker 可以擔任這個 IAM 角色來代表您執行任務。這必須列示在您的資料庫叢集參數群組中,否則會發生錯誤。

  • previousDataProcessingJobId (在 CLI 中:--previous-data-processing-job-id) – 字串,類型為:string (UTF-8 編碼的字串)。

    在舊版資料上執行且已完成之資料處理工作的工作 ID。

  • processedDataS3Location (在 CLI 中:--processed-data-s3-location) – 必要:字串,類型為:string (UTF-8 編碼的字串)。

    Amazon S3 位置的 URI,您想要 SageMaker 在該位置儲存資料處理工作的結果。

  • processingInstanceType (在 CLI 中:--processing-instance-type) – 字串,類型為:string (UTF-8 編碼的字串)。

    資料處理期間所使用的 ML 執行個體類型。它的記憶體應該大到足以保留處理後的資料集。預設值為最小的 ml.r5 類型,其記憶體十倍於磁碟上所匯出圖形資料的大小。

  • processingInstanceVolumeSizeInGB (在 CLI 中:--processing-instance-volume-size-in-gb) – 整數,類型為:integer (帶正負號的 32 位元整數)。

    處理執行個體的磁碟區大小。輸入資料和處理後的資料都會儲存在磁碟上,因此磁碟區大小必須大到足以保留這兩個資料集。預設值為 0。如果未指定或指定 0,Neptune ML 會根據資料大小自動選擇磁碟區大小。

  • processingTimeOutInSeconds (在 CLI 中:--processing-time-out-in-seconds) – 整數,類型為:integer (帶正負號的 32 位元整數)。

    資料處理工作的逾時 (以秒為單位)。預設值為 86,400 (1 天)。

  • s3OutputEncryptionKMSKey (在 CLI 中:--s-3-output-encryption-kms-key) – 字串,類型為:string (UTF-8 編碼的字串)。

    SageMaker 用來加密處理工作輸出的 Amazon Key Management Service (Amazon KMS) 金鑰。預設為 none。

  • sagemakerIamRoleArn (在 CLI 中:--sagemaker-iam-role-arn) – 字串,類型為:string (UTF-8 編碼的字串)。

    用於 SageMaker 執行之 IAM 角色的 ARN。這必須列示在您的資料庫叢集參數群組中,否則會發生錯誤。

  • securityGroupIds (在 CLI 中:--security-group-ids) – 字串,類型為:string (UTF-8 編碼的字串)。

    VPC 安全群組 ID。預設值為 None (無)。

  • subnets (在 CLI 中:--subnets) – 字串,類型為:string (UTF-8 編碼的字串)。

    Neptune VPC 中子網路的 ID。預設值為 None (無)。

  • volumeEncryptionKMSKey (在 CLI 中:--volume-encryption-kms-key) – 字串,類型為:string (UTF-8 編碼的字串)。

    SageMaker 用來加密儲存磁碟區上資料的 Amazon Key Management Service (Amazon KMS) 金鑰,而該儲存磁碟區附加到執行訓練工作的 ML 運算執行個體。預設值為 None (無)。

回應

  • arn – 字串,類型為:string (UTF-8 編碼的字串)。

    資料處理工作的 ARN。

  • creationTimeInMillis - Long 整數,類型為:long (帶有正負號的 64 位元整數)。

    建立新處理工作所需的時間,以毫秒為單位。

  • id – 字串,類型為:string (UTF-8 編碼的字串)。

    新資料處理工作的唯一 ID。

ListMLDataProcessingJobs (動作)

        此 API 的 AWS CLI 名稱是:list-ml-data-processing-jobs

傳回 Neptune ML 資料處理工作的清單。請參閱使用 Neptune ML dataprocessing 命令列出作用中的資料處理工作

在已啟用 IAM 身分驗證的 Neptune 叢集中調用此操作時,發出請求的 IAM 使用者或角色必須附加一個政策,在該叢集中允許 neptune-db:ListMLDataProcessingJobs IAM 動作。

請求

  • maxItems (在 CLI 中:--max-items) – ListMLDataProcessingJobsInputMaxItemsInteger,類型為:integer (帶有正負號的 32 位元整數),不小於 1 或大於 1024 ?st?s。

    要傳回的項目數目上限 (從 1 到 1024;預設值為 10)。

  • neptuneIamRoleArn (在 CLI 中:--neptune-iam-role-arn) – 字串,類型為:string (UTF-8 編碼的字串)。

    IAM 角色的 ARN,此角色可讓 Neptune 存取 SageMaker 和 Amazon S3 資源。這必須列示在您的資料庫叢集參數群組中,否則會發生錯誤。

回應

  • ids – 字串,類型為:string (UTF-8 編碼的字串)。

    列出資料處理工作 ID 的頁面。

GetMLDataProcessingJob (動作)

        此 API 的 AWS CLI 名稱是:get-ml-data-processing-job

擷取所指定資料處理工作的相關資訊。請參閱 dataprocessing 命令

在已啟用 IAM 身分驗證的 Neptune 叢集中調用此操作時,發出請求的 IAM 使用者或角色必須附加一個政策,允許該叢集中的 neptune-db:neptune-db:GetMLDataProcessingJobStatus 動作。

請求

  • id (在 CLI 中:--id) – 必要:字串,類型為:string (UTF-8 編碼的字串)。

    要擷取之資料處理工作的唯一識別符。

  • neptuneIamRoleArn (在 CLI 中:--neptune-iam-role-arn) – 字串,類型為:string (UTF-8 編碼的字串)。

    IAM 角色的 ARN,此角色可讓 Neptune 存取 SageMaker 和 Amazon S3 資源。這必須列示在您的資料庫叢集參數群組中,否則會發生錯誤。

回應

  • id – 字串,類型為:string (UTF-8 編碼的字串)。

    此資料處理工作的唯一識別符。

  • processingJobMlResourceDefinition 物件。

    資料處理工作的定義。

  • status – 字串,類型為:string (UTF-8 編碼的字串)。

    資料處理工作的狀態。

CancelMLDataProcessingJob (動作)

        此 API 的 AWS CLI 名稱是:cancel-ml-data-processing-job

取消 Neptune ML 資料處理工作。請參閱 dataprocessing 命令

在已啟用 IAM 身分驗證的 Neptune 叢集中調用此操作時,發出請求的 IAM 使用者或角色必須附加一個政策,在該叢集中允許 neptune-db:CancelMLDataProcessingJob IAM 動作。

請求

  • clean (在 CLI 中:--clean) – 布林值,類型為:boolean (布林值 (true 或 false))。

    如果設定為 TRUE,則此旗標指定在工作停止時應刪除所有 Neptune ML S3 成品。預設值為 FALSE

  • id (在 CLI 中:--id) – 必要:字串,類型為:string (UTF-8 編碼的字串)。

    資料處理工作的唯一識別碼。

  • neptuneIamRoleArn (在 CLI 中:--neptune-iam-role-arn) – 字串,類型為:string (UTF-8 編碼的字串)。

    IAM 角色的 ARN,此角色可讓 Neptune 存取 SageMaker 和 Amazon S3 資源。這必須列示在您的資料庫叢集參數群組中,否則會發生錯誤。

回應

  • status – 字串,類型為:string (UTF-8 編碼的字串)。

    取消請求的狀態。

ML 一般用途結構:

MlResourceDefinition (結構)

定義 Neptune ML 資源。

欄位
  • arn - 這是字串,類型為:string (UTF-8 編碼的字串)。

    資源 ARN。

  • cloudwatchLogUrl - 這是字串,類型為:string (UTF-8 編碼的字串)。

    資源的 CloudWatch 日誌 URL。

  • failureReason - 這是字串,類型為:string (UTF-8 編碼的字串)。

    失敗時的失敗原因。

  • name - 這是字串,類型為:string (UTF-8 編碼的字串)。

    資源名稱。

  • outputLocation - 這是字串,類型為:string (UTF-8 編碼的字串)。

    輸出位置。

  • status - 這是字串,類型為:string (UTF-8 編碼的字串)。

    資源狀態。

MlConfigDefinition (結構)

包含 Neptune ML 組態。

欄位
  • arn - 這是字串,類型為:string (UTF-8 編碼的字串)。

    組態的 ARN。

  • name - 這是字串,類型為:string (UTF-8 編碼的字串)。

    組態名稱。