Amazon でカスタムアセットタイプを作成する DataZone

Amazon では DataZone、アセットはデータベーステーブル、ダッシュボード、機械学習モデルなどの特定のタイプのデータリソースを表します。カタログアセットを記述する際に一貫性と標準化を実現するには、Amazon DataZone ドメインに、カタログでのアセットの表現方法を定義するアセットタイプのセットが必要です。アセットタイプで特定のタイプのアセットのスキーマを定義します。アセットタイプには、必須およびオプションの名前付きメタデータフォームタイプ ( など GovernanceFormType) のセット govForm があります。Amazon のアセットタイプ DataZone はバージョニングされています。アセットが作成されると、アセットタイプ (通常は最新バージョン) で定義されたスキーマが検証され、無効な構造が指定されている場合、アセットの作成は失敗します。

システムアセットタイプ - Amazon は、サービス所有のシステムアセットタイプ ( GlueTableAssetType GlueViewAssetType、 RedshiftTableAssetType RedshiftViewAssetType、および S3ObjectCollectionAssetType を含む) とシステムフォームタイプ ( DataSourceReferenceFormType AssetCommonDetailsFormType、および を含む) を DataZone プロビジョニングします SubscriptionTermsFormType。システムアセットタイプは編集できません。

カスタムアセットタイプ - カスタムアセットタイプを作成する場合、最初にフォームタイプで使用するメタデータフォームタイプと用語集を作成します。次に、名前、説明、および関連付けられたメタデータフォーム (必須またはオプション) を指定することで、カスタムアセットタイプを作成できます。

構造化データを持つアセットタイプの場合、データポータルで列スキーマを表すために、RelationalTableFormType を使用して、列名、説明、データ型など、技術的なメタデータを列に追加し、 ColumnBusinessMetadataFormを使用して、ビジネス名、用語集の用語、カスタムキー値のペアなど、列のビジネス説明を追加できます。

データポータルを使用してカスタムアセットタイプを作成するには、次の手順を実行します。

1. Amazon DataZone データポータルに移動URLし、シングルサインオン (SSO) または AWS 認証情報を使用してサインインします。Amazon DataZone 管理者の場合は、https://console.aws.amazon.com/datazone の Amazon DataZone コンソールに移動し、ドメインが作成された AWS アカウント でサインインし、データポータルを開くを選択します。

2. 上部のナビゲーションペインから [プロジェクトを選択] を選択し、カスタムアセットタイプを作成するプロジェクトを選択します。

3. プロジェクトの [データ] タブに移動します。

4. 左側のナビゲーションペインから [アセットタイプ] を選択し、[アセットタイプを作成] を選択します。

5. 次のフィールドを指定して [作成] を選択します。

   • 名前 - カスタムアセットタイプの名前

   • 説明 - カスタムアセットタイプの説明。

   • メタデータフォームを追加 を選択して、メタデータフォームをこのカスタムアセットタイプに追加します。

6. カスタムアセットタイプを作成したら、それを使用してアセットを作成できます。

を使用してカスタムアセットタイプを作成するにはAPIs、次のステップを実行します。

1. CreateFormType API アクションを呼び出してメタデータフォームタイプを作成します。

   Amazon SageMaker の例を次に示します。

   
   m_model = "
   
   structure SageMakerModelFormType {
      @required
      @amazon.datazone#searchable
      modelName: String
   
      @required
      modelArn: String
   
      @required
      creationTime: String
   }
   "
   
   CreateFormType(
       domainIdentifier="my-dz-domain",
       owningProjectIdentifier="d4bywm0cja1dbb",
       name="SageMakerModelFormType",
       model=m_model
       status="ENABLED"
       )
                   

2. 次に、 CreateAssetTypeAPIアクションを呼び出してアセットタイプを作成できます。アセットタイプは、使用可能なシステムフォームタイプ (SubscriptionTermsFormType以下の例の ) またはカスタムフォームタイプを使用して Amazon DataZone APIs 経由でのみ作成できます。システムフォームタイプの場合、タイプ名は amazon.datazone で始まる必要があります。

   
   CreateAssetType(
       domainIdentifier="my-dz-domain",
       owningProjectIdentifier="d4bywm0cja1dbb",
       name="SageMakerModelAssetType",
       formsInput={
           "ModelMetadata": {
               "typeIdentifier": "SageMakerModelMetadataFormType",
               "typeRevision": 7,
               "required": True,
           },
           "SubscriptionTerms": {
               "typeIdentifier": "amazon.datazone.SubscriptionTermsFormType",
               "typeRevision": 1,
               "required": False,
           },
       },
   )
   
                   

   構造化データのアセットタイプを作成する例を次に示します。

   
   CreateAssetType(
       domainIdentifier="my-dz-domain",
       owningProjectIdentifier="d4bywm0cja1dbb",
       name="OnPremMySQLAssetType",
       formsInput={
           "OnpremMySQLForm": {
               "typeIdentifier": "OnpremMySQLFormType",
               "typeRevision": 5,
               "required": True,
           },
           "RelationalTableForm": {
               "typeIdentifier": "RelationalTableFormType",
               "typeRevision": 1,
               "required": True,
           },
           "ColumnBusinessMetadataForm": {
               "typeIdentifier": "ColumnBusinessMetadataForm",
               "typeRevision": 1,
               "required": False,
           },
           "SubscriptionTerms": {
               "typeIdentifier": "SubscriptionTermsFormType",
               "typeRevision": 1,
               "required": False,
           },
       },
   )
   
                   

3. これで、上記のステップで作成したカスタムアセットタイプを使用してアセットを作成できます。

   
   CreateAsset(
      domainIdentifier="my-dz-domain",
      owningProjectIdentifier="d4bywm0cja1dbb",
      owningProjectIdentifier="my-project",
      name="MyModelAsset",
      glossaryTerms="xxx",
      formsInput=[{
           "formName": "SageMakerModelForm",
           "typeIdentifier": "SageMakerModelForm",
           "typeRevision": "5",
           "content": "{\n \"ModelName\" : \"sample-ModelName\",\n \"ModelArn\" : \"999999911111\"\n}"
           }
           ]
   )
                   

   この例では、構造化データアセットを作成します。

   
   CreateAsset(
      domainIdentifier="my-dz-domain",
      owningProjectIdentifier="d4bywm0cja1dbb",
      name="MyModelAsset",
      glossaryTerms="xxx",
      formsInput=[{
           "formName": "RelationalTableForm",
           "typeIdentifier": "amazon.datazone.RelationalTableForm",
           "typeRevision": "1",
           "content": ".."
           },
           {
           "formName": "mySQLTableForm",
           "typeIdentifier": "mySQLTableForm",
           "typeRevision": "6",
           "content": ".."
           },
           {
           "formName": "mySQLTableForm",
           "typeIdentifier": "mySQLTableForm",
           "typeRevision": "1",
           "content": ".."
           },
           .....
           ]
   )