Amazon Redshift ML機械学習を使用して高度な分析を実行する

作成者: Po Hong (AWS) と Chyanna Antonio (AWS）

環境：PoC またはパイロット	テクノロジー：分析、機械学習、AI	ワークロード：その他すべてのワークロード
AWS サービス: Amazon Redshift、Amazon SageMaker

[概要]

Amazon Web Services (AWS) クラウドでは、Amazon Redshift 機械学習 (Amazon Redshift ML) を使用して、Amazon Redshift クラスターまたは Amazon Simple Storage Service (Amazon S3) に保存されているデータに対して ML 分析を実行できます。Amazon Redshift ML は、高度な分析によく使用される教師あり学習をサポートしています。Amazon Redshift ML のユースケースには、収益予測、クレジットカード不正検出、顧客生涯価値 (CLV) または顧客解約予測が含まれます。

Amazon Redshift ML を使用すると、データベースユーザーが標準SQLコマンドを使用して ML モデルを簡単に作成、トレーニング、デプロイできます。Amazon Redshift ML は Amazon SageMaker Autopilot を使用して、データに基づいて分類または回帰に最適な ML モデルを自動的にトレーニングおよび調整し、制御と可視性を維持します。

Amazon Redshift、Amazon S3、Amazon 間のすべてのインタラクション SageMaker は抽象化され、自動化されます。ML モデルをトレーニングしてデプロイすると、Amazon Redshift でユーザー定義関数 (UDF) として使用可能になり、SQLクエリで使用できます。 

このパターンは、 ブログの Amazon Redshift ML SQL を使用して Amazon Redshift で ML モデルを作成、トレーニング、デプロイし、 入門リソースセンター の Amazon チュートリアルを使用して ML モデルを構築、トレーニング、デプロイ SageMakerします。 AWS

前提条件と制限

前提条件

• アクティブなAWSアカウント

• Amazon Redshift テーブル内の既存のデータ

スキル

• 機械学習、トレーニング や 予測など、Amazon Redshift ML で使用される用語や概念に精通している 詳細については、Amazon Machine Learning (Amazon ML) ドキュメントの tトレーニングML モデル を参照してください。

• Amazon Redshift ユーザーセットアップ、アクセス管理、および標準SQL構文の使用経験。こちらに関する詳細については、Amazon Redshift のドキュメントの Getting started with Amazon Redshift　を参照下さい。

• Amazon S3 と AWS Identity and Access Management (IAM) に関する知識と経験。 

• コマンドラインインターフェイス (AWS CLI) AWS でコマンドを実行した経験も有益ですが、必須ではありません。

機能制限

• Amazon Redshift クラスターと S3 バケットは、同じAWSリージョンにある必要があります。

• このパターンのアプローチは、リグレッション、二項分類、多クラス分類などの教師あり学習モデルのみをサポートします。 

アーキテクチャ

次の手順では、Amazon Redshift ML が SageMaker と連携して ML モデルを構築、トレーニング、デプロイする方法を説明します。 

1. Amazon Redshift はトレーニングデータを S3 バケットにエクスポートします。

2. SageMaker Autopilot はトレーニングデータを自動的に前処理します。

3. CREATE MODEL ステートメントが呼び出されると、Amazon Redshift ML はトレーニング SageMaker に を使用します。

4. SageMaker Autopilot は、評価メトリクスを最適化する ML アルゴリズムと最適なハイパーパラメータを検索して推奨します。

5. Amazon Redshift ML は、出力 ML モデルを Amazon Redshift クラスターのSQL関数として登録します。

6. ML モデルの 関数は、 SQLステートメントで使用できます。 

テクノロジースタック

• Amazon Redshift

• SageMaker

• Amazon S3

ツール

• Amazon Redshift – Amazon Redshift は、エンタープライズレベル、ペタバイト規模、フルマネージド型のデータウェアハウスサービスです。

• Amazon Redshift ML – Amazon Redshift 機械学習 (Amazon Redshift ML) は、どの技術レベルのアナリストやデータサイエンティストでも、機械学習のテクノロジーを簡単に使用できる堅牢なクラウドベースのサービスです。

• 「Amazon S3」— Amazon Simple Storage Service (Amazon S3)は、インターネット用のストレージです。 

• Amazon SageMaker – はフルマネージド ML サービス SageMaker です。 

• Amazon SageMaker Autopilot – SageMaker Autopilot は、自動機械学習 (AutoML) プロセスの主要なタスクを自動化する機能セットです。

コード

Amazon Redshift では、以下のコードを使用してスーパーバイズド ML モデルを作成できます。

“CREATE MODEL customer_churn_auto_model
FROM (SELECT state,
             account_length,
             area_code,
             total_charge/account_length AS average_daily_spend, 
             cust_serv_calls/account_length AS average_daily_cases,
             churn 
      FROM customer_activity
      WHERE  record_date < '2020-01-01' 
     )
TARGET churn
FUNCTION ml_fn_customer_churn_auto
IAM_ROLE 'arn:aws:iam::XXXXXXXXXXXX:role/Redshift-ML'
SETTINGS (
  S3_BUCKET 'your-bucket'
);”)

注：SELECT ステートは Amazon Redshift の通常のテーブル、Amazon Redshift Spectrum の外部テーブル、またはその両方を指す場合があります。

エピック

トレーニングデータセットとテストデータセットの準備

タスク	説明	必要なスキル
トレーニングデータセットとテストデータセットの準備	AWS マネジメントコンソールにサインインし、Amazon SageMaker コンソールを開きます。機械学習モデルの構築、トレーニング、デプロイ チュートリアルの指示に従って、ラベル列 (教師ありトレーニング) があり、ヘッダーがない.csv ファイルまたは Apache Parquet ファイルを作成します。  注：未加工のデータセットをシャッフルして、モデルのトレーニング用のトレーニングセット (70%) とモデルのパフォーマンス評価用のテストセット (30%) に分割することをお勧めします。	データサイエンティスト

テクノロジースタックの準備と設定を行います。

タスク	説明	必要なスキル
Amazon Redshift クラスターを作成します。	Amazon Redshift コンソールで、要件に従ってクラスターを作成します。詳細については、Amazon Redshift ドキュメントのクラスターの作成を参照してください。  重要： 新しい Amazon Redshift クラスターは、PREVIEW_2020 メンテナンストラックを使用して作成する必要があります。トラックプレビューの詳細については、クラスターメンテナンストラックの選択Amazon Redshiftドキュメント内のを参照してください。	DBA、クラウドアーキテクト
トレーニングデータとモデルアーティファクトを保存する S3 バケットを作成する。	Amazon S3 コンソールで、トレーニングデータとテストデータ用の S3 バケットを作成します。S3 バケットの作成の詳細については、AWS「クイックスタートから S3 バケットを作成する」を参照してください。  重要：Amazon S3 バケットとAmazon Redshiftクラスターが同じリージョンにあることを確認してください。	DBA、クラウドアーキテクト
Amazon Redshift クラスターにIAMポリシーを作成してアタッチします。	Amazon Redshift クラスターが SageMaker および Amazon S3 にアクセスできるようにするIAMポリシーを作成します。手順と手順については、Amazon Redshift ドキュメントの Amazon Redshift ML を使用するためのクラスターセットアップ を参照してください。	DBA、クラウドアーキテクト
Amazon Redshift ユーザーとグループがスキーマとテーブルにアクセスできるようにします。	Amazon Redshift のユーザーとグループが内部および外部のスキーマとテーブルにアクセスできるようにするアクセス権限を付与します。手順と手順については、Amazon Redshift ドキュメントの アクセス権限と所有権の管理 を参照してください。	DBA

Amazon Redshift で ML モデルを作成してトレーニングする

タスク	説明	必要なスキル
Amazon Redshift で ML モデルを作成してトレーニングする	Amazon Redshift で ML モデルを作成してトレーニングする 詳細については、Amazon Redshift CREATE MODEL のドキュメントのステートメントを参照してください。	アプリ開発者、データサイエンティスト

Amazon Redshift でバッチ推論と予測を実行する

タスク	説明	必要なスキル
生成された ML モデル関数を使用して推論を行います。	生成された ML モデル関数を使用して推論を実行する方法の詳細については、Amazon Redshift ドキュメントの 予測 を参照してください。	データサイエンティスト、ビジネスインテリジェンスユーザー

関連リソース

トレーニングデータセットとテストデータセットの準備

• Amazon を使用した機械学習モデルの構築、トレーニング、デプロイ SageMaker

テクノロジースタックの準備と設定を行います

• Amazon Redshift クラスターを作成します

• Amazon Redshift クラスターメンテナンストラックの選択

• 「S3 バケットの作成」

• Amazon Redshift ML 用に Amazon Redshift クラスターをセットアップする必要があります

• Amazon Redshift でのアクセス権限と所有権の管理

Amazon Redshift で ML モデルを作成してトレーニングする

• CREATE MODEL Amazon Redshift の ステートメント 

Amazon Redshift でバッチ推論と予測を実行する

• Amazon Redshift での予測 

その他のリソース

• Amazon Redshift 機械学習の開始方法

• Amazon Redshift ML SQLを使用した Amazon Redshift での ML モデルの作成、トレーニング、デプロイ

• Amazon Redshift パートナー

• AWS 機械学習コンピテンシーパートナー