SparkML と Scikit-learn による機能処理

Amazon SageMaker 組み込みアルゴリズムまたはカスタムアルゴリズムを使用してモデルをトレーニングする前に、Spark と scikit-learn のプリプロセッサを使用してデータを変換し、特徴量をエンジニアリングできます。

Spark ML による機能処理

Spark ML ジョブは、ノートブックからサーバーレス ETL (抽出、変換、ロード) サービスである AWS Glue を使用して実行できます SageMaker 。既存の EMR クラスターに接続し、Amazon EMR で Spark ML ジョブを実行することもできます。これを行うには、ノートブックから SageMaker への呼び出しを行うためのアクセス許可を付与する AWS Identity and Access Management (IAM) ロールが必要です AWS Glue。

注記

サポートされている Python および Spark のバージョンを確認するには、 AWS Glue 「 AWS Glue リリースノート」を参照してください。

エンジニアリング機能の後で、推論パイプラインに追加できる MLeap コンテナに、Spark ML ジョブを MLeap でパッケージ化およびシリアル化します。外部で管理された Spark クラスターを使用する必要はありません。この方法では、サンプルの行からテラバイト単位のデータにシームレスにスケールできます。同じトランスフォーマーがトレーニングおよび推論の両方で機能するため、事前処理や機能エンジニアリングロジックを複製したり、モデルを保持するための 1 回限りのソリューションを開発したりする必要はありません。推論パイプラインでは、外部のインフラストラクチャを維持する必要はなく、データ入力から直接予測を行うことができます。

で Spark ML ジョブを実行すると AWS Glue、Spark ML パイプラインは MLeap 形式にシリアル化されます。その後、 SageMaker 推論パイプラインの SparkML Model Serving コンテナでジョブを使用できます。MLeap は、Machine Learning パイプライン用のシリアル化フォーマットおよび実行エンジンです。Spark、Scikit-learn、および をサポートしており、パイプラインを TensorFlow トレーニングし、MLeap Bundle と呼ばれるシリアル化されたパイプラインにエクスポートできます。バンドルは、バッチモードスコアリングのために Spark に逆シリアル化したり、リアルタイム API サービスに使用するために MLeap ランタイムに逆シリアル化したりできます。

Spark ML でプロセスの特徴を示す例については、「Amazon EMR で Apache Spark を使用して ML モデルをトレーニングし、サンプルノートブックにデプロイ SageMakerする」を参照してください。

sci-kit learn を使って特徴を処理する

scikit-learn ジョブを実行して、Amazon のコンテナに直接パッケージ化できます SageMaker。フィッシャーのアイリスの花のデータセットで学習し、さらに形態学的測定に基づいてアイリスの種を予測するシック学習風の特徴化モデルを作成するための Python コードの例については、「Sagemaker による IRIS トレーニングと予測」を参照してください。