有効期間の短い Amazon EMR クラスターを作成し、 AWS SDK を使用してステップを実行する - AWS SDK コード例

Doc AWS SDK Examples リポジトリには、他にも SDK の例があります。 AWS GitHub

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

有効期間の短い Amazon EMR クラスターを作成し、 AWS SDK を使用してステップを実行する

次のコード例で、ステップを 1 つ実行し、それが完了すると自動的に終了する、短期運用する Amazon EMR クラスターを作成する方法を示します。

Python
SDK for Python (Boto3)

Apache Spark を使用して多数の計算を並列化し pi の値を推定する、短期運用する Amazon EMR クラスターを作成します。このジョブの出力は、Amazon EMR ログと Amazon Simple Storage Service (Amazon S3) バケットに書き込まれます。このクラスターは、このジョブの完了後に自動的に終了します。

  • Amazon S3 バケットを作成し、ジョブスクリプトをアップロードします。

  • AWS Identity and Access Management (IAM) ロールを作成します。

  • Amazon Elastic Compute Cloud (Amazon EC2) のセキュリティグループを作成します。

  • 短期運用するクラスターを作成し、ジョブステップを 1 つ実行します。

この例は、 で最もよく見ることができます GitHub。完全なソースコードとセットアップと実行の手順については、「」の完全な例を参照してくださいGitHub

この例で使用されているサービス
  • Amazon EMR