翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
での Amazon の Spark 演算子EMRの開始方法 EKS
このトピックでは、Spark アプリケーションと Schedule Spark アプリケーションをデプロイEKSして、Amazon で Spark 演算子の使用を開始する方法について説明します。
Spark 演算子をインストールする
Apache Spark 用の Kubernetes 演算子をインストールするには、以下のステップを実行します。
-
「で Amazon の Spark 演算子EMRを設定する EKS」のステップをまだ完了していない場合は完了します。
-
Helm クライアントを Amazon ECRレジストリに認証します。次のコマンドで、
region-id
任意の の値 AWS リージョン、および対応する の値ECR-registry-account
リージョン別の Amazon ECRレジストリアカウント ページから リージョンの 値。aws ecr get-login-password \ --region
region-id
| helm registry login \ --username AWS \ --password-stdinECR-registry-account
.dkr.ecr.region-id
.amazonaws.com -
以下のコマンドで Spark 演算子をインストールします。
Helm チャート
--version
パラメータには、emr-
プレフィックスと日付サフィックスが削除された Amazon EMRリリースラベルを使用します。例えば、emr-6.12.0-java17-latest
リリースでは、6.12.0-java17
を指定します。以下のコマンドの例ではemr-7.2.0-latest
リリースを使用しているため、Helm チャート--version
用に7.2.0
を指定しています。helm install spark-operator-demo \ oci://895885662937.dkr.ecr.
region-id
.amazonaws.com/spark-operator \ --set emrContainers.awsRegion=region-id
\ --version7.2.0
\ --namespace spark-operator \ --create-namespaceデフォルトでは、このコマンドは Spark 演算子のサービスアカウント
emr-containers-sa-spark-operator
を作成します。別のサービスアカウントを使用するには、引数serviceAccounts.sparkoperator.name
を指定します。例:--set serviceAccounts.sparkoperator.name
my-service-account-for-spark-operator
Spark 演算子で垂直的自動スケーリングを使用する場合は、インストールコマンドに以下の行を追加して、演算子にウェブフックを許可します。
--set webhook.enable=true
-
helm list
コマンドで Helm チャートをインストールしたことを確認します。helm list --namespace spark-operator -o yaml
helm list
コマンドは、新しくデプロイした Helm チャートのリリース情報を返します。app_version: v1beta2-1.3.8-3.1.1 chart: spark-operator-
7.2.0
name: spark-operator-demo namespace: spark-operator revision: "1" status: deployed updated: 2023-03-14 18:20:02.721638196 +0000 UTC -
必要な追加オプションを指定してインストールを完了します。詳細については、「」の
spark-on-k8s-operator
ドキュメントを参照してください GitHub。
Spark アプリケーションの実行
Spark 演算子は Amazon 6.10.0 EMR 以降でサポートされています。Spark 演算子をインストールすると、Spark アプリケーションを実行するサービスアカウント emr-containers-sa-spark
がデフォルトで作成されます。Amazon 6.10.0 以降EMRで Spark 演算子を使用して Spark EKS アプリケーションを実行するには、次のステップに従います。
-
Spark 演算子を使用して Spark アプリケーションを実行する前に、で Amazon の Spark 演算子EMRを設定する EKS および Spark 演算子をインストールする のステップを完了してください。
-
以下の例の内容で
SparkApplication
定義ファイルspark-pi.yaml
を作成します。apiVersion: "sparkoperator.k8s.io/v1beta2" kind: SparkApplication metadata: name: spark-pi namespace: spark-operator spec: type: Scala mode: cluster image: "895885662937.dkr.ecr.us-west-2.amazonaws.com/spark/emr-6.10.0:latest" imagePullPolicy: Always mainClass: org.apache.spark.examples.SparkPi mainApplicationFile: "local:///usr/lib/spark/examples/jars/spark-examples.jar" sparkVersion: "3.3.1" restartPolicy: type: Never volumes: - name: "test-volume" hostPath: path: "/tmp" type: Directory driver: cores: 1 coreLimit: "1200m" memory: "512m" labels: version: 3.3.1 serviceAccount: emr-containers-sa-spark volumeMounts: - name: "test-volume" mountPath: "/tmp" executor: cores: 1 instances: 1 memory: "512m" labels: version: 3.3.1 volumeMounts: - name: "test-volume" mountPath: "/tmp"
-
次に、以下のコマンドを使用して、Spark アプリケーションを送信します。これにより、
spark-pi
という名前のSparkApplication
オブジェクトも作成されます。kubectl apply -f spark-pi.yaml
-
次のコマンドで
SparkApplication
オブジェクトのイベントがないか確認します。kubectl describe sparkapplication spark-pi --namespace spark-operator
Spark 演算子を使用して Spark にアプリケーションを送信する方法の詳細については、「」のspark-on-k8s-operator
ドキュメントの「 SparkApplication
ストレージに Amazon S3 を使用する
Amazon S3 をファイルストレージオプションとして使用するには、次の設定をYAMLファイルに追加します。
hadoopConf: # EMRFS filesystem fs.s3.customAWSCredentialsProvider: com.amazonaws.auth.WebIdentityTokenCredentialsProvider fs.s3.impl: com.amazon.ws.emr.hadoop.fs.EmrFileSystem fs.AbstractFileSystem.s3.impl: org.apache.hadoop.fs.s3.EMRFSDelegate fs.s3.buffer.dir: /mnt/s3 fs.s3.getObject.initialSocketTimeoutMilliseconds: "2000" mapreduce.fileoutputcommitter.algorithm.version.emr_internal_use_only.EmrFileSystem: "2" mapreduce.fileoutputcommitter.cleanup-failures.ignored.emr_internal_use_only.EmrFileSystem: "true" sparkConf: # Required for EMR Runtime spark.driver.extraClassPath: /usr/lib/hadoop-lzo/lib/*:/usr/lib/hadoop/hadoop-aws.jar:/usr/share/aws/aws-java-sdk/*:/usr/share/aws/emr/emrfs/conf:/usr/share/aws/emr/emrfs/lib/*:/usr/share/aws/emr/emrfs/auxlib/*:/usr/share/aws/emr/security/conf:/usr/share/aws/emr/security/lib/*:/usr/share/aws/hmclient/lib/aws-glue-datacatalog-spark-client.jar:/usr/share/java/Hive-JSON-Serde/hive-openx-serde.jar:/usr/share/aws/sagemaker-spark-sdk/lib/sagemaker-spark-sdk.jar:/home/hadoop/extrajars/* spark.driver.extraLibraryPath: /usr/lib/hadoop/lib/native:/usr/lib/hadoop-lzo/lib/native:/docker/usr/lib/hadoop/lib/native:/docker/usr/lib/hadoop-lzo/lib/native spark.executor.extraClassPath: /usr/lib/hadoop-lzo/lib/*:/usr/lib/hadoop/hadoop-aws.jar:/usr/share/aws/aws-java-sdk/*:/usr/share/aws/emr/emrfs/conf:/usr/share/aws/emr/emrfs/lib/*:/usr/share/aws/emr/emrfs/auxlib/*:/usr/share/aws/emr/security/conf:/usr/share/aws/emr/security/lib/*:/usr/share/aws/hmclient/lib/aws-glue-datacatalog-spark-client.jar:/usr/share/java/Hive-JSON-Serde/hive-openx-serde.jar:/usr/share/aws/sagemaker-spark-sdk/lib/sagemaker-spark-sdk.jar:/home/hadoop/extrajars/* spark.executor.extraLibraryPath: /usr/lib/hadoop/lib/native:/usr/lib/hadoop-lzo/lib/native:/docker/usr/lib/hadoop/lib/native:/docker/usr/lib/hadoop-lzo/lib/native
Amazon EMRリリース 7.2.0 以降を使用している場合、設定はデフォルトで含まれます。その場合は、Spark アプリケーションファイルs3://
<bucket_name>
/<file_path>
local://
ではなく、YAMLファイルパスを に設定することができます。<file_path>
次に、通常どおり Spark アプリケーションを送信します。