Amazon EMR on EKS での Spark 演算子のセットアップ

Spark 演算子を Amazon EKS にインストールする前に、以下のタスクを完了してセットアップを行います。Amazon Web Services (AWS) に既にサインアップしていて、Amazon EKS を既に使用している場合、Amazon EMR on EKS を使用する準備はほぼ整っています。Amazon EKS で Spark 演算子のセットアップを行うには、以下のタスクを完了します。前提条件のいずれかを既に完了している場合は、その前提条件をスキップして、次の前提条件に進むことができます。

• をインストールします。 AWS CLI — AWS CLIを既にインストールしている場合は、それが最新バージョンであることを確認します。

• eksctl のインストール — eksctl は、Amazon EKS との通信に使用するコマンドラインツールです。

• Helm のインストール – Kubernetes 用の Helm パッケージマネージャーを使用すると、Kubernetes クラスターにアプリケーションをインストールして管理できます。

• Amazon EKS クラスターのセットアップ – 新しい Kubernetes クラスターをノードと共に Amazon EKS に作成する手順に従います。

• Amazon EMR ベースイメージ URI を選択する (リリース 6.10.0 以降) – Spark 演算子は Amazon EMR リリース 6.10.0 以降でサポートされています。