Apache Spark 用の Amazon Redshift インテグレーション

AWS Secrets Managerを使用して認証情報を取得し、Amazon Redshift に接続する

次のコードサンプルは、Python で Apache SparkAWS Secrets Manager PySpark のインターフェイスを使用して Amazon Redshift クラスターに接続するための認証情報を取得する方法を示しています。

from pyspark.sql import SQLContext
import boto3

sc = # existing SparkContext
sql_context = SQLContext(sc)

secretsmanager_client = boto3.client('secretsmanager')
secret_manager_response = secretsmanager_client.get_secret_value(
    SecretId='string',
    VersionId='string',
    VersionStage='string'
)
username = # get username from secret_manager_response
password = # get password from secret_manager_response
url = "jdbc:redshift://redshifthost:5439/database?user=" + username + "&password=" + password

# Read data from a table
df = sql_context.read \
    .format("io.github.spark_redshift_community.spark.redshift") \
    .option("url", url) \
    .option("dbtable", "my_table") \
    .option("tempdir", "s3://path/for/temp/data") \
    .load()

IAM を使用して認証情報を取得し、Amazon Redshift に接続する

Amazon Redshift が提供する JDBC バージョン 2 ドライバーを使用して、Spark コネクタで Amazon Redshift に接続できます。AWS Identity and Access Management(IAM) を使用するには、IAM 認証を使用するように JDBC URL を設定します。Amazon EMR から Redshift クラスターに接続するには、IAM ロールに一時的な IAM 認証情報を取得するアクセス権限を与える必要があります。IAM ロールに次のアクセス権限を割り当てて、IAM ロールが認証情報を取得して Amazon S3 オペレーションを実行できるようにします。

• Redshift:GetClusterCredentials (プロビジョニングされた Redshift クラスターの場合)

• Redshift:DescribeClusters (プロビジョニングされた Redshift クラスターの場合)

• Redshift:GetWorkgroup (Amazon Redshift Serverless の場合、ワークグループ)

• Redshift:GetCredentials (Amazon Redshift Serverless の場合、ワークグループ)

• S3:GetBucket

• S3:GetBucketLocation

• S3:GetObject

• S3:PutObject

• S3:GetBucketLifecycleConfiguration

詳細についてはGetClusterCredentials、「のリソースポリシー」を参照してくださいGetClusterCredentials。

また、COPY および UNLOAD オペレーション中に Amazon Redshift が IAM ロールを引き継げるようにする必要があります。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "redshift.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        }
    ]
}

以下の例では、Spark と Amazon Redshift の間の IAM 認証を使用しています。

from pyspark.sql import SQLContext
import boto3

sc = # existing SparkContext
sql_context = SQLContext(sc)

url = "jdbc:redshift:iam//redshift-host:redshift-port/db-name"
iam_role_arn = "arn:aws:iam::account-id:role/role-name"

# Read data from a table
df = sql_context.read \
    .format("io.github.spark_redshift_community.spark.redshift") \
    .option("url", url) \
    .option("aws_iam_role", iam_role_arn) \
    .option("dbtable", "my_table") \
    .option("tempdir", "s3a://path/for/temp/data") \
    .mode("error") \
    .load()