Apache Spark 用の Amazon Redshift インテグレーションを使用した認証

AWS Secrets Manager を使用して認証情報を取得し、Amazon Redshift に接続する

次のコードサンプルは、 AWS Secrets Manager を使用して、Python の Apache Spark 用の PySpark インターフェイスを使用して Amazon Redshift クラスターに接続するための認証情報を取得する方法を示しています。

from pyspark.sql import SQLContext
import boto3

sc = # existing SparkContext
sql_context = SQLContext(sc)

secretsmanager_client = boto3.client('secretsmanager')
secret_manager_response = secretsmanager_client.get_secret_value(
    SecretId='string',
    VersionId='string',
    VersionStage='string'
)
username = # get username from secret_manager_response
password = # get password from secret_manager_response
url = "jdbc:redshift://redshifthost:5439/database?user=" + username + "&password=" + password

# Read data from a table
df = sql_context.read \
    .format("io.github.spark_redshift_community.spark.redshift") \
    .option("url", url) \
    .option("dbtable", "my_table") \
    .option("tempdir", "s3://path/for/temp/data") \
    .load()

IAM を使用して認証情報を取得し、Amazon Redshift に接続する

Amazon Redshift が提供するJDBCバージョン 2 ドライバーを使用して、Spark コネクタで Amazon Redshift に接続できます。 AWS Identity and Access Management （IAM) を使用するには、IAM認証 を使用するJDBCURLように を設定します。Amazon から Redshift クラスターに接続するにはEMR、一時的なIAM認証情報を取得するアクセス許可をIAMロールに付与する必要があります。認証情報を取得して Amazon S3 オペレーションを実行できるように、IAMロールに次のアクセス許可を割り当てます。

• Redshift:GetClusterCredentials (プロビジョニングされた Amazon Redshift クラスターの場合）

• Redshift:DescribeClusters (プロビジョニングされた Amazon Redshift クラスターの場合）

• Redshift:GetWorkgroup (Amazon Redshift Serverless ワークグループ用）

• Redshift:GetCredentials (Amazon Redshift Serverless ワークグループ用）

• s3:GetBucket

• s3:GetBucketLocation

• s3:GetObject

• s3:PutObject

• s3:GetBucketLifecycleConfiguration

GetClusterCredentials の詳細については、「GetClusterCredentials のリソースポリシー」を参照してください。

また、 COPYおよび UNLOADオペレーション中に Amazon Redshift がIAMロールを引き受けることができることを確認する必要があります。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "redshift.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        }
    ]
}

次の例では、Spark と Amazon Redshift 間のIAM認証を使用します。

from pyspark.sql import SQLContext
import boto3

sc = # existing SparkContext
sql_context = SQLContext(sc)

url = "jdbc:redshift:iam//redshift-host:redshift-port/db-name"
iam_role_arn = "arn:aws:iam::account-id:role/role-name"

# Read data from a table
df = sql_context.read \
    .format("io.github.spark_redshift_community.spark.redshift") \
    .option("url", url) \
    .option("aws_iam_role", iam_role_arn) \
    .option("dbtable", "my_table") \
    .option("tempdir", "s3a://path/for/temp/data") \
    .mode("error") \
    .load()