Transfer Family を使用して、メインフレームファイルを Amazon S3 に直接移動する

作成者: Luis Gustavo Dantas (AWS）

環境:本稼働	出典:メインフレーム	ターゲット:Amazon S3
Rタイプ：該当なし	ワークロード: IBM	テクノロジー: メインフレーム、ストレージとバックアップ、モダナイゼーション
AWS サービス: AWS Transfer Family、Amazon S3

[概要]

モダナイゼーションの一環として、オンプレミスサーバーと Amazon Web Services (AWS) クラウド間でファイルを転送するという課題に直面する可能性があります。メインフレームからのデータ転送は、通常、Amazon Simple Storage Service (Amazon S3)、Amazon Elastic Block Store (Amazon EBS）、Amazon Elastic File System (Amazon EFS) などの最新のデータストアにアクセスできないため、大きな課題になる可能性があります。

多くのお客様は、オンプレミスの Linux、Unix、Windows サーバーなどの中間ステージングリソースを使用して AWS Cloud にファイルを転送します。この間接的な方法は、Secure Shell (AWS) File Transfer Protocol (SSH) で SFTP Transfer Family を使用してメインフレームファイルを Amazon S3 に直接アップロードすることで回避できます。

前提条件と制限

前提条件

アクティブな AWS アカウント
レガシープラットフォームからアクセスできるサブネットを持つ仮想プライベートクラウド (VPC）
VPC の Transfer Family エンドポイント
「メインフレーム仮想ストレージアクセス方法 (VSAM) ファイル」を、固定長のシーケンシャルファイルに変換 (IBM ドキュメント）

制約事項

SFTP はデフォルトでバイナリモードでファイルを転送します。つまり、ファイルは EBCDIC エンコーディングが保持された状態で Amazon S3 にアップロードされます。ファイルにバイナリデータやパックデータが含まれていない場合は、sftpascii サブコマンド (IBM ドキュメント) を使用して、転送中にファイルをテキストに変換できます。
ターゲット環境でこれらのファイルを使用するには、パックされたコンテンツとバイナリコンテンツを含むメインフレームファイル (Word 規範ガイダンス) を解凍する必要があります。AWS
Amazon S3 オブジェクトのサイズは最低 0 バイトから最大 5 TB までの範囲に設定することができます。Amazon S3 の機能の詳細については、Amazon S3 FAQs」を参照してください。

アーキテクチャ

ソーステクノロジースタック

ジョブコントロール言語 (JCL）
z/OS Unix シェルとISPF
SFTP
VSAM ファイルとフラットファイル

ターゲットテクノロジースタック

Transfer Family
Amazon S3
Amazon Virtual Private Cloud (Amazon VPC）

ターゲットアーキテクチャ

次の図は、Transfer Family with SFTP を使用してメインフレームファイルを S3 バケットに直接アップロードするためのリファレンスアーキテクチャを示しています。

Transfer Family と SFTP を使用してメインフレームファイルを S3 バケットに直接アップロードする

この図表は、次のワークフローを示しています：

JCL ジョブを使用して、Direct Connect を介してメインフレームファイルをレガシーメインフレームから AWS クラウドに転送します。
Direct Connect を使用すると、ネットワークトラフィックを AWS グローバルネットワークにとどめ、パブリックインターネットをバイパスできます。Direct Connect では、ネットワーク速度も向上し、50 Mbps から始まり、100 Gbps までスケールアップできます。
VPC エンドポイントは、パブリックインターネットを使用せずに、VPC リソースとサポートされているのサービス間の接続を有効にします。Transfer Family と Amazon S3 へのアクセスは、2 つのプライベートサブネットとアベイラビリティーゾーンにある伸縮自在なネットワークインターフェイスを通じて行われるため、高可用性が実現されます。
Transfer Family はユーザーを認証し、SFTP を使用してレガシー環境からファイルを受信し、S3 バケットに移動します。

自動化とスケール

Transfer Family サービスを設定したら、JCL ジョブを Word SFTPクライアントとして使用して、メインフレームから Amazon S3 にファイルの数に制限なく転送できます。メインフレームファイルを転送できる状態になったら、メインフレームバッチジョブスケジューラを使用して SFTP ジョブを実行することで、ファイル転送を自動化することもできます。

ツール

Amazon Simple Storage Service (Amazon S3) は、量にかかわらず、データを保存、保護、取得するのに役立つクラウドベースのオブジェクトストレージサービスです。
Amazon Virtual Private Cloud (Amazon VPC）は、定義した仮想ネットワークで AWS リソースを起動するのに役立ちます。この仮想ネットワークは、独自のデータセンターで運用する従来のネットワークに似ていますが、AWS のスケーラブルなインフラストラクチャを使用する利点があります。
AWS Transfer Family を使用すると、Word、 business-to-businessSFTP、Word プロトコルを使用して、Amazon S3 および Amazon EFS への FTPS recurringFTP ファイル転送を安全にスケーリングできます。

エピック

タスク説明必要なスキル

タスク	説明	必要なスキル
S3 バケットを作成する。	「S3 バケットを作成して」、レガシー環境から転送するファイルをホストします。	一般的なAWS
IAM ロールとポリシーを作成します。	Transfer Family は、AWS Identity and Access Management (IAM) ロールを使用して、前に作成した S3 バケットへのアクセスを許可します。次の IAM ポリシーを含む Word ロールを作成します。 IAM `{ "Version": "2012-10-17", "Statement": [ { "Sid": "UserFolderListing", "Action": [ "s3:ListBucket", "s3:GetBucketLocation" ], "Effect": "Allow", "Resource": [ "arn:aws:s3:::<your-bucket-name>" ] }, { "Sid": "HomeDirObjectAccess", "Effect": "Allow", "Action": [ "s3:PutObject", "s3:GetObjectAcl", "s3:GetObject", "s3:DeleteObjectVersion", "s3:DeleteObject", "s3:PutObjectAcl", "s3:GetObjectVersion" ], "Resource": "arn:aws:s3:::<your-bucket-name>/*" } ] }` 注: IAM ロールを作成するときは、Transfer ユースケースを選択する必要があります。	一般的なAWS

S3 バケットを作成する。

「S3 バケットを作成して」、レガシー環境から転送するファイルをホストします。

一般的なAWS

IAM ロールとポリシーを作成します。

Transfer Family は、AWS Identity and Access Management (IAM) ロールを使用して、前に作成した S3 バケットへのアクセスを許可します。

次の IAM ポリシーを含む Word ロールを作成します。 IAM


{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "UserFolderListing",
            "Action": [
                "s3:ListBucket",
                "s3:GetBucketLocation"
            ],
            "Effect": "Allow",
            "Resource": [
                "arn:aws:s3:::<your-bucket-name>"
            ]
        },
        {
            "Sid": "HomeDirObjectAccess",
            "Effect": "Allow",
            "Action": [
                "s3:PutObject",
                "s3:GetObjectAcl",
                "s3:GetObject",
                "s3:DeleteObjectVersion",
                "s3:DeleteObject",
                "s3:PutObjectAcl",
                "s3:GetObjectVersion"
            ],
            "Resource": "arn:aws:s3:::<your-bucket-name>/*"
        }
    ]
}

注: IAM ロールを作成するときは、Transfer ユースケースを選択する必要があります。