Transfer Family を使用して、メインフレームファイルを Amazon S3 に直接移動する

作成:ルイス・グスタボ・ダンタス (AWS)

環境:本稼働	出典:メインフレーム	ターゲット:Amazon S3
Rタイプ：該当なし	ワークロード:IBM	テクノロジー: メインフレーム、ストレージとバックアップ、モダナイゼーション
AWS サービス: AWS Transfer Family、Amazon S3

[概要]

モダナイゼーションの一環として、オンプレミスサーバーとAmazon Web Services (AWS) クラウド間でファイルを転送するという課題に直面する可能性があります。メインフレームからのデータ転送は、重要な課題となり得るのは、メインフレームは通常、Amazon Simple Storage Service (Amazon S3)、Amazon Elastic Block Store (Amazon EBS)、Amazon Elastic File System (Amazon EFS)のような最新のデータストアにアクセスできないからです。

多くのお客様は、オンプレミスの Linux、Unix、Windows サーバーなどの中間ステージングリソースを使用して、AWS クラウドにファイルを転送します。AWS Transfer Family とSecure Shell (SSH File Transfer Protocol (SFTP) を使用してメインフレームのファイルを Amazon S3 に直接アップロードすることで、この間接的な方法を回避できます。

前提条件と制限

前提条件

アクティブなAWS アカウント
レガシープラットフォームからアクセス可能なサブネットを持つ仮想プライベートクラウド (VPC)
VPC のTransfer Family エンドポイント
メインフレーム仮想ストレージアクセス方法 (VSAM) 「ファイルをシーケンシャルの固定長ファイルに変換しました」 (IBM ドキュメント)

機能制限

SFTP はデフォルトでバイナリモードでファイルを転送します。つまり、ファイルは EBCDIC エンコーディングを保持したまま Amazon S3 にアップロードされます。ファイルにバイナリデータやパックデータが含まれていない場合は、sftp 「ascii サブコマンド」 (IBM ドキュメント) を使用して転送中にファイルをテキストに変換できます。
ターゲット環境でこれらのファイルを使用するには、パックされた「バイナリコンテンツを含むメインフレームファイル」 (AWS 規範ガイダンス) を解凍する必要があります。
Amazon S3 オブジェクトのサイズは最低 0 バイトから最大 5 TB までの範囲に設定することができます。Amazon S3 の諸機能について詳しくは、「Amazon S3 よくある質問」を参照してください。

アーキテクチャ

ソーステクノロジースタック

Job 制御言語 (JCL)
z/OS UNIX シェルと ISPF
SFTP
VSAM とフラットファイル

ターゲットテクノロジースタック

Transfer Family
Amazon S3
Amazon Virtual Private Cloud (Amazon VPC)

ターゲットアーキテクチャ

次の図は、Transfer Family と SFTP を使用してメインフレームファイルを S3 バケットに直接アップロードするためのリファレンスアーキテクチャを示しています。

この図表は、次のワークフローを示しています：

JCL ジョブを使用して、Direct Connect を通じてメインフレームファイルをレガシーメインフレームから AWS クラウドに転送します。
Direct Connect を使用すると、ネットワークトラフィックを AWS グローバルネットワークに留め、パブリックインターネットをバイパスできます。Direct Connect では、ネットワーク速度も向上し、50 Mbps から始まり、100 Gbps までスケールアップできます。
VPC エンドポイントは、パブリックインターネットを使用せずに VPC リソースとサポートされているサービス間の接続を可能にします。Transfer Family と Amazon S3 へのアクセスは、2 つのプライベートサブネットとアベイラビリティーゾーンにある伸縮自在なネットワークインターフェイスを通じて行われるため、高可用性が実現されます。
Transfer Family は、ユーザーを認証し、SFTP を使用してレガシー環境からファイルを受け取り、S3 バケットに移動します。

自動化とスケール

Transfer Family サービスの導入後は、JCL ジョブを SFTP クライアントとして使用して、メインフレームから Amazon S3 に無制限の数のファイルを転送できます。メインフレームファイルを転送する準備ができたら、メインフレームのバッチジョブスケジューラを使用して SFTP ジョブを実行することで、File Transfer を自動化することもできます。

ツール

Amazon Simple Storage Service (Amazon S3) は、どのようなデータ量であっても、データを保存、保護、取得することを支援するクラウドベースのオブジェクトストレージサービスです。
Amazon Virtual Private Cloud (Amazon VPC) を使用すると、定義した仮想ネットワーク内で AWS リソースを起動できます。この仮想ネットワークは、お客様自身のデータセンターで運用されていた従来のネットワークに似ていますが、AWS のスケーラブルなインフラストラクチャを使用できるというメリットがあります。
AWS Transfer Family を使用すると、SFTP、Amazon S3 および Amazon EFS への定期的な business-to-business ファイル転送を安全にスケーリングできます。

エピック

タスク説明必要なスキル

タスク	説明	必要なスキル
S3 バケットを作成する。	「S3 バケットを作成して」、レガシー環境から転送するファイルをホストします。	AWS 全般
IAM ロールとポリシーを作成します。	Transfer Family は、AWS Identity and Access Management (IAM) ロールを使用して、前の手順で作成した S3 バケットへのアクセスを許可します。以下の「IAM ポリシー」を含む「IAM ロールを作成」します。 `{ "Version": "2012-10-17", "Statement": [ { "Sid": "UserFolderListing", "Action": [ "s3:ListBucket", "s3:GetBucketLocation" ], "Effect": "Allow", "Resource": [ "arn:aws:s3:::<your-bucket-name>" ] }, { "Sid": "HomeDirObjectAccess", "Effect": "Allow", "Action": [ "s3:PutObject", "s3:GetObjectAcl", "s3:GetObject", "s3:DeleteObjectVersion", "s3:DeleteObject", "s3:PutObjectAcl", "s3:GetObjectVersion" ], "Resource": "arn:aws:s3:::<your-bucket-name>/*" } ] }` 注:IAM ロールを作成するときは、Transfer ユースケースを選択する必要があります。	AWS 全般

S3 バケットを作成する。

「S3 バケットを作成して」、レガシー環境から転送するファイルをホストします。

AWS 全般

IAM ロールとポリシーを作成します。

Transfer Family は、AWS Identity and Access Management (IAM) ロールを使用して、前の手順で作成した S3 バケットへのアクセスを許可します。

以下の「IAM ポリシー」を含む「IAM ロールを作成」します。


{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "UserFolderListing",
            "Action": [
                "s3:ListBucket",
                "s3:GetBucketLocation"
            ],
            "Effect": "Allow",
            "Resource": [
                "arn:aws:s3:::<your-bucket-name>"
            ]
        },
        {
            "Sid": "HomeDirObjectAccess",
            "Effect": "Allow",
            "Action": [
                "s3:PutObject",
                "s3:GetObjectAcl",
                "s3:GetObject",
                "s3:DeleteObjectVersion",
                "s3:DeleteObject",
                "s3:PutObjectAcl",
                "s3:GetObjectVersion"
            ],
            "Resource": "arn:aws:s3:::<your-bucket-name>/*"
        }
    ]
}

注:IAM ロールを作成するときは、Transfer ユースケースを選択する必要があります。