Déplacez les fichiers du mainframe directement vers Amazon S3 à l'aide de Transfer Family - Recommandations AWS
RécapitulatifConditions préalables et limitationsArchitectureOutilsÉpopéesRessources connexes

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Déplacez les fichiers du mainframe directement vers Amazon S3 à l'aide de Transfer Family

Créée par Luis Gustavo Dantas (AWS)

Environnement : Production

Source : ordinateur central

Cible : Amazon S3

Type R : N/A

Charge de travail : IBM

Technologies : ordinateur central ; stockage et sauvegarde ; modernisation

Services AWS : AWS Transfer Family ; Amazon S3

Récapitulatif

Dans le cadre du processus de modernisation, vous pouvez relever le défi du transfert de fichiers entre vos serveurs sur site et le cloud Amazon Web Services (AWS). Le transfert de données depuis des mainframes peut représenter un défi de taille, car les mainframes ne peuvent généralement pas accéder aux magasins de données modernes tels qu'Amazon Simple Storage Service (Amazon S3), Amazon Elastic Block Store (Amazon EBS) ou Amazon Elastic File System (Amazon EFS).

De nombreux clients utilisent des ressources intermédiaires, telles que des serveurs Linux, Unix ou Windows sur site, pour transférer des fichiers vers le cloud AWS. Vous pouvez éviter cette méthode indirecte en utilisant AWS Transfer Family avec le protocole SFTP (Secure Shell) pour charger les fichiers du mainframe directement sur Amazon S3.

Conditions préalables et limitations

Prérequis

  • Un compte AWS actif

  • Un cloud privé virtuel (VPC) doté d'un sous-réseau accessible par votre ancienne plateforme

  • Un point de terminaison Transfer Family pour votre VPC

  • Fichiers VSAM (Mainframe Virtual Storage Access Method) convertis en fichiers séquentiels de longueur fixe (documentation IBM)

Limites

  • Le SFTP transfère les fichiers en mode binaire par défaut, ce qui signifie que les fichiers sont chargés sur Amazon S3 avec le codage EBCDIC préservé. Si votre fichier ne contient pas de données binaires ou compressées, vous pouvez utiliser la sous-commande sftp ascii (documentation IBM) pour convertir vos fichiers en texte pendant le transfert.

  • Vous devez déballer les fichiers du mainframe (AWS Prescriptive Guidance) contenant du contenu compressé et binaire pour pouvoir utiliser ces fichiers dans votre environnement cible.

  • La taille des objets Amazon S3 peut varier d'un minimum de 0 octet à un maximum de 5 To. Pour plus d'informations sur les fonctionnalités d'Amazon S3, consultez les FAQ Amazon S3.

Architecture

Pile technologique source

  • Langage de contrôle des tâches (JCL)

  • Shell z/OS Unix et ISPF

  • SFTP

  • VSAM et fichiers plats

Pile technologique cible

  • Transfer Family

  • Amazon S3

  • Amazon Virtual Private Cloud (Amazon VPC)

Architecture cible

Le schéma suivant montre une architecture de référence permettant d'utiliser Transfer Family with SFTP pour télécharger des fichiers du mainframe directement dans un compartiment S3.

Utilisation de Transfer Family avec SFTP pour télécharger des fichiers du mainframe directement dans un compartiment S3

Le schéma suivant illustre le flux de travail suivant :

  1. Vous utilisez une tâche JCL pour transférer les fichiers de votre mainframe de l'ancien mainframe vers le cloud AWS via Direct Connect.

  2. Direct Connect permet à votre trafic réseau de rester sur le réseau mondial AWS et de contourner l'Internet public. Direct Connect améliore également la vitesse du réseau, en commençant à 50 Mbits/s et en augmentant jusqu'à 100 Gbit/s.

  3. Le point de terminaison VPC permet d'établir des connexions entre les ressources de votre VPC et les services pris en charge sans utiliser l'Internet public. Access to Transfer Family et Amazon S3 assure une haute disponibilité grâce aux interfaces réseau élastiques situées dans deux sous-réseaux privés et des zones de disponibilité.

  4. Transfer Family authentifie les utilisateurs et utilise le protocole SFTP pour recevoir vos fichiers depuis l'environnement existant et les déplacer vers un compartiment S3.

Automatisation et évolutivité

Une fois le service Transfer Family en place, vous pouvez transférer un nombre illimité de fichiers du mainframe vers Amazon S3 en utilisant une tâche JCL comme client SFTP. Vous pouvez également automatiser le transfert de fichiers en utilisant un planificateur de tâches par lots du mainframe pour exécuter les tâches SFTP lorsque vous êtes prêt à transférer les fichiers du mainframe.

Outils

  • Amazon Simple Storage Service (Amazon S3) est un service de stockage d'objets basé sur le cloud qui vous permet de stocker, de protéger et de récupérer n'importe quel volume de données.

  • Amazon Virtual Private Cloud (Amazon VPC) vous aide à lancer des ressources AWS dans un réseau virtuel que vous avez défini. Ce réseau virtuel ressemble à un réseau traditionnel que vous exploiteriez dans votre propre centre de données, avec les avantages liés à l'utilisation de l'infrastructure évolutive d'AWS.

  • AWS Transfer Family vous permet de dimensionner en toute sécurité vos transferts de business-to-business fichiers récurrents vers Amazon S3 et Amazon EFS en utilisant les protocoles SFTP, FTPS et FTP.

Épopées

TâcheDescriptionCompétences requises

Créez le compartiment S3.

Créez un compartiment S3 pour héberger les fichiers que vous transférez depuis votre environnement existant.

AWS général

Créez le rôle et la politique IAM.

Transfer Family utilise votre rôle AWS Identity and Access Management (IAM) pour accorder l'accès au compartiment S3 que vous avez créé précédemment.

Créez un rôle IAM qui inclut la politique IAM suivante :

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "UserFolderListing",
            "Action": [
                "s3:ListBucket",
                "s3:GetBucketLocation"
            ],
            "Effect": "Allow",
            "Resource": [
                "arn:aws:s3:::<your-bucket-name>"
            ]
        },
        {
            "Sid": "HomeDirObjectAccess",
            "Effect": "Allow",
            "Action": [
                "s3:PutObject",
                "s3:GetObjectAcl",
                "s3:GetObject",
                "s3:DeleteObjectVersion",
                "s3:DeleteObject",
                "s3:PutObjectAcl",
                "s3:GetObjectVersion"
            ],
            "Resource": "arn:aws:s3:::<your-bucket-name>/*"
        }
    ]
}

Remarque : vous devez choisir le cas d'utilisation du transfert lorsque vous créez le rôle IAM.

AWS général
TâcheDescriptionCompétences requises

Créez le serveur SFTP.

  1. Connectez-vous à la console de gestion AWS, ouvrez la console Transfer Family, puis choisissez Create server.

  2. Choisissez uniquement le protocole SFTP (SSH File Transfer Protocol) - transfert de fichiers via le protocole Secure Shell, puis choisissez Next.

  3. Pour le fournisseur d'identité, choisissez Service géré, puis cliquez sur Suivant.

  4. Pour le type de point de terminaison, choisissez VPC hébergé.

  5. Pour Access, choisissez Internal.

  6. Pour VPC, choisissez votre VPC.

  7. Dans la section Zones de disponibilité, choisissez vos zones de disponibilité et vos sous-réseaux.

  8. Dans la section Groupes de sécurité, choisissez votre groupe de sécurité, puis cliquez sur Suivant.

  9. Pour Domain, choisissez Amazon S3, puis Next.

  10. Conservez les options par défaut sur la page Configurer les informations supplémentaires, puis choisissez Suivant.

  11. Choisissez Créer un serveur.

Remarque : pour plus d'informations sur la configuration d'un serveur SFTP, consultez Create an SFTP enabled server (AWS Transfer Family User Guide).

AWS général

Obtenez l'adresse du serveur.

  1. Ouvrez la console Transfer Family et choisissez votre ID de serveur dans la colonne Server ID.

  2. Dans la section Détails du point de terminaison, pour le type de point de terminaison, choisissez l'ID du point de terminaison. Cela vous amène à la console Amazon VPC.

  3. Dans l'onglet Détails de la console Amazon VPC, recherchez les noms DNS à côté des noms DNS.

AWS général

Créez la paire de clés du client SFTP.

Créez une paire de clés SSH pour Microsoft Windows ou MacOS/Linux/UNIX.

AWS, SSH en général

Créez l'utilisateur SFTP.

  1. Ouvrez la console Transfer Family, choisissez Servers dans le volet de navigation, puis sélectionnez votre serveur.

  2. Dans la colonne ID du serveur, choisissez l'ID du serveur pour votre serveur, puis choisissez Ajouter un utilisateur.

  3. Dans Nom d'utilisateur, entrez un nom d'utilisateur correspondant au nom d'utilisateur de votre paire de clés SSH.

  4. Pour Rôle, choisissez le rôle IAM que vous avez créé précédemment.

  5. Pour le répertoire personnel, choisissez le compartiment S3 que vous avez créé précédemment.

  6. Pour les clés publiques SSH, entrez la paire de clés que vous avez créée précédemment.

  7. Choisissez Ajouter.

AWS général
TâcheDescriptionCompétences requises

Envoyez la clé privée SSH au mainframe.

Utilisez SFTP ou SCP pour envoyer la clé privée SSH à l'environnement existant.

Exemple SFTP :

sftp [USERNAME@mainframeIP]
[password]
cd [/u/USERNAME]
put [your-key-pair-file]

Exemple de SCP :

scp [your-key-pair-file] [USERNAME@MainframeIP]:/[u/USERNAME]

Enregistrez ensuite la clé SSH dans le système de fichiers z/OS Unix sous le nom d'utilisateur qui exécutera ultérieurement le traitement par lots de transfert de fichiers (par exemple,). /u/CONTROLM 

Remarque : Pour plus d'informations sur le shell z/OS Unix, voir Une introduction aux shells z/OS (documentation IBM).

Ordinateur central, shell z/OS Unix, FTP, SCP

Créez le client SFTP JCL.

Les mainframes n'ayant pas de client SFTP natif, vous devez utiliser l'utilitaire BPXBATCH pour exécuter le client SFTP depuis le shell z/OS Unix.

Dans l'éditeur ISPF, créez le client SFTP JCL. Par exemple :

//JOBNAM JOB ...
//**********************************************************************
//SFTP EXEC PGM=BPXBATCH,REGION=0M 
//STDPARM DD * 
SH cp "//'MAINFRAME.FILE.NAME'" filename.txt; 
echo 'put filename.txt' > uplcmd; 
sftp -b uplcmd -i ssh_private_key_file ssh_username@<transfer service ip or DNS>; 
//SYSPRINT DD SYSOUT=* 
//STDOUT DD SYSOUT=* 
//STDENV DD * 
//STDERR DD SYSOUT=*

Remarque : Pour plus d'informations sur l'exécution d'une commande dans le shell z/OS Unix, consultez l'utilitaire BPXBATCH (documentation IBM). Pour plus d'informations sur la création ou la modification de tâches JCL dans z/OS, consultez Qu'est-ce que l'ISPF ? et l'éditeur ISPF (documentation IBM).

JCL, mainframe, shell z/OS Unix

Exécutez le client SFTP JCL.

  1. Dans l'éditeur ISPF, entrez SUB, puis appuyez sur la touche ENTER une fois la tâche JCL créée.

  2. Surveillez l'activité des tâches de transfert de fichiers par lots du mainframe dans SDSF.

Remarque : Pour plus d'informations sur la façon de vérifier l'activité des tâches par lots, consultez le guide de l'utilisateur z/OS SDSF (documentation IBM).

Ordinateur central, JCL, ISPF

Validez le transfert de fichiers.

  1. Connectez-vous à la console de gestion AWS, ouvrez la console Amazon S3, puis choisissez Buckets dans le volet de navigation.

  2. Choisissez le bucket associé à votre Transfer Family.

  3. Dans la section Objets de l'onglet Objets, recherchez le fichier que vous avez transféré depuis le mainframe.

AWS général

Automatisez le client SFTP JCL.

Utilisez le planificateur de tâches pour déclencher automatiquement le client SFTP JCL.

Remarque : vous pouvez utiliser des planificateurs de tâches mainframe, tels que BMC Control-M ou CA Workload Automation, pour automatiser les tâches par lots pour les transferts de fichiers en fonction du temps et d'autres dépendances entre les tâches par lots.

Planificateur de tâches

Ressources connexes