Verschieben Sie Mainframe-Dateien mit Transfer Family direkt nach Amazon S3 - AWS Prescriptive Guidance
ÜbersichtVoraussetzungen und EinschränkungenArchitekturToolsEpenZugehörige Ressourcen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Verschieben Sie Mainframe-Dateien mit Transfer Family direkt nach Amazon S3

Erstellt von Luis Gustavo Dantas (AWS)

Umgebung: Produktion

Quelle: Mainframe

Ziel: Amazon S3

R-Typ: N/A

Arbeitslast: IBM

Technologien: Mainframe; Speicher und Backup; Modernisierung

AWS-Services: AWS Transfer-Familie; Amazon S3

Übersicht

Im Rahmen der Modernisierung können Sie sich der Herausforderung stellen, Dateien zwischen Ihren lokalen Servern und der Amazon Web Services (AWS) Cloud zu übertragen. Die Übertragung von Daten von Mainframes kann eine große Herausforderung sein, da Mainframes in der Regel nicht auf moderne Datenspeicher wie Amazon Simple Storage Service (Amazon S3), Amazon Elastic Block Store (Amazon EBS) oder Amazon Elastic File System (Amazon EFS) zugreifen können.

Viele Kunden verwenden Intermediate-Staging-Ressourcen wie lokale Linux-, Unix- oder Windows-Server, um Dateien in die AWS-Cloud zu übertragen. Sie können diese indirekte Methode vermeiden, indem Sie AWS Transfer Family mit dem Secure Shell (SSH) File Transfer Protocol (SFTP) verwenden, um Mainframe-Dateien direkt auf Amazon S3 hochzuladen.

Voraussetzungen und Einschränkungen

Voraussetzungen

  • Ein aktives AWS-Konto

  • Eine virtuelle private Cloud (VPC) mit einem Subnetz, das über Ihre Legacy-Plattform erreichbar ist

  • Ein Transfer Family Family-Endpunkt für Ihre VPC

  • Mainframe-VSAM-Dateien (Virtual Storage Access Method) wurden in sequentielle Dateien mit fester Länge konvertiert (IBM-Dokumentation)

Einschränkungen

  • SFTP überträgt Dateien standardmäßig im Binärmodus, was bedeutet, dass Dateien unter Beibehaltung der EBCDIC-Kodierung auf Amazon S3 hochgeladen werden. Wenn Ihre Datei keine binären oder gepackten Daten enthält, können Sie den Unterbefehl sftp ascii (IBM-Dokumentation) verwenden, um Ihre Dateien während der Übertragung in Text zu konvertieren.

  • Sie müssen Mainframe-Dateien (AWS Prescriptive Guidance) entpacken, die gepackte und binäre Inhalte enthalten, um diese Dateien in Ihrer Zielumgebung verwenden zu können.

  • Amazon S3 S3-Objekte können eine Größe von mindestens 0 Byte bis zu einem Maximum von 5 TB haben. Weitere Informationen zu den Funktionen von Amazon S3 finden Sie in den häufig gestellten Fragen zu Amazon S3.

Architektur

Quelltechnologie-Stack

  • Sprache zur Jobkontrolle (JCL)

  • z/OS Unix-Shell und ISPF

  • SFTP

  • VSAM und Flatfiles

Zieltechnologie-Stack

  • Transfer Family

  • Amazon S3

  • Amazon Virtual Private Cloud (Amazon VPC)

Zielarchitektur

Das folgende Diagramm zeigt eine Referenzarchitektur für die Verwendung von Transfer Family mit SFTP, um Mainframe-Dateien direkt in einen S3-Bucket hochzuladen.

Verwenden von Transfer Family mit SFTP zum direkten Hochladen von Mainframe-Dateien in einen S3-Bucket

Das Diagramm zeigt den folgenden Workflow:

  1. Sie verwenden einen JCL-Job, um Ihre Mainframe-Dateien über Direct Connect vom Legacy-Mainframe in die AWS-Cloud zu übertragen.

  2. Direct Connect ermöglicht es Ihrem Netzwerkverkehr, im globalen AWS-Netzwerk zu bleiben und das öffentliche Internet zu umgehen. Direct Connect verbessert auch die Netzwerkgeschwindigkeit, angefangen bei 50 Mbit/s bis hin zur Skalierung auf bis zu 100 Gbit/s.

  3. Der VPC-Endpunkt ermöglicht Verbindungen zwischen Ihren VPC-Ressourcen und den unterstützten Diensten, ohne das öffentliche Internet zu nutzen. Der Zugriff auf Transfer Family und Amazon S3 ermöglicht eine hohe Verfügbarkeit, da er über die elastischen Netzwerkschnittstellen erfolgt, die sich in zwei privaten Subnetzen und Availability Zones befinden.

  4. Transfer Family authentifiziert Benutzer und verwendet SFTP, um Ihre Dateien aus der Legacy-Umgebung zu empfangen und in einen S3-Bucket zu verschieben.

Automatisierung und Skalierung

Nachdem der Transfer Family Family-Service eingerichtet wurde, können Sie eine unbegrenzte Anzahl von Dateien vom Mainframe auf Amazon S3 übertragen, indem Sie einen JCL-Job als SFTP-Client verwenden. Sie können die Dateiübertragung auch automatisieren, indem Sie einen Mainframe-Batch-Job-Scheduler verwenden, um die SFTP-Jobs auszuführen, wenn Sie bereit sind, die Mainframe-Dateien zu übertragen.

Tools

  • Amazon Simple Storage Service (Amazon S3) ist ein cloudbasierter Objektspeicherservice, der Sie beim Speichern, Schützen und Abrufen beliebiger Datenmengen unterstützt.

  • Amazon Virtual Private Cloud (Amazon VPC) hilft Ihnen, AWS-Ressourcen in einem von Ihnen definierten virtuellen Netzwerk zu starten. Dieses virtuelle Netzwerk ähnelt einem herkömmlichen Netzwerk, das Sie in Ihrem eigenen Rechenzentrum betreiben würden, mit den Vorteilen der skalierbaren Infrastruktur von AWS.

  • Mit der AWS Transfer Family können Sie Ihre wiederkehrenden business-to-business Dateiübertragungen an Amazon S3 und Amazon EFS mithilfe der Protokolle SFTP, FTPS und FTP sicher skalieren.

Epen

AufgabeBeschreibungErforderliche Fähigkeiten

Erstellen Sie den S3-Bucket.

Erstellen Sie einen S3-Bucket, um die Dateien zu hosten, die Sie aus Ihrer Legacy-Umgebung übertragen.

Allgemeines AWS

Erstellen Sie die IAM-Rolle und -Richtlinie.

Transfer Family verwendet Ihre AWS Identity and Access Management (IAM) -Rolle, um Zugriff auf den S3-Bucket zu gewähren, den Sie zuvor erstellt haben.

Erstellen Sie eine IAM-Rolle, die die folgende IAM-Richtlinie umfasst:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "UserFolderListing",
            "Action": [
                "s3:ListBucket",
                "s3:GetBucketLocation"
            ],
            "Effect": "Allow",
            "Resource": [
                "arn:aws:s3:::<your-bucket-name>"
            ]
        },
        {
            "Sid": "HomeDirObjectAccess",
            "Effect": "Allow",
            "Action": [
                "s3:PutObject",
                "s3:GetObjectAcl",
                "s3:GetObject",
                "s3:DeleteObjectVersion",
                "s3:DeleteObject",
                "s3:PutObjectAcl",
                "s3:GetObjectVersion"
            ],
            "Resource": "arn:aws:s3:::<your-bucket-name>/*"
        }
    ]
}

Hinweis: Sie müssen bei der Erstellung der IAM-Rolle den Anwendungsfall Transfer auswählen.

Allgemeines AWS
AufgabeBeschreibungErforderliche Fähigkeiten

Erstellen Sie den SFTP-Server.

  1. Melden Sie sich bei der AWS-Managementkonsole an, öffnen Sie die Transfer Family Family-Konsole und wählen Sie dann Server erstellen aus.

  2. Wählen Sie nur SFTP (SSH File Transfer Protocol) — Dateiübertragung über das Secure Shell-Protokoll und wählen Sie dann Weiter.

  3. Wählen Sie für Identity Provider die Option Service managed und dann Next aus.

  4. Wählen Sie als Endpunkttyp die Option VPC Hosted aus.

  5. Wählen Sie für Access die Option Intern aus.

  6. Wählen Sie unter VPC Ihre VPC aus.

  7. Wählen Sie im Abschnitt Availability Zones Ihre Availability Zones und Subnetze aus.

  8. Wählen Sie im Abschnitt Sicherheitsgruppen Ihre Sicherheitsgruppe aus und klicken Sie dann auf Weiter.

  9. Wählen Sie für Domain Amazon S3 und dann Weiter aus.

  10. Behalten Sie die Standardoptionen auf der Seite Zusätzliche Details konfigurieren bei und wählen Sie dann Weiter.

  11. Wählen Sie Create Server (Server erstellen) aus.

Hinweis: Weitere Informationen zur Einrichtung eines SFTP-Servers finden Sie unter Erstellen eines SFTP-fähigen Servers (AWS Transfer Family Family-Benutzerhandbuch).

Allgemeines AWS

Holen Sie sich die Serveradresse.

  1. Öffnen Sie die Transfer Family Family-Konsole und wählen Sie Ihre Server-ID in der Spalte Server-ID aus.

  2. Wählen Sie im Abschnitt Endpunktdetails für Endpunkttyp die Endpunkt-ID aus. Dadurch gelangen Sie zur Amazon VPC-Konsole.

  3. Suchen Sie auf der Registerkarte Details der Amazon VPC-Konsole nach den DNS-Namen neben DNS-Namen.

Allgemeines AWS

Erstellen Sie das SFTP-Client-Schlüsselpaar.

Erstellen Sie ein SSH-Schlüsselpaar für Microsoft Windows oder MacOS/Linux/UNIX.

Allgemeines AWS, SSH

Erstellen Sie den SFTP-Benutzer.

  1. Öffnen Sie die Transfer Family Family-Konsole, wählen Sie im Navigationsbereich Server und wählen Sie dann Ihren Server aus.

  2. Wählen Sie in der Spalte Server-ID die Server-ID für Ihren Server aus und klicken Sie dann auf Benutzer hinzufügen.

  3. Geben Sie für Username einen Benutzernamen ein, der Ihrem SSH-Schlüsselpaar-Benutzernamen entspricht.

  4. Wählen Sie unter Rolle die IAM-Rolle aus, die Sie zuvor erstellt haben.

  5. Wählen Sie für das Home-Verzeichnis den S3-Bucket aus, den Sie zuvor erstellt haben.

  6. Geben Sie für öffentliche SSH-Schlüssel das key pair ein, das Sie zuvor erstellt haben.

  7. Wählen Sie Hinzufügen aus.

Allgemeines AWS
AufgabeBeschreibungErforderliche Fähigkeiten

Senden Sie den privaten SSH-Schlüssel an den Mainframe.

Verwenden Sie SFTP oder SCP, um den privaten SSH-Schlüssel an die Legacy-Umgebung zu senden.

SFTP-Beispiel:

sftp [USERNAME@mainframeIP]
[password]
cd [/u/USERNAME]
put [your-key-pair-file]

SCP-Beispiel:

scp [your-key-pair-file] [USERNAME@MainframeIP]:/[u/USERNAME]

Als Nächstes speichern Sie den SSH-Schlüssel im z/OS Unix-Dateisystem unter dem Benutzernamen, der später den Dateiübertragungs-Batchjob ausführen wird (z. B.). /u/CONTROLM 

Hinweis: Weitere Informationen zur z/OS Unix-Shell finden Sie unter Eine Einführung in die z/OS-Shells (IBM-Dokumentation).

Mainframe, z/OS Unix-Shell, FTP, SCP

Erstellen Sie den JCL-SFTP-Client.

Da Mainframes keinen systemeigenen SFTP-Client haben, müssen Sie das BPXBATCH-Hilfsprogramm verwenden, um den SFTP-Client von der z/OS Unix-Shell aus auszuführen.

Erstellen Sie im ISPF-Editor den JCL-SFTP-Client. Beispielsweise:

//JOBNAM JOB ...
//**********************************************************************
//SFTP EXEC PGM=BPXBATCH,REGION=0M 
//STDPARM DD * 
SH cp "//'MAINFRAME.FILE.NAME'" filename.txt; 
echo 'put filename.txt' > uplcmd; 
sftp -b uplcmd -i ssh_private_key_file ssh_username@<transfer service ip or DNS>; 
//SYSPRINT DD SYSOUT=* 
//STDOUT DD SYSOUT=* 
//STDENV DD * 
//STDERR DD SYSOUT=*

Hinweis: Weitere Informationen zur Ausführung eines Befehls in der z/OS Unix-Shell finden Sie unter The BPXBATCH utility (IBM-Dokumentation). Weitere Informationen zum Erstellen oder Bearbeiten von JCL-Jobs in z/OS finden Sie unter Was ist ISPF? und Der ISPF-Editor (IBM-Dokumentation).

JCL, Mainframe, z/OS Unix-Shell

Führen Sie den JCL-SFTP-Client aus.

  1. Geben Sie im ISPF-Editor SUB ein und drücken Sie dann die EINGABETASTE, nachdem der JCL-Job erstellt wurde.

  2. Überwachen Sie die Batch-Job-Aktivität des Mainframes zur Dateiübertragung in SDSF.

Hinweis: Weitere Informationen zur Überprüfung der Aktivität von Batch-Jobs finden Sie im z/OS SDSF User's Guide (IBM-Dokumentation).

Mainframe, JCL, ISPF

Bestätigen Sie die Dateiübertragung.

  1. Melden Sie sich bei der AWS-Managementkonsole an, öffnen Sie die Amazon S3 S3-Konsole und wählen Sie dann im Navigationsbereich Buckets aus.

  2. Wählen Sie den Bucket aus, der Ihrer Transfer Family zugeordnet ist.

  3. Suchen Sie auf der Registerkarte „Objekte“ im Bereich „Objekte“ nach der Datei, die Sie vom Mainframe übertragen haben.

Allgemeines AWS

Automatisieren Sie den JCL-SFTP-Client.

Verwenden Sie den Job-Scheduler, um den JCL-SFTP-Client automatisch auszulösen.

Hinweis: Sie können Mainframe-Job-Scheduler wie BMC Control-M oder CA Workload Automation verwenden, um Batch-Jobs für Dateiübertragungen auf der Grundlage von Zeit und anderen Abhängigkeiten von Batch-Jobs zu automatisieren.

Job-Scheduler

Zugehörige Ressourcen