Mova arquivos de mainframe diretamente para o Amazon S3 usando o Transfer Family - Recomendações da AWS
ResumoPré-requisitos e limitaçõesArquiteturaFerramentasÉpicosRecursos relacionados

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Mova arquivos de mainframe diretamente para o Amazon S3 usando o Transfer Family

Criado por Luis Gustavo Dantas (AWS)

Ambiente: produção

Origem: mainframe

Destino: Amazon S3

Tipo R: N/A

Workload: IBM

Tecnologias: mainframe, armazenamento e backup, modernização

Serviços da AWS: AWS Transfer Family, Amazon S3

Resumo

Como parte da jornada de modernização, você pode enfrentar o desafio de transferir arquivos entre seus servidores on-premises e a nuvem da Amazon Web Services (AWS). Transferir dados de mainframes pode ser um desafio complexo porque os mainframes normalmente não conseguem acessar armazenamentos modernos de dados, como o Amazon Simple Storage Service (Amazon S3), o Amazon Elastic Block Store (Amazon EBS) ou o Amazon Elastic File System (Amazon EFS).

Muitos clientes usam recursos intermediários de preparação, como servidores Linux, Unix ou Windows on-premises, para transferir arquivos para a Nuvem AWS. Você pode evitar esse método indireto usando o AWS Transfer Family com o Secure Shell (SSH) Protocolo de Transferência de Arquivos (SFTP) para carregar arquivos de mainframe diretamente no Amazon S3.

Pré-requisitos e limitações

Pré-requisitos

  • Uma conta AWS ativa

  • Uma nuvem privada virtual (VPC) com uma sub-rede acessível por sua plataforma legada

  • Um endpoint do Transfer Family para sua VPC

  • Arquivos do Mainframe Virtual Storage Access Method (VSAM) convertidos em arquivos sequenciais de tamanho fixo (documentação da IBM)

Limitações

  • O SFTP transfere arquivos no modo binário por definição, ou seja, os arquivos são enviados para o Amazon S3 com a codificação EBCDIC preservada. Se seu arquivo não contiver dados binários ou compactados, você poderá usar o subcomando sftp ascii (documentação da IBM) para converter seus arquivos em texto durante a transferência.

  • Você deve descompactar arquivos de mainframe (Recomendações da AWS) que contenham conteúdo compactado e binário para usar esses arquivos em seu ambiente de destino.

  • Os objetos do Amazon S3 podem variar em tamanho: de um mínimo de 0 byte a um máximo de 5 TB. Para obter mais informações sobre os recursos do Amazon S3, consulte Perguntas frequentes do Amazon S3.

Arquitetura

Pilha de tecnologia de origem

  • Job Control Language (JCL)

  • Shell z/OS Unix e ISPF

  • SFTP

  • VSAM e arquivos simples

Pilha de tecnologias de destino

  • Transfer Family

  • Amazon S3

  • Amazon Virtual Private Cloud (Amazon VPC)

Arquitetura de destino

O diagrama a seguir mostra uma arquitetura de referência para usar o Transfer Family com SFTP para carregar arquivos de mainframe diretamente em um bucket do S3.

Usando o Transfer Family com SFTP para carregar arquivos de mainframe diretamente em um bucket S3

O diagrama mostra o seguinte fluxo de trabalho:

  1. Use uma tarefa de JCL para transferir seus arquivos de mainframe do mainframe herdado para a Nuvem AWS por meio do Direct Connect.

  2. O Direct Connect permite que seu tráfego de rede permaneça na rede global da AWS e ignore a Internet pública. O Direct Connect também aumenta a velocidade da rede, começando em 50 Mbps e escalando até 100 Gbps.

  3. O endpoint da VPC permite conexões entre os recursos da sua VPC e os serviços compatíveis sem usar a Internet pública. O acesso ao Transfer Family e ao Amazon S3 alcança alta disponibilidade por meio de interfaces de rede elástica localizadas em duas sub-redes privadas e zonas de disponibilidade.

  4. O Transfer Family autentica os usuários e usa o SFTP para receber seus arquivos do ambiente herdado e movê-los para um bucket do S3.

Automação e escala

Depois que o serviço Transfer Family estiver em vigor, você poderá transferir um número ilimitado de arquivos do mainframe para o Amazon S3 usando uma tarefa de JCL como cliente SFTP. Você também pode automatizar a transferência de arquivos usando um agendador de tarefas em lote de mainframe para executar tarefas de SFTP quando for o momento de transferir os arquivos de mainframe.

Ferramentas

  • O Amazon Simple Storage Service (Amazon S3) é um serviço de armazenamento de objetos baseado na nuvem que ajuda você a armazenar, proteger e recuperar qualquer quantidade de dados.

  • A Amazon Virtual Private Cloud (Amazon VPC) ajuda a iniciar recursos da AWS em uma rede virtual definida por você. Essa rede virtual é semelhante a uma rede tradicional que você operaria no próprio datacenter, com os benefícios de usar a infraestrutura escalável da AWS.

  • O AWS Transfer Family permite que você escale com segurança suas transferências recorrentes de business-to-business arquivos para o Amazon S3 e o Amazon EFS usando os protocolos SFTP, FTPS e FTP.

Épicos

TarefaDescriçãoHabilidades necessárias

Criar o bucket do S3.

Crie um bucket do S3 para hospedar os arquivos que você transfere do seu ambiente herdado.

AWS geral

Criar uma política e um perfil do IAM.

O Transfer Family usa seu perfil do AWS Identity and Access Management (IAM) para conceder acesso ao bucket do S3 criado anteriormente.

Crie um perfil do IAM que inclua a seguinte política do IAM:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "UserFolderListing",
            "Action": [
                "s3:ListBucket",
                "s3:GetBucketLocation"
            ],
            "Effect": "Allow",
            "Resource": [
                "arn:aws:s3:::<your-bucket-name>"
            ]
        },
        {
            "Sid": "HomeDirObjectAccess",
            "Effect": "Allow",
            "Action": [
                "s3:PutObject",
                "s3:GetObjectAcl",
                "s3:GetObject",
                "s3:DeleteObjectVersion",
                "s3:DeleteObject",
                "s3:PutObjectAcl",
                "s3:GetObjectVersion"
            ],
            "Resource": "arn:aws:s3:::<your-bucket-name>/*"
        }
    ]
}

Observação: você deve escolher o caso de uso de transferência ao criar o perfil do IAM.

AWS geral
TarefaDescriçãoHabilidades necessárias

Crie o servidor SFTP.

  1. Faça login no console de gerenciamento da AWS, abra o console do Transfer Family, e, em seguida, escolha Criar servidor.

  2. Escolha somente SFTP (SSH File Transfer Protocol) – transferência de arquivos pelo protocolo Secure Shell e, em seguida, Avançar.

  3. Para o provedor de identidade, escolha Serviço gerenciado e, em seguida, escolha Próximo.

  4. Em Tipo de endpoint, selecione VPC hospedada.

  5. Em Acesso, escolha Interno.

  6. Em VPC, escolha sua VPC.

  7. Na seção Zonas de disponibilidade, escolha suas Zonas de Disponibilidade e sub-redes.

  8. Na seção de Grupos de segurança, escolha seu grupo de segurança, e, em seguida, Próximo.

  9. Em Domínio, escolha Amazon S3 e, em seguida, Avançar.

  10. Mantenha as opções padrão na página Configurar detalhes adicionais e escolha Avançar.

  11. Selecione Create server (Criar servidor).

Observação: para obter mais informações sobre como configurar um servidor SFTP, consulte Criar um servidor habilitado para SFTP (Guia do usuário do AWS Transfer Family).

AWS geral

Obtenha o endereço do servidor.

  1. Abra o console do Transfer Family e escolha o ID do servidor na coluna ID do servidor.

  2. Na seção Detalhes do endpoint, em Tipo de endpoint, escolha o ID do endpoint. Isso leva você ao console do Amazon VPC.

  3. Na guia Detalhes do console da Amazon VPC, encontre os nomes DNS ao lado dos Nomes DNS.

AWS geral

Crie o par de chaves do cliente SFTP.

Crie um par de chaves SSH para Microsoft Windows ou macOS/Linux/UNIX.

AWS geral, SSH

Crie o servidor SFTP.

  1. Abra o console do Transfer Family, escolha Servidores no painel de navegação e selecione seu servidor.

  2. Na coluna ID do servidor, escolha o ID do servidor e, em seguida, Adicionar usuário.

  3. Em Nome de usuário, insira um nome de usuário que corresponda ao par de chaves SSH.

  4. Em Função, selecione o perfil do IAM que você criou anteriormente.

  5. Em Diretório inicial, escolha o bucket do S3 criado anteriormente.

  6. Em Chaves públicas SSH, insira o par de chaves criado anteriormente.

  7. Escolha Adicionar.

AWS geral
TarefaDescriçãoHabilidades necessárias

Envie a chave privada SSH para o mainframe.

Use SFTP ou SCP para enviar a chave privada SSH para o ambiente herdado.

Exemplo de SFTP:

sftp [USERNAME@mainframeIP]
[password]
cd [/u/USERNAME]
put [your-key-pair-file]

Exemplos de SCP:

scp [your-key-pair-file] [USERNAME@MainframeIP]:/[u/USERNAME]

Em seguida, armazene a chave SSH no sistema de arquivos z/OS Unix sob o nome de usuário que posteriormente executará a tarefa em lote da transferência de arquivos (por exemplo, /u/CONTROLM). 

Observação: para obter mais informações sobre o shell z/OS Unix, consulte Uma introdução aos shells z/OS (documentação da IBM).

Mainframe, shell Unix z/OS, FTP, SCP

Crie o cliente JCL SFTP.

Como os mainframes não têm um cliente SFTP nativo, você deve usar o utilitário BPXBATCH para executar o cliente SFTP a partir do shell z/OS Unix.

No editor ISPF, crie o cliente JCL SFTP. Por exemplo: .

//JOBNAM JOB ...
//**********************************************************************
//SFTP EXEC PGM=BPXBATCH,REGION=0M 
//STDPARM DD * 
SH cp "//'MAINFRAME.FILE.NAME'" filename.txt; 
echo 'put filename.txt' > uplcmd; 
sftp -b uplcmd -i ssh_private_key_file ssh_username@<transfer service ip or DNS>; 
//SYSPRINT DD SYSOUT=* 
//STDOUT DD SYSOUT=* 
//STDENV DD * 
//STDERR DD SYSOUT=*

Observação: para obter mais informações sobre como executar um comando no shell z/OS Unix, consulte O utilitário BPXBATCH (documentação da IBM). Para obter mais informações sobre como criar ou editar tarefas de JCL no z/OS, consulte O que é ISPF? e O editor ISPF (documentação da IBM).

JCL, Mainframe, shell Unix z/OS

Execute o cliente JCL SFTP.

  1. No editor ISPF, digite SUB e, em seguida, pressione a tecla ENTER após a criação da tarefa de JCL.

  2. Monitore a atividade da tarefa em lotes de transferência de arquivos do mainframe no SDSF.

Observação: para obter mais informações sobre como verificar a atividade de tarefas em lotes, consulte o Guia do usuário do z/OS SDSF (documentação da IBM).

Mainframe, JCL, ISPF

Validar a transferência de arquivos.

  1. Faça login no console de gerenciamento da AWS, abra o Console do Amazon S3 e escolha Buckets no painel de navegação.

  2. Escolha o bucket associado ao seu Transfer Family.

  3. Na seção Objetos da guia Objetos, localize o arquivo que você transferiu do mainframe.

AWS geral

Crie o cliente JCL SFTP.

Use o agendador de tarefas para acionar automaticamente o cliente JCL SFTP.

Observação: você pode usar agendadores de tarefas de mainframe, como BMC Control-M ou CA Workload Automation, para automatizar tarefas em lotes para transferências de arquivos com base no tempo e em outras dependências de tarefas em lotes.

Agendador de tarefas

Recursos relacionados