Como funciona o gateway de volumes (arquitetura)

A seguir, é possível encontrar uma visão geral sobre a arquitetura da solução do gateway de volumes.

Gateways de volume

Em gateways de volumes, é possível usar volumes em cache ou volumes armazenados.

Arquitetura de volumes armazenados em cache

Ao usar os volumes armazenados em cache, é possível definir o Amazon S3 como armazenamento de dados principal e ao mesmo tempo reter localmente os dados acessados com frequência no Storage Gateway. Os volumes armazenados em cache minimizam a necessidade de redimensionar a infraestrutura de armazenamento local, sem deixar de fornecer aos aplicativos acesso de baixa latência aos dados acessados com frequência. Você pode criar volumes de armazenamento de até 32 TiB e anexá-los como dispositivos iSCSI em seus servidores de aplicativos locais. Seu gateway armazena os dados que você grava nesses volumes no Amazon S3 e retém os dados lidos recentemente no cache de armazenamento e no armazenamento buffer de upload do Storage Gateway on-premises.

Quanto ao tamanho dos volumes armazenados em cache, eles podem variar de 1 GiB a 32 TiB e devem ser arredondados para o GiB mais próximo. Cada gateway configurado para volumes armazenados em cache pode comportar até 32 volumes, o que equivale a um volume total de armazenamento de 1.024 TiB (1 PiB).

Na solução de volumes armazenados em cache, o Storage Gateway armazena todos os dados de aplicações on-premises em um volume de armazenamento no Amazon S3. O diagrama a seguir oferece uma visão geral da implantação de volumes armazenados em cache.

Depois de instalar o dispositivo de software Storage Gateway — a VM — em um host em seu datacenter e ativá-lo, você o usa AWS Management Console para provisionar volumes de armazenamento apoiados pelo Amazon S3. Você também pode provisionar volumes de armazenamento programaticamente usando a API Storage Gateway ou as bibliotecas do AWS SDK. Em seguida, você pode montar esses volumes de armazenamento nos servidores de aplicativos locais como dispositivos iSCSI.

Você pode ainda alocar discos locais à VM. Esses discos locais servem às seguintes finalidades:

• Discos para uso pelo gateway como armazenamento em cache — à medida que seus aplicativos gravam dados nos volumes de armazenamento AWS, o gateway primeiro armazena os dados nos discos locais usados para armazenamento em cache. Em seguida, o gateway faz upload dos dados no Amazon S3. O armazenamento em cache funciona como um armazenamento on-premises duradouro que aguarda para fazer upload de dados do buffer para o Amazon S3.

  O armazenamento em cache também permite que o gateway armazene localmente os dados de aplicativo acessados recentemente para oferecer acesso de baixa latência. Quando a sua aplicação solicita dados, o gateway verifica os dados no armazenamento em cache antes de verificar no Amazon S3.

  Você pode usar as orientações a seguir para determinar o espaço em disco a ser alocado para o armazenamento em cache. Em geral, você deve alocar pelo menos 20% do tamanho de armazenamento de arquivos existente ao armazenamento em cache. O armazenamento em cache também deve ser maior do que o buffer de upload. Esta última orientação ajuda a garantir que o armazenamento em cache seja suficientemente grande para armazenar permanentemente no buffer de upload todos os dados dos quais ainda não feito upload para o Amazon S3.

• Discos usados pelo gateway como buffer de upload: para se preparar para fazer upload para o Amazon S3, o gateway também armazena dados de entrada em uma área de preparação, chamada de buffer de upload. Seu gateway carrega esses dados de buffer por meio de uma conexão criptografada Secure Sockets Layer (SSL) AWS, onde são armazenados criptografados no Amazon S3.

É possível realizar backups incrementais, chamados snapshots, de seus volumes de armazenamento no Amazon S3. Esses point-in-time snapshots também são armazenados no Amazon S3 como snapshots do Amazon EBS. Ao obter um novo snapshot, somente os dados alterados desde o último snapshot são armazenados. Quando o snapshot é feito, o gateway carrega as alterações até o ponto do snapshot e cria o novo snapshot usando o Amazon EBS. Você pode iniciar os snapshots de forma programada ou fazê-los uma única vez. Um único volume é compatível com o enfileiramento de vários snapshots em rápida sucessão, mas cada snapshot deve terminar de ser criado antes que o próximo possa ser obtido. Ao excluir um snapshot, são removidos somente os dados dos quais nenhum outro snapshot necessita. Para obter informações sobre snapshots do Amazon EBS, consulte Snapshots do Amazon EBS.

É possível restaurar um snapshot do Amazon EBS em um volume de armazenamento do gateway se precisar recuperar um backup de seus dados. Alternativamente, para snapshots com tamanho máximo de 16 TiB, é possível usá-los como ponto de partida para um novo volume do Amazon EBS. Em seguida, é possível anexar esse novo volume do Amazon EBS a uma instância do Amazon EC2.

Todos os dados do gateway de volumes armazenados em cache e todos os dados de snapshot são mantidos no Amazon S3 e criptografados em repouso por meio da criptografia do lado do servidor (SSE). No entanto, não é possível acessar esses dados com a API do Amazon S3 ou outras ferramentas como o Amazon S3 Management Console.

Arquitetura de volumes armazenados

Ao usar volumes armazenados, você pode armazenar seus dados primários localmente e, ao mesmo tempo, fazer backup desses dados de forma assíncrona em. AWS Esses volumes armazenados oferecem aos aplicativos locais acesso de baixa latência aos conjuntos de dados. Ao mesmo tempo, elas oferecem backups externos duráveis. Você pode criar volumes de armazenamento e montá-los como dispositivos iSCSI em seus servidores de aplicativos locais. Os dados gravados nos volumes armazenados são armazenados em seu hardware de armazenamento local. Esses dados são copiados de forma assíncrona para o Amazon S3 como snapshots do Amazon Elastic Block Store (Amazon EBS).

O tamanho dos volumes armazenados pode variar de 1 GiB a 16 TiB e deve ser arredondado para o GiB mais próximo. Cada gateway configurado para volumes armazenados pode comportar até 32 volumes e um volume total de armazenamento de 512 TiB (0,5 PiB).

No caso dos volumes armazenados, o armazenamento em volume é mantido localmente em seu datacenter. Ou seja, você pode armazenar todos os dados de aplicativo em seu hardware de armazenamento local. Depois, usando atributos que ajudam a manter a segurança dos dados, o gateway faz upload dos dados para a nuvem do Amazon Web Services para assim oferecer backups econômicos e agilidade na recuperação de desastres. Esta solução é ideal quando você deseja manter os dados on-premises porque precisa ter acesso de baixa latência a todos os dados e também quanto deseja manter os backups na AWS.

O diagrama a seguir oferece uma visão geral da implantação de volumes armazenados.

Depois de instalar o dispositivo de software do Storage Gateway (a VM) em um host no datacenter e ativá-lo, será possível criar volumes de armazenamento do gateway. Em seguida, mapeie para discos de armazenamento direto (DAS) ou os discos de rede de armazenamento (SAN) no local. Você pode começar com discos novos ou discos que já contenham dados. Você pode então montar esses volumes em seus servidores de aplicativos locais como dispositivos iSCSI. Quando seus aplicativos locais gravam e leem dados do volume de armazenamento de um gateway, esses dados são armazenados e recuperados do disco atribuído ao volume.

Para preparar os dados para fazer upload para o Amazon S3, o gateway também armazena dados de entrada em uma área de preparação, chamada buffer de upload. Você pode usar discos locais DAS ou SAN para armazenamento funcional. O gateway faz upload desses dados do buffer por meio de uma conexão Secure Sockets Layer (SSL) criptografada para o serviço do Storage Gateway em execução na nuvem da Amazon Web Services Cloud. Em seguida, o serviço armazena os dados criptografados no Amazon S3.

Você pode realizar backups incrementais, chamados snapshots, de seus volumes de armazenamento. O gateway armazena esses snapshots no Amazon S3 como snapshots do Amazon EBS. Ao obter um novo snapshot, somente os dados alterados desde o último snapshot são armazenados. Quando o snapshot é feito, o gateway carrega as alterações até o ponto do snapshot e cria o novo snapshot usando o Amazon EBS. Você pode iniciar os snapshots de forma programada ou fazê-los uma única vez. Um único volume é compatível com o enfileiramento de vários snapshots em rápida sucessão, mas cada snapshot deve terminar de ser criado antes que o próximo possa ser obtido. Ao excluir um snapshot, somente os dados que não são necessários para qualquer outro snapshot são removidos.

É possível restaurar um snapshot do Amazon EBS em um volume de armazenamento do gateway on-premises se precisar recuperar um backup de seus dados. Também é possível usar um snapshot como ponto de partida para um novo volume do Amazon EBS, que então poderá se anexar a uma instância do Amazon EC2.