Como funciona o Amazon S3 File Gateway

Para usar um S3 File Gateway, comece baixando uma imagem de VM para o gateway. Em seguida, você ativa o gateway a partir da AWS Management Console ou por meio da API Storage Gateway. Você também pode criar um S3 File Gateway usando uma EC2 imagem da Amazon.

Depois que o S3 File Gateway for ativado, você cria e configura seu compartilhamento de arquivos e associa esse compartilhamento ao seu bucket do Amazon Simple Storage Service (Amazon S3). Isso torna o compartilhamento acessível aos clientes usando o protocolo Network File System (NFS) ou Server Message Block (SMB). Arquivos gravados em um compartilhamento de arquivos se tornam objetos no Amazon S3, com o caminho como chave. Há um one-to-one mapeamento entre arquivos e objetos, e o gateway atualiza de forma assíncrona os objetos no Amazon S3 conforme você altera os arquivos. Os objetos existentes no bucket do Amazon S3 aparecem como arquivos no sistema de arquivos, e a chave se torna o caminho. Os objetos são criptografados com chaves de criptografia do lado do servidor Amazon S3 (SSE-S3). Todas as transferências de dados são feitas por meio de HTTPS.

Ao enviar solicitações de upload de dados HTTPS para o Amazon S3, o File Gateway preenche o MD5 cabeçalho Content- com a MD5 soma de verificação dos dados que estão sendo carregados. O uso desse cabeçalho faz com que o Amazon S3 retorne uma falha em caso de incompatibilidade entre a MD5 soma de verificação calculada pelo Amazon S3 e o valor recebido do File Gateway. Se essa falha for retornada, o File Gateway reenviará a solicitação.

O serviço otimiza a transferência de dados entre o gateway e o AWS uso de uploads paralelos de várias partes ou downloads de intervalo de bytes, para melhor usar a largura de banda disponível. O cache local é mantido para fornecer acesso de baixa latência aos dados acessados recentemente e reduzir as taxas de saída de dados. CloudWatch as métricas fornecem informações sobre o uso de recursos na VM e a transferência de dados de AWS e para. CloudTrail rastreia todas as chamadas de API.

Com o armazenamento do S3 File Gateway, você pode realizar tarefas como ingerir cargas de trabalho na nuvem para o Amazon S3, realizar backups e arquivamento, hierarquizar e migrar dados de armazenamento para a nuvem. AWS O diagrama a seguir fornece uma visão geral da implantação do armazenamento de arquivos para o Storage Gateway.

O S3 File Gateway converte arquivos em objetos do S3 ao fazer upload de arquivos para o Amazon S3. A interação entre as operações de arquivo realizadas em compartilhamentos de arquivos no S3 File Gateway e objetos do S3 exige que determinadas operações sejam cuidadosamente consideradas ao converter entre arquivos e objetos.

As operações comuns de arquivo alteram os metadados do arquivo, o que resulta na exclusão do objeto atual do S3 e na criação de um novo objeto do S3. A tabela a seguir mostra exemplos de operações de arquivo e o impacto nos objetos do S3.

Operação de arquivo	Impacto do objeto S3	Implicação da classe de armazenamento
Renomear arquivo	Substitui o objeto S3 existente e cria um novo objeto S3 para cada arquivo	Taxas de exclusão antecipada e taxas de recuperação podem ser aplicadas.
Renomear pasta	Substitui todos os objetos S3 existentes e cria novos objetos S3 para cada pasta e arquivos na estrutura de pastas	Taxas de exclusão antecipada e taxas de recuperação podem ser aplicadas.
Alterar file/folder permissões	Substitui o objeto S3 existente e cria um novo objeto S3 para cada arquivo ou pasta	Taxas de exclusão antecipada e taxas de recuperação podem ser aplicadas.
Alterar file/folder propriedade	Substitui o objeto S3 existente e cria um novo objeto S3 para cada arquivo ou pasta	Taxas de exclusão antecipada e taxas de recuperação podem ser aplicadas.
Anexar a um arquivo	Substitui o objeto S3 existente e cria um novo objeto S3 para cada arquivo	Taxas de exclusão antecipada e taxas de recuperação podem ser aplicadas.

Quando um arquivo é gravado no S3 File Gateway por um cliente NFS ou SMB, o File Gateway carrega os dados do arquivo para o Amazon S3 seguidos por seus metadados (propriedades, registros de data e hora etc.). O upload dos dados do arquivo cria um objeto do S3, e o upload dos metadados do arquivo atualiza os metadados do objeto do S3. Esse processo cria outra versão do objeto, resultando em duas versões de um objeto. Se o controle de versão do S3 estiver ativado, as duas versões serão armazenadas.

Quando um arquivo é modificado no S3 File Gateway por um cliente NFS ou SMB após ter sido carregado no Amazon S3, o S3 File Gateway carrega os dados novos ou modificados em vez de carregar o arquivo inteiro. A modificação do arquivo resulta na criação de uma nova versão do objeto S3.

Quando o S3 File Gateway carrega arquivos maiores, talvez seja necessário carregar partes menores do arquivo antes que o cliente termine de gravar no S3 File Gateway. Alguns motivos para isso incluem a liberação de espaço no cache ou uma alta taxa de gravações em um compartilhamento de arquivos. Isso pode resultar em várias versões de um objeto no bucket do S3.

Você deve monitorar seu bucket do S3 para determinar quantas versões de um objeto existem antes de configurar políticas de ciclo de vida para mover objetos para diferentes classes de armazenamento. Você deve configurar a expiração do ciclo de vida das versões anteriores para minimizar o número de versões de um objeto em seu bucket do S3. O uso da replicação da mesma região (SRR) ou da replicação entre regiões (CRR) entre buckets do S3 aumentará o armazenamento usado.