Análise do Amazon S3 – Análise de classe de armazenamento - Amazon Simple Storage Service

Análise do Amazon S3 – Análise de classe de armazenamento

Usando a análise de classe de armazenamento do Amazon S3, você pode analisar padrões de acesso de armazenamento para ajudar a decidir quando fazer a transição dos dados certos para a classe de armazenamento certa. Esse novo recurso de análise do Amazon S3 observa padrões de acesso de dados para ajudar a determinar quando fazer a transição do armazenamento STANDARD acessado menos frequentemente para a classe de armazenamento STANDARD_IA (IA, para acesso raro). Para obter mais informações sobre classes de armazenamento, consulte Uso de classes de armazenamento do Amazon S3.

Depois que a análise de classe de armazenamento observa os padrões incomuns de acesso a um conjunto filtrado de dados em um período, você pode usar os resultados da análise para ajudá-lo a melhorar suas políticas de ciclo de vida. Você pode configurar a análise de classe de armazenamento para analisar todos os objetos em um bucket. Se desejar, você pode configurar filtros para agrupar para objetos para análise por prefixo comum (ou seja, objetos que têm nomes que começam com uma string comum), por tags de objeto ou por prefixo e por tags. Você provavelmente achará que filtrar por grupos de objeto é a melhor maneira de aproveitar a análise de classe de armazenamento.

Importante

A análise da classe de armazenamento não fornece recomendações de transições para as classes de armazenamento ONEZONE_IA ou S3 GLACIER.

Você pode ter vários filtros vários de análise de classe de armazenamento por bucket, até 1.000, e receberá uma análise separada para cada filtro. As várias configurações de filtro permitem analisar grupos específicos de objetos para melhorar suas políticas de ciclo de vida que faz a transição de objetos para STANDARD_IA.

A análise de classe de armazenamento fornece visualizações de uso de armazenamento no console do Amazon S3 que são atualizadas diariamente. Também é possível exportar esses dados de uso diário para um bucket do S3 e visualizá-los em uma aplicação de planilha ou com ferramentas de business intelligence, como o Amazon QuickSight.

Há custos associados à análise da classe de armazenamento. Para obter informações sobre preços, consulte Gerenciamento e replicação Definição de preço do Amazon S3.

Como configurar a análise de classe de armazenamento?

Para configurar a análise de classe de armazenamento, configure os dados de objeto que você deseja analisar. Você pode configurar a análise de classe de armazenamento para fazer o seguinte:

  • Analisar o conteúdo completo de um bucket.

    Você receberá uma análise para todos os objetos no bucket.

  • Analisar objetos agrupados por prefixo e por tags.

    Você pode configurar filtros que agrupam objetos para análise por prefixo, por tags de objeto ou por uma combinação de prefixo e tags. Você recebe uma análise separada para cada filtro configurado. Você pode ter várias configurações de filtro por bucket, até 1.000.

  • Exportar dados de análise.

    Quando você configura a análise de classe de armazenamento para um bucket ou filtro, pode optar por exportar os dados de análise para um arquivo todo dia. A análise do dia é adicionada ao arquivo para formar um registro histórico de análise para o filtro configurado. O arquivo é atualizado diariamente no destino escolhido por você. Ao selecionar dados para exportar, especifique um bucket de destino e um prefixo de destino opcional onde o arquivo é gravado.

Você pode usar o console do Amazon S3, a API REST, a AWS CLI ou os AWS SDKs para configurar a análise de classe de armazenamento.

Como usar a análise de classe de armazenamento?

Você usa a análise de classe de armazenamento para observar os padrões de acesso de dados ao longo do tempo e coletar informações para ajudar a melhorar o gerenciamento de ciclo de vida do armazenamento STANDARD_IA. Depois de configurar um filtro, você começará a ver a análise de dados baseada no filtro no console do Amazon S3 entre 24 e 48 horas. Contudo, a análise de classe de armazenamento observa os padrões de acesso de um conjunto de dados filtrado por 30 dias ou mais para coletar informações para análise antes de oferecer um resultado. A análise continua sendo executada após o resultado inicial e atualiza o resultado à medida que os padrões de acesso mudam

Quando você configura um filtro pela primeira vez, o console do Amazon S3 pode levar algum tempo para analisar os seus dados.

A análise de classe de armazenamento observa os padrões de acesso de um conjunto de dados de objeto filtrado por 30 dias ou mais para coletar informações suficientes para a análise. Após a análise de classe de armazenamento coletar informações suficientes, você verá uma mensagem no console do Amazon S3 informando que a análise está incompleta.

Quando a análise de classe de armazenamento é executada em busca de objetos acessados raramente, o conjunto filtrado de objetos agrupados com base na data de upload no Amazon S3 é observado. A análise de classe de armazenamento determina se a faixa etária é acessada raramente observando os seguintes fatores do conjunto de dados filtrado:

  • Objetos na classe de armazenamento STANDARD que têm mais de 128 KB.

  • Quanto armazenamento total médio você tem por faixa etária.

  • Número médio de bytes transferidos para fora (não frequência) por faixa etária.

  • Os dados de exportação de análise incluem somente solicitações com dados pertinentes para a análise de classe de armazenamento. Isso pode causar diferenças no número de solicitações e nos bytes totais de upload e solicitação em comparação com o que é mostrado nas métricas de armazenamento ou rastreado por seus próprios sistemas internos.

  • As solicitações GET e PUT com falha não são contadas para análise. Contudo, você verá as solicitações com falha nas métricas de armazenamento.

Quanto armazenamento eu recuperei?

O console do Amazon S3 mostra em um gráfico quanto de armazenamento no conjunto de dados filtrado foi recuperado durante o período de observação.

Que porcentagem do armazenamento eu recuperei?

O console do Amazon S3 também mostra em um gráfico que porcentagem do armazenamento no conjunto de dados filtrado foi recuperado durante o período de observação.

Como mencionado anteriormente neste tópico, quando a análise de classe de armazenamento é executada em busca de objetos acessados raramente, o conjunto filtrado de objetos agrupados com base na data de upload no Amazon S3 é observado. A análise de classe de armazenamento usa as seguintes faixas etárias de objeto predefinidas:

  • Objetos do Amazon S3 com menos de 15 dias

  • Objetos do Amazon S3 de 15 a 29 dias

  • Objetos do Amazon S3 de 30 a 44 dias

  • Objetos do Amazon S3 de 45 a 59 dias

  • Objetos do Amazon S3 de 60 74 dias

  • Objetos do Amazon S3 de 75 a 89 dias

  • Objetos do Amazon S3 de 90 a 119 dias

  • Objetos do Amazon S3 de 120 a 149 dias

  • Objetos do Amazon S3 de 150 a 179 dias

  • Objetos do Amazon S3 de 180 a 364 dias

  • Objetos do Amazon S3 de 365 a 729 dias

  • Objetos do Amazon S3 com 730 dias ou mais

Geralmente, leva cerca de 30 dias para observar os padrões de acesso e coletar informações suficientes para gerar um resultado de análise. Pode levar mais de 30 dias, dependendo do padrão de acesso exclusivo dos dados. No entanto, depois de configurar um filtro, você começará a ver a análise de dados baseada no filtro no console do Amazon S3 entre 24 e 48 horas. Você pode visualizar a análise de acesso do objeto diariamente dividida por faixa etária no console do Amazon S3.

Quanto do armazenamento é acessado raramente?

O console do Amazon S3 mostra os padrões de acesso agrupados pelos grupos etários de objetos predefinidos. O texto Frequently accessed (Acessado com frequência) ou Infrequently accessed (Acessado com pouca frequência) mostrado é uma ajuda visual para ajudá-lo no processo de criação do ciclo de vida.

Como exportar dados de análise de classe de armazenamento?

Você pode optar por exportar os relatórios de análise de classe de armazenamento para um arquivo sem formatação de valores separados por vírgula (CSV). Os relatórios são atualizados diariamente e se baseiam nos filtros de faixa etária de objeto que você configura. Ao usar o console do Amazon S3, você pode escolher a opção de exportação de relatório quando cria um filtro. Ao selecionar dados para exportar, especifique um bucket de destino e um prefixo de destino opcional onde o arquivo é gravado. Você pode exportar os dados para um bucket de destino em uma conta diferente. O bucket de destino deve estar na mesma região que o bucket que você configura para ser analisado.

Você deve criar uma política de bucket no bucket de destino para conceder permissões ao Amazon S3 para verificar se a conta da AWS é proprietária do bucket e para gravar objetos no bucket no local definido. Para ver um exemplo de política, consulte Conceder permissões para inventário e análise do Amazon S3.

Após configurar relatórios de análise de classe de armazenamento, você começará a receber o relatório exportado diariamente após 24 horas. Depois disso, o Amazon S3 continuará monitorando e fornecendo exportações diárias.

Você pode abrir o arquivo CSV em uma aplicação de planilha ou importar o arquivo para outras aplicações, como o Amazon QuickSight. Para obter informações sobre como usar os arquivos do Amazon S3 com o Amazon QuickSight, consulte Criar um conjunto de dados usando arquivos do Amazon S3 no Guia do usuário do Amazon QuickSight.

Os dados no arquivo exportado são classificados por data na faixa etária de objeto conforme exibido nos exemplos a seguir. Se a classe de armazenamento é STANDARD, a linha também contém dados para as colunas ObjectAgeForSIATransition e RecommendedObjectAgeForSIATransition.


        Captura de tela.

        Captura de tela.

No final do relatório, a faixa etária de objeto é fornecida como ALL. As linhas ALL contêm totais cumulativos, incluindo objetos menores que 128 KB, para todas as faixas etárias desse dia.


        Captura de tela.

A próxima seção descreve as colunas usadas no relatório.

Layout de arquivos exportados

A tabela a seguir descreve o layout do arquivo exportado.

Use as barras de rolagem para ver o restante da tabela.

Layout de arquivo de exportação de análise de classe de armazenamento do Amazon S3
Nome da coluna Dimensão/métrica DataType Descrição
Data Dimensão String Data de quando o registro foi processado. O formato é MM-DD-AAAA.
ConfigId Dimensão String

Valor inserido como o nome do filtro ao adicionar a configuração de filtro.

Filtro Dimensão String

Valores de filtro completos conforme configurados ao adicionar a configuração de filtro.

StorageClass Dimensão String

Classe de armazenamento dos dados.

ObjectAge Dimensão String

Faixa etária dos objetos no filtro. Além dos 12 grupos de idades diferentes (0-14 dias, 15-29 dias, 30-44 dias, 45-59 dias, 60-74 dias, 75-89 dias, 90-119 dias, 120-149 dias, 150-179 dias, 180-364 dias, 365-729 dias, 730 dias ou mais) para objetos de 128 KB ou mais, há um valor adicional "ALL", que representa todos os grupos de idades.

ObjectCount Métrica Inteiro

O número total de objetos contados por classe de armazenamento para o dia na faixa etária. Para AgeGroup='ALL', o valor é a contagem total de objetos para todas as faixas etárias do dia.

DataUploaded_MB Métrica telefone

Total de dados em MB carregados por classe de armazenamento para o dia na faixa etária. Para AgeGroup='ALL', o valor é a contagem total de uploads em MB para todas as faixas etárias do dia. Você não verá a atividade de multipart upload de objetos em seus dados de exportação porque as solicitações de multipart upload não têm atualmente informações de classe de armazenamento.

Storage_MB Métrica telefone

Armazenamento total em MB por classe de armazenamento para o dia na faixa etária. Para AgeGroup='ALL', o valor é a contagem de armazenamento total em MB para todas as faixas etárias do dia.

DataRetrieved_MB Métrica telefone

Dados transferidos de em MB por classe de armazenamento com solicitações GET para o dia na faixa etária. Para AgeGroup='ALL', o valor é o total de dados transferidos de em MB com solicitações GET para todas as faixas etárias do dia.

GetRequestCount Métrica Inteiro

Número de solicitações GET feitas por classe de armazenamento para o dia na faixa etária. Para AgeGroup='ALL', o valor representa a contagem total de solicitações GET para todas as faixas etárias do dia.

CumulativeAccessRatio Métrica telefone

Proporção cumulativa de acesso. Essa proporção é usada para representar o uso/quantidade de bytes em qualquer faixa etária específica para ajudar a determinar se uma faixa etária está qualificada para transição a STANDARD_IA.

ObjectAgeForSIATransition Métrica Inteiro em dias

Esse valor existe somente onde AgeGroup=’ALL’ e classe de armazenamento = STANDARD. Representa a idade observada para a transição a STANDARD_IA.

RecommendedObjectAgeForSIATransition Métrica Inteiro em dias

Esse valor existe somente onde AgeGroup=’ALL’ e classe de armazenamento = STANDARD. Representa a idade do objeto em dias para considerar a transição a STANDARD_IA após ObjectAgeForSIATransition estabilizar.