Noções básicas sobre o Amazon S3 Storage Lens - Amazon Simple Storage Service
Noções básicas sobre o S3 Storage Lens

Noções básicas sobre o Amazon S3 Storage Lens

Importante

O Amazon S3 agora aplica criptografia do lado do servidor com chaves gerenciadas do Amazon S3 (SSE-S3) como nível básico de criptografia para cada bucket no Amazon S3. Desde 5 de janeiro de 2023, todos os novos uploads de objetos para o Amazon S3 são automaticamente criptografados sem custo adicional e sem impacto na performance. O status de criptografia automática para a configuração de criptografia padrão do bucket do S3 e para novos uploads de objetos está disponível em logs do AWS CloudTrail, no Inventário do S3, na Lente de Armazenamento do S3, no console do Amazon S3 e como cabeçalho adicional de resposta da API do Amazon S3 na AWS Command Line Interface e em AWS SDKs. Para obter mais informações, consulte Perguntas frequentes sobre criptografia padrão.

A Lente de Armazenamento do Amazon S3 é um recurso de análise de armazenamento em nuvem que você pode usar para obter visibilidade em toda a organização sobre o uso e a atividade do armazenamento de objetos. Use as métricas da Lente de Armazenamento do S3 para gerar insights resumidos, como descobrir quanto armazenamento você tem em toda a organização ou quais são os buckets e prefixos que mais crescem. Você também pode usar as métricas da Lente de Armazenamento do S3 para identificar oportunidades de otimização de custos, implementar práticas recomendadas de proteção e segurança de dados, e melhorar a performance das workloads de aplicações. Por exemplo, você pode identificar buckets que não têm regras de Ciclo de Vida do S3 para expirar multipart uploads incompletos com mais de 7 dias. Você também pode identificar buckets que não estão seguindo as práticas recomendadas de proteção de dados, como usar a Replicação do S3 ou o Versionamento do S3. A Lente de Armazenamento do S3 também analisa as métricas para fornecer recomendações contextuais que você pode usar para otimizar os custos de armazenamento e aplicar as práticas recomendadas de proteção de dados.

A Lente de Armazenamento do S3 agrega suas métricas e exibe as informações na seção Account snapshot (Snapshot da conta) na página Buckets do console do Amazon S3. A Lente de Armazenamento do S3 também oferece um painel interativo para visualizar insights e tendências, sinalizar discrepâncias e receber recomendações para otimizar os custos de armazenamento e aplicar as práticas recomendadas de proteção de dados. O painel tem opções de detalhamento para gerar e visualizar insights no nível da organização, conta, Região da AWS, classe de armazenamento, bucket, prefixo ou grupo de Lente de Armazenamento. Você também pode enviar uma exportação diária de métricas em CSV ou no formato Parquet para um bucket do S3. Você pode criar e gerenciar painéis de Lente de Armazenamento do S3 usando o console do Amazon S3, AWS Command Line Interface (AWS CLI), AWS SDKs ou API REST do Amazon S3.

Conceitos e terminologia da Lente de Armazenamento do S3

Esta seção contém a terminologia e os conceitos essenciais para entender e usar a Lente de Armazenamento do Amazon S3.

Configuração de painel

A Lente de Armazenamento do S3 requer uma configuração de painel que contém as propriedades necessárias para agregar métricas em seu nome para um único painel ou exportação. Ao criar uma configuração, escolha o nome do painel e a região inicial, que não poderão ser alterados depois de criar o painel. Opcionalmente, você pode adicionar etiquetas e configurar uma exportação de métricas em formato CSV ou Parquet.

Na configuração do painel, defina também o escopo do painel e a seleção de métricas. O escopo pode incluir todo o armazenamento da conta da sua organização ou seções que são filtradas por região, bucket e conta. Ao configurar a seleção de métricas, escolha entre métricas gratuitas, ou compre métricas e recomendações avançadas por um custo adicional. Com métricas e recomendações avançadas, você tem acesso a métricas e recursos adicionais. Esses recursos incluem categorias de métricas avançadas, agregação por prefixo, recomendações contextuais e publicação no Amazon CloudWatch. Para obter mais informações sobre a definição de preço do S3 Storage Lens, consulte Definição de preço do Amazon S3.

Painel padrão

O painel padrão do S3 Storage Lens no console é chamado default-account-dashboard. O S3 pré-configura esse painel para visualizar um resumo de insights e tendências para toda a sua conta e atualiza esse resumo diariamente no console do S3. Você não pode modificar o escopo de configuração do painel padrão, mas pode atualizar a seleção de métricas gratuitas para métricas e recomendações avançadas. Você pode configurar a exportação opcional de métricas ou até mesmo desabilitar o painel. No entanto, você não pode excluir o painel padrão.

nota

Se você desabilitar o painel padrão, ele deixará de ser atualizado. Você não receberá mais nenhuma métrica diária nova no painel da Lente de Armazenamento do S3, a exportação de métricas ou o snapshot da conta na página Buckets do S3. Se o painel usar métricas e recomendações avançadas, você não receberá mais cobranças. Você ainda pode ver dados históricos no painel durante o período de validade de 14 dias para consultas de dados. Esse período é de 15 meses com a opção de métricas e recomendações avançadas habilitada. Para acessar dados históricos, reative o painel dentro do período de validade.

Painéis

Você pode criar painéis adicionais da Lente de Armazenamento do S3 e definir o escopo deles por Regiões da AWS, bucket do S3 ou conta (para o AWS Organizations). Ao criar ou editar um painel da Lente de Armazenamento do S3, defina o escopo do painel e a seleção de métricas. A Lente de Armazenamento do S3 oferece métricas gratuitas, bem como métricas e recomendações avançadas que podem ser adquiridas por um custo adicional. Com métricas e recomendações avançadas, você pode acessar métricas e recursos adicionais para obter informações sobre seu armazenamento. Elas incluem categorias de métricas avançadas, agregação por prefixo, recomendações contextuais e publicação no Amazon CloudWatch. Para obter mais informações sobre a definição de preço do S3 Storage Lens, consulte Definição de preço do Amazon S3.

Você também pode desativar ou excluir painéis. Se você desabilitar um painel, ele não será mais atualizado e você não receberá mais nenhuma nova métrica diária. Você ainda pode ver dados históricos durante o período de validade de 14 dias. Esse período é de 15 meses com a opção de métricas e recomendações avançadas habilitada para esse painel. Para acessar dados históricos, reative o painel dentro do período de validade.

Se você excluir seu painel, você perderá todas as configurações do painel. Você não receberá mais nenhuma nova métrica diária e também perderá o acesso aos dados históricos associados a esse painel. Se você quiser acessar os dados históricos de um painel excluído, você deve criar outro painel com o mesmo nome na mesma região inicial.

nota

  • Você pode usar o S3 Storage Lens para criar até 50 painéis por região inicial.

  • Os painéis por organização só podem ser limitados a um escopo regional.

Snapshot da conta

O Account snapshot (Snapshot da conta) da Lente de Armazenamento do S3 resume as métricas do painel padrão e exibe o armazenamento total, a contagem de objetos e o tamanho médio dos objetos na página Buckets do console do S3. Esse snapshot de conta oferece acesso rápido a insights sobre o armazenamento sem ter que sair da página Buckets. O snapshot da conta também fornece acesso com um clique ao painel interativo da Lente de Armazenamento do S3.

Você pode usar o painel para visualizar insights e tendências, sinalizar discrepâncias e receber recomendações para otimizar os custos de armazenamento e aplicar as práticas recomendadas de proteção de dados. O painel tem opções de detalhamento para gerar insights por organização, conta, bucket, objeto ou prefixo. Você também pode enviar um arquivo exportado em formato CSV ou Parquet das métricas uma vez por dia para um bucket do S3.

Não é possível modificar o escopo do default-account dashboard (painel padrão da conta) porque ele está vinculado ao Account snapshot (Snapshot da conta). No entanto, você pode fazer upgrade da seleção de métricas no painel padrão da conta de métricas gratuitas para métricas e recomendações avançadas pagas. Depois de fazer upgrade, você pode exibir todas as solicitações, bytes carregados e bytes baixados no Account snapshot (Snapshot da conta) da Lente de Armazenamento do S3.

nota

Se você desabilitar o painel padrão, o Account snapshot (Snapshot da conta) não será mais atualizado. Para continuar exibidos as métricas no Account snapshot (Snapshot da conta), você pode reativar o painel padrão da conta.

Exportação de métricas

Uma exportação de métricas do S3 Storage Lens é um arquivo que contém todas as métricas identificadas na configuração do S3 Storage Lens. Essas informações são geradas diariamente em formato CSV ou Parquet e enviadas para um bucket do S3. Você pode usar a exportação de métricas para realizar análises adicionais usando a ferramenta de métricas de sua escolha. O bucket do S3 para a exportação de métricas deve estar na mesma região da configuração do S3 Storage Lens. Você pode gerar uma exportação de métricas da Lente de Armazenamento do S3 pelo console do S3 editando a configuração do painel. Você também pode configurar uma exportação de métricas usando a AWS CLI e AWS SDKs.

Região inicial

A região inicial é a Região da AWS em que todas as métricas da Lente de Armazenamento do S3 para determinada configuração de painel são armazenadas. Você deve escolher uma região inicial ao criar uma configuração de painel da Lente de Armazenamento do S3. Depois de escolher uma região inicial, não será possível alterá-la. Além disso, se você estiver criando um grupo da Lente de Armazenamento, recomendamos que você escolha a mesma região inicial do painel da Lente de Armazenamento.

nota

Você pode escolher uma das seguintes regiões como região inicial:

  • Leste dos EUA (Norte da Virgínia): us-east-1

  • US East (Ohio) – us-east-2

  • US West (N. California) – us-west-1

  • US West (Oregon) – us-west-2

  • Asia Pacific (Mumbai) – ap-south-1

  • Ásia-Pacífico (Seul) – ap-northeast-2

  • Asia Pacific (Singapore) – ap-southeast-1

  • Ásia-Pacífico (Sydney) – ap-southeast-2

  • Ásia-Pacífico (Tóquio) (ap-northeast-1)

  • Canada (Central) – ca-central-1

  • China (Pequim): cn-north-1

  • China (Ningxia): cn-northwest-1

  • Europe (Frankfurt) – eu-central-1

  • Europe (Ireland) – eu-west-1

  • Europe (London) – eu-west-2

  • Europe (Paris) – eu-west-3

  • Europe (Stockholm) – eu-north-1

  • South America (São Paulo) – sa-east-1

Período de retenção

As métricas da Lente de Armazenamento do S3 são mantidas para que você possa ver tendências históricas e comparar diferenças na atividade e no armazenamento ao longo do tempo. Você pode usar as métricas do Amazon S3 Storage Lens para consultar o histórico de tendências e comparar diferenças no uso e na atividade do armazenamento ao longo do tempo.

Todas as métricas do S3 Storage Lens são mantidas durante um período de 15 meses. No entanto, as métricas só estão disponíveis para consultas durante um período específico, que depende da sua seleção de métricas. Essa duração não pode ser modificada. As métricas gratuitas estão disponíveis para consultas por 14 dias, e as métricas avançadas estão disponíveis para consultas por 15 meses.

Categorias de métricas

Nos níveis gratuito e avançado, as métricas da Lente de Armazenamento do S3 estão organizadas em categorias que se alinham aos principais casos de uso, como otimização de custos e proteção de dados. As métricas gratuitas incluem métricas de resumo, otimização de custos, proteção de dados, gerenciamento de acesso, performance e eventos. Ao atualizar para métricas e recomendações avançadas, você pode ativar métricas adicionais de otimização de custos e proteção de dados que podem ser usadas para reduzir ainda mais os custos de armazenamento do S3 e garantir que seus dados estejam protegidos. Você também pode ativar métricas de atividade e métricas de códigos de status detalhados que pode usar para melhorar a performance dos fluxos de trabalho de aplicações.

A lista a seguir mostra todas as categorias de métricas gratuitas e avançadas. Para obter uma lista completa das métricas individuais incluídas em cada categoria, consulte o Glossário de métricas.

Métricas de resumo

As métricas de resumo fornecem informações gerais sobre seu armazenamento do S3, incluindo o total de bytes armazenados e a contagem de objetos.

Métricas de otimização de custos

As métricas de otimização de custos fornecem informações que você pode usar para gerenciar e otimizar seus custos de armazenamento. Por exemplo, você pode identificar buckets com multipart uploads que estão incompletos há mais de 7 dias.

Com as métricas e recomendações avançadas, você tem acesso a métricas avançadas de otimização de custos. Essas métricas incluem métricas de contagem de regras do Ciclo de Vida do S3 que você pode usar para obter contagens de regras do Ciclo de Vida do S3 para validade e transição por bucket.

Métricas de proteção de dados

As métricas de proteção de dados fornecem informações sobre recursos de proteção de dados, como criptografia e Versionamento do S3. Você pode usar essas métricas para identificar buckets que não estão seguindo as práticas recomendadas de proteção de dados. Por exemplo, você pode identificar buckets que não usam criptografia padrão com chaves do AWS Key Management Service (SSE-KMS) ou que não usam o Versionamento do S3.

Com as métricas e recomendações avançadas, você tem acesso a métricas avançadas de proteção de dados. Essas métricas incluem métricas de contagem de regras de replicação por bucket.

Métricas de gerenciamento de acesso

As métricas de gerenciamento de acesso fornecem informações sobre a Propriedade de Objeto do S3. Você pode usar essas métricas para ver as configurações de Propriedade de Objeto de seus buckets.

Métricas de eventos

As métricas de eventos fornecem informações sobre as Notificações de Eventos do S3. Com as métricas de eventos, você pode ver quais buckets têm as Notificações de Eventos do S3 configuradas.

Métricas de performance

As métricas de performance fornecem informações sobre a Aceleração de Transferência do S3. Com as métricas de performance, você pode ver quais buckets têm a Aceleração de Transferência ativada.

Métricas de atividade (avançadas)

Se você atualizar seu painel para métricas e recomendações avançadas, poderá ativar métricas de atividade. As métricas de atividade fornecem detalhes sobre como seu armazenamento é solicitado (por exemplo, Todas as solicitações, Obter solicitações, Colocar solicitações), Bytes carregados ou baixados e erros.

As métricas de atividade em nível de prefixo podem ser usadas para ajudar a determinar quais prefixos estão sendo usados com pouca frequência, a fim de fazer a transição para uma classe de armazenamento mais ideal usando o S3 Lifecycle.

Métricas de códigos de status detalhados (avançadas)

Se você atualizar seu painel para métricas e recomendações avançadas, poderá ativar métricas detalhadas de código de status. Métricas detalhadas de código de status fornecem informações para códigos de status HTTP, como 403 Forbidden e 503 Service Unavailable, que você pode usar para solucionar problemas de acesso ou desempenho. Por exemplo, você pode observar a métrica 403 Forbidden error count (Contagem de erros 403 Proibido) para identificar workloads que estão acessando buckets sem as permissões corretas em vigor.

Métricas de código de status detalhadas em nível de prefixo podem ser usadas para obter uma melhor compreensão das ocorrências de código de status HTTP por prefixo. Por exemplo, as métricas de contagem de erros 503 permitem identificar prefixos que recebem solicitações de controle de utilização durante a ingestão de dados.

Recomendações

O S3 Storage Lens fornece recomendações automatizadas para ajudá-lo a otimizar seu armazenamento. As recomendações são colocadas contextualmente ao lado de métricas relevantes no painel do S3 Storage Lens. Os dados históricos não são elegíveis para recomendações porque as recomendações são relevantes para o que está acontecendo no período mais recente. As recomendações só aparecem quando são relevantes.

As recomendações do S3 Storage Lens vêm nos seguintes formulários:

  • Sugestões

    As sugestões alertam as tendências no armazenamento e atividades que podem indicar uma oportunidade de otimização de custos de armazenamento ou uma prática recomendada de proteção de dados. Você pode usar os tópicos sugeridos no Guia do usuário do Amazon S3 e no painel de Lente de Armazenamento do S3 para especificar mais detalhes sobre regiões, buckets ou prefixos específicos.

  • Chamadas

    Chamadas são recomendações que alertam sobre anomalias interessantes no armazenamento e atividade ao longo de um período, as quais podem requerer mais atenção ou monitoramento.

    • Chamadas discrepantes

      O S3 Storage Lens fornece chamadas para métricas que são discrepantes, com base em sua tendência recente de 30 dias. A discrepância é calculada usando uma pontuação padrão, também conhecida como pontuação z. Nessa pontuação, a métrica do dia atual é subtraída da média dos últimos 30 dias dessa métrica. A métrica do dia atual é então dividida pelo desvio padrão dessa métrica nos últimos 30 dias. A pontuação resultante geralmente é entre -3 e +3. Este número representa o número de desvios padrão entre a métrica do dia atual e a média.

      O S3 Storage Lens considera métricas com uma pontuação >2 ou <-2 como discrepâncias porque são maiores ou inferiores a 95% dos dados normalmente distribuídos.

    • Chamadas de alterações significativas

      A chamada de alteração significativa se aplica a métricas que devem ser alteradas com menos frequência. Portanto, ela é definida para uma sensibilidade maior do que o cálculo de discrepância, que geralmente está na faixa de +/- 20% em relação ao dia, semana ou mês anterior.

      Como lidar com chamadas em seu armazenamento e atividade — se você receber uma chamada de alteração significativa, isso não será necessariamente um problema. A chamada pode ser o resultado de uma mudança prevista no seu armazenamento. Por exemplo, você pode ter adicionado recentemente um grande número de novos objetos, excluído um grande número de objetos ou fez alterações planejadas semelhantes.

      Se você vir uma chamada de alteração significativa no seu painel, tome nota e determine se ela pode ser explicada por circunstâncias recentes. Caso contrário, use o painel do S3 Storage Lens para fazer drill-down a fim de obter mais detalhes para entender as regiões, buckets ou prefixos específicos que estão gerando a flutuação.

  • Lembretes

    Os lembretes fornecem insights sobre como o Amazon S3 funciona. Eles podem ajudar você a aprender mais sobre maneiras de usar os recursos do S3 para reduzir os custos de armazenamento ou aplicar as práticas recomendadas de proteção de dados.

Seleção de métricas

O S3 Storage Lens oferece duas seleções de métricas que você pode escolher para seu painel e exportar: métricas gratuitas e métricas e recomendações avançadas.

  • Métricas gratuitas

    O S3 Storage Lens oferece métricas gratuitas para todos os painéis e configurações. As métricas gratuitas incluem métricas relevantes para seu armazenamento, como o número de buckets e objetos em sua conta. As métricas gratuitas também incluem métricas baseadas em casos de uso (por exemplo, métricas de otimização de custos e proteção de dados) que você pode usar para investigar se seu armazenamento está configurado de acordo com as práticas recomendadas do S3. Todas as métricas gratuitas são coletadas diariamente. Os dados ficam disponíveis para consultas por 14 dias. Para obter mais informações sobre quais métricas estão disponíveis com métricas gratuitas, consulte o Glossário de métricas de lente de armazenamento do Amazon S3.

  • Métricas e recomendações avançadas

    O S3 Storage Lens oferece métricas gratuitas para todos os painéis e configurações, bem como a opção de atualizar para métricas e recomendações avançadas. Aplicam-se cobranças adicionais de . Para obter mais informações, consulte Definição de preço do Amazon S3.

    As métricas e recomendações avançadas incluem todas as métricas gratuitas e métricas adicionais, como métricas avançadas de proteção de dados e otimização de custos, métricas de atividade e métricas de códigos de status detalhados. As métricas e recomendações avançadas também fornecem recomendações para ajudar a otimizar o armazenamento. As recomendações são colocadas contextualmente ao lado de métricas relevantes no painel.

    As métricas e recomendações avançadas incluem os seguintes recursos:

    • Métricas avançadas: gere métricas adicionais. Para obter uma lista completa das categorias de métricas avançadas, consulte Categorias de métricas. Para obter uma lista completa das métricas, consulte Glossário de métricas de lente de armazenamento do Amazon S3.

    • Publicação do Amazon CloudWatch — publica métricas de Lente de Armazenamento do S3 no CloudWatch para criar uma visão unificada da sua integridade operacional nos painéis do CloudWatch. Também é possível usar operações de API e recursos do CloudWatch, como alarmes e ações acionadas, matemática métrica e detecção de anomalias, para monitorar e realizar ações sobre as métricas da Lente de Armazenamento do S3. Para ter mais informações, consulte Monitorar métricas do S3 Storage Lens no CloudWatch.

    • Agregação de prefixo — coleta métricas no nível do prefixo. A ativação da agregação de prefixo estende todas as métricas incluídas na configuração do painel no nível do prefixo. As métricas são geradas apenas para prefixos que atendem ao limite configurado. Observe que as métricas aplicáveis no nível do prefixo estão disponíveis com agregação de prefixo, exceto para configurações no nível do bucket e métricas de contagem de regras. As métricas por prefixo não são publicadas no CloudWatch.

    • Agregação do grupo da Lente de Armazenamento: coleta métricas no nível do grupo da Lente de Armazenamento. Depois de ativar Métricas e recomendações avançadas e Agregação de grupos da Lente de Armazenamento, você poderá especificar quais grupos da Lente de Armazenamento incluir ou excluir do painel da Lente de Armazenamento. Pelo menos um grupo da Lente de Armazenamento deve ser especificado. Os grupos da Lente de Armazenamento especificados também devem residir na região inicial designada na conta do painel. As métricas em nível de grupo de Lente de Armazenamento não são publicadas no CloudWatch.

    Todas as métricas avançadas são coletadas diariamente. Os dados ficam disponíveis para consulta por até 15 meses. Para obter mais informações sobre as métricas de armazenamento agregadas pela Lente de Armazenamento do S3, consulte Glossário de métricas de lente de armazenamento do Amazon S3.

    nota

    As recomendações só estão disponíveis quando você usa o painel da Lente de Armazenamento do S3 no console do Amazon S3.

S3 Storage Lens e AWS Organizations

O AWS Organizations é um Serviço da AWS que ajuda você a agregar todas as suas Contas da AWS em uma hierarquia da organização. A Lente de Armazenamento do Amazon S3 funciona com o AWS Organizations para fornecer uma visão única do armazenamento de objetos e da atividade em todo o armazenamento do Amazon S3.

Para ter mais informações, consulte Usar o Amazon S3 Storage Lens com AWS Organizations.

  • Acesso confiável

    Usando a conta de gerenciamento da sua organização, você deve habilitar o acesso confiável para a Lente de Armazenamento do S3 a fim de agregar métricas de armazenamento e dados de uso para todas as contas membros da sua organização. Depois, você pode criar painéis ou exportações para sua organização usando sua conta de gerenciamento ou dando acesso de administrador delegado a outras contas da organização.

    Você pode desativar o acesso confiável para o S3 Storage Lens a qualquer momento, o que impede o S3 Storage Lens de agregar métricas para sua organização.

  • Administrador delegado

    Você pode criar painéis e métricas para a Lente de Armazenamento do S3 para sua organização usando sua conta de gerenciamento do AWS Organizations ou concedendo acesso de administrador delegado a outras contas em sua organização. Você pode cancelar o registro de administradores delegados a qualquer momento. O cancelamento do registro de um administrador delegado também impede automaticamente que todos os painéis da organização criados por esse administrador delegado agreguem novas métricas de armazenamento.

Para obter mais informações, consulte Amazon S3 Storage Lens e AWS Organizations no Guia do usuário do AWS Organizations.

Funções vinculadas ao serviço do Amazon S3 Storage Lens

Juntamente com o acesso confiável do AWS Organizations, o Amazon S3 Storage Lens usa funções vinculadas ao serviço do AWS Identity and Access Management (IAM). Uma função vinculada a serviço é um tipo exclusivo de função do IAM vinculada diretamente ao S3 Storage Lens. As funções vinculadas ao serviço são predefinidas pela Lente de Armazenamento do S3 e incluem todas as permissões necessárias para coletar métricas diárias de armazenamento e atividades de contas de membros na sua organização.

Para obter mais informações, consulte Usar funções vinculadas de serviço ao Amazon S3 Storage Lens.