Inventario de Amazon S3 - Amazon Simple Storage Service

Inventario de Amazon S3

Amazon S3 Inventory es una de las herramientas que Amazon S3 proporciona para ayudarlo a administrar el almacenamiento. Puede utilizarlo para auditar e informar sobre el estado de replicación y cifrado de los objetos para sus necesidades empresariales, de conformidad y legales. Puede simplificar o acelerar los flujos de trabajo empresariales y los trabajos relacionados con los macrodatos mediante Amazon S3 Inventory, que ofrece una alternativa programada a la operación de la API List sincrónica de Amazon S3. Amazon S3 Inventory no utiliza la API List para auditar los objetos y no afecta a la tasa de solicitudes del bucket.

Amazon S3 Inventory proporciona archivos de salida con formato de valores separados por comas (CSV), Apache optimized row columnar (ORC) o Apache Parquet que muestran diaria o semanalmente los objetos y los metadatos correspondientes en un bucket de S3 o un prefijo compartido (objetos con nombres que comienzan con la misma cadena). Si es semanal, se genera un informe cada domingo (UTC) después del informe inicial. Para obtener más información acerca de los precios de Amazon S3 Inventory, consulte Precios de Amazon S3.

Puede configurar varias listas de inventario para un bucket. Puede configurar qué metadatos de objeto incluir en el inventario, si enumerar todas las versiones de un objeto o solo las actualizadas, si almacenar el resultado del archivo con la lista de inventario y si generar el inventario con una frecuencia diaria o semanal. También puede especificar que el archivo con la lista de inventario esté cifrado.

Puede consultar Amazon S3 Inventory con el lenguaje SQL estándar mediante Amazon Athena, Amazon Redshift Spectrum y otras herramientas, como Presto, Apache Hive y Apache Spark. Puede utilizar Athena para ejecutar consultas en sus archivos de inventario. Puede utilizar el servicio para consultas de Amazon S3 Inventory en todas las regiones donde Athena está disponible.

Buckets de origen y destino

El bucket para el que el inventario enumera los objetos se denomina bucket de origen. El bucket en el que se almacena el archivo con la lista del inventario se denomina bucket de destino.

Bucket de origen

El inventario enumera los objetos almacenados en el bucket de origen. Puede obtener listas de inventario para todo un bucket o filtradas por prefijo (del nombre de la clave de objeto).

El bucket de origen:

  • Contiene los objetos enumerados en el inventario.

  • Contiene la configuración del inventario.

Bucket de destino

Los archivos con la lista de Amazon S3 Inventory se escriben en el bucket de destino. Para agrupar todos los archivos de la lista de inventario en una ubicación común del bucket de destino, puede especificar un prefijo de destino (nombre de la clave de objeto) en la configuración del inventario.

El bucket de destino:

  • Contiene las listas de archivos de inventario.

  • Contiene los archivos de manifiesto que muestran todas las listas de inventario en archivos almacenadas en el bucket de destino. Para obtener más información, consulte Manifiesto de inventario.

  • Debe tener una política de bucket para conceder a Amazon S3 permiso para verificar la propiedad del bucket y permiso para escribir archivos en el bucket.

  • Debe estar en la misma Región de AWS que el bucket de origen.

  • Puede ser igual que la del bucket de origen.

  • Puede ser propiedad de una Cuenta de AWS diferente a la cuenta que es propietaria del bucket de origen.

Lista de Amazon S3 Inventory

Un archivo de lista de inventario contiene una lista de los objetos del bucket de origen y los metadatos para cada objeto. Las listas de inventario se almacenan en el bucket de destino como un archivo CSV comprimido con GZIP, como un archivo Apache optimized row columnar (ORC) comprimido con ZLIB o como un archivo Apache Parquet comprimido con Snappy. Los objetos se ordenan en orden ascendente en función de los nombres de las claves.

La lista del inventario contiene una enumeración de los objetos en un bucket de S3 y los siguientes metadatos para cada objeto enumerado:

  • Nombre del bucket: el nombre del bucket para el que se realiza el inventario.

  • Nombre de clave: el nombre de la clave de objeto (o clave) que identifica unívocamente el objeto del bucket. Cuando se utiliza el formato de archivo CSV, el nombre la clave se codifica como URL y se debe descodificar antes de poder utilizarlo.

  • ID de versión: el ID de la versión del objeto. Si activa el control de versiones en un bucket, Amazon S3 asigna un número de versión a los objetos que agregue a dicho bucket. Para obtener más información, consulte Usar el control de versiones en buckets de S3. (este campo no estará incluido si la lista solo refleja la versión actual de los objetos).

  • IsLatest: estará establecido en True si el objeto es la versión actual del objeto. (este campo no estará incluido si la lista solo refleja la versión actual de los objetos).

  • Tamaño: el tamaño del objeto en bytes.

  • Fecha de la última modificación: la fecha de creación del objeto o la última fecha de modificación, la última existente.

  • ETag: la etiqueta de entidad es un hash del objeto. que solo refleja los cambios en su contenido, no en los metadatos. La ETag puede ser un resumen MD5 de los datos del objeto. Esto dependerá del método de creación del objeto y del tipo de cifrado.

  • Clase de almacenamiento: la clase de almacenamiento utilizado para almacenar el objeto. Para obtener más información, consulte Uso de las clases de almacenamiento de Amazon S3.

  • Marcador de carga multiparte: establecido en True si el objeto se cargó mediante una carga multiparte. Para obtener más información, consulte Carga y copia de objetos con la carga multiparte.

  • Marcador de eliminación: establecido en True, si el objeto es un marcador de eliminación. Para obtener más información, consulte Usar el control de versiones en buckets de S3. (Este campo se añade automáticamente al informe si este se ha configurado para que incluya todas las versiones de los objetos).

  • Estado de reproducción: establecido en PENDING, COMPLETED, FAILED o REPLICA. Para obtener más información, consulte Obtención de información del estado de replicación.

  • Estado de cifrado: establecido en SSE-S3, SSE-C, SSE-KMS o NOT-SSE. El estado de cifrado del servidor para SSE-S3, SSE-KMS y SSE con claves proporcionadas por el cliente (SSE-C). Un estado de NOT-SSE significa que el objeto no está cifrado con el cifrado del servidor. Para obtener más información, consulte Protección de datos mediante cifrado.

  • Fecha de retención del bloqueo del objeto de S3: la fecha hasta la que no se puede eliminar un objeto bloqueado. Para obtener más información, consulte Usar Bloqueo de objetos de S3.

  • Modo de bloqueo del objeto de S3: establecido en Governance o Compliance para los objetos que están bloqueados. Para obtener más información, consulte Usar Bloqueo de objetos de S3.

  • Estado de retención legal de bloqueo de objetos de S3: establecido en On si se ha aplicado una retención legal a un objeto. De lo contrario, se establece en Off. Para obtener más información, consulte Usar Bloqueo de objetos de S3.

  • Capa de acceso de S3 Intelligent-Tiering: capa de acceso (frecuente o infrecuente) del objeto si está almacenado en S3 Intelligent-Tiering. Para obtener más información, consulte Clase de almacenamiento para optimizar automáticamente los datos con patrones de acceso cambiantes o desconocidos.

  • Estado de clave de bucket de S3: establecido en ENABLED o DISABLED. Indica si el objeto utiliza una clave de Bucket de S3 para el cifrado del lado del servidor. Para obtener más información, consulte Uso de claves de bucket de Amazon S3.

  • Algoritmo de suma de comprobación: indica el algoritmo utilizado para crear la suma de comprobación del objeto.

Le recomendamos que cree una política del ciclo de vida que elimine las listas de inventario antiguas. Para obtener más información, consulte Administración del ciclo de vida del almacenamiento.

Consistencia del inventario

Puede que en cada lista de inventario no aparezcan todos sus objetos. La lista de inventario ofrece consistencia final para los PUT tanto de nuevos objetos como de objetos sobrescritos, además de los DELETE. Las listas de inventario son una instantánea continua de los elementos de un bucket, que son finalmente coherentes (es decir, que la lista podría no incluir los objetos agregados o eliminados más recientemente).

Para comprobar el estado del objeto antes de realizar ninguna acción sobre el mismo, le recomendamos que realice una solicitud HEAD Object con la API REST para recuperar los metadatos del objeto, o que compruebe las propiedades del mismo en la consola de Amazon S3. También puede verificar los metadatos del objeto con la AWS CLI o los SDK de AWS. Para obtener más información, consulte el tema sobre el objeto HEAD en la referencia de la API de Amazon Simple Storage Service.

Para obtener más información sobre cómo trabajar con Amazon S3 Inventory, consulte los siguientes temas.