Inventario automático de AWS los recursos en varias cuentas y regiones

PDF

Creado por Matej Macek (AWS)

Resumen

Este patrón describe un enfoque automatizado para mantener un inventario integral de AWS recursos en varias cuentas y. Regiones de AWS Está diseñado para ayudar a los ingenieros de infraestructura y seguridad a mejorar sus prácticas de administración de recursos. Se utiliza AWS Config para realizar un seguimiento de los cambios en los recursos, Amazon Athena para realizar consultas y Amazon QuickSight para los paneles interactivos. Esta solución se implementa mediante la implementación de una pila. AWS CloudFormation

Esta solución es similar a la presentada en Visualización de AWS Config datos con Amazon Athena y QuickSight AmazonAWS (entrada del blog). Este patrón amplía esa solución para abordar los siguientes requisitos comunes y ofrecer las siguientes ventajas clave:

• Centrado en el cumplimiento: este enfoque puede ayudarlo a cumplir requisitos reglamentarios como el PCI DSS, el NIST SP 800-53, la ISO/IEC 27001, la HIPAA y el GDPR, entre otros, que exigen inventarios de activos precisos.

• Marco de personalización: proporciona una base para crear QuickSight paneles de control para varios recursos, de modo que pueda personalizar la solución según sus requisitos específicos. AWS

• Mejoras impulsadas por los usuarios: este enfoque incorpora comentarios de casos de uso reales y responde a las solicitudes de una solución más completa.

Los equipos de infraestructura, seguridad y finanzas a menudo se enfrentan a desafíos de visibilidad y colaboración en entornos dinámicos, con múltiples cuentas o múltiples regiones. Esta solución está diseñada para abordar esos desafíos y reducir significativamente el tiempo y el esfuerzo necesarios para crear y mantener un inventario de recursos. El resultado es una visión centralizada de los recursos que le ayuda a mejorar las decisiones de asignación de recursos, identificar y mitigar los riesgos, optimizar los costos y mejorar la visibilidad y la colaboración generales. Este enfoque cierra la brecha entre las soluciones conceptuales y las necesidades de implementación reales para fines operativos, de seguridad y de cumplimiento.

Requisitos previos y limitaciones

Requisitos previos 

• El siguiente activo Cuentas de AWS:

  • Cuenta de administración: una cuenta centralizada para facturar, crear cuentas y controlar el acceso en toda la organización

  • Cuenta de auditoría: un centro centralizado para la supervisión de la seguridad, los controles de cumplimiento y las notificaciones de desviaciones

  • Cuenta de archivo de registros: una cuenta centralizada para almacenar y analizar los datos recopilados

• En la cuenta de auditoría, un AWS Config agregador que recopila y agrega datos de configuración de las cuentas y regiones de destino

• En la cuenta de archivo de registros, configure lo siguiente:

  • Un depósito de Amazon Simple Storage Service (Amazon S3) en el que se almacenan los datos del agregador AWS Config

  • Una QuickSight suscripción a Amazon

  • Una conexión autorizada entre Amazon Athena QuickSight y Amazon Athena

  • Permisos para acceder al bucket de Amazon S3 mediante una consulta de Athena

• AWS Command Line Interface (AWS CLI), instalado y configurado

• Permisos para implementar una CloudFormation pila que aprovisione los siguientes recursos:

  • Una AWS Lambda función

  • Una configuración de notificaciones de Amazon S3

  • Base de datos, tablas y vistas de Athena

  • QuickSight conjuntos de datos y fuentes de datos

• Permisos para ejecutar automatizaciones en AWS Systems Manager

• Permisos de acceso QuickSight

Limitaciones

• La solución se basa en AWS Config. AWS Config por lo general, registra los cambios de configuración de los recursos inmediatamente después de que se detecta un cambio o con la frecuencia que usted especifique. Sin embargo, esto se hace con el máximo esfuerzo y, en ocasiones, puede llevar más tiempo.

• Esta solución solo rastrea los tipos de recursos AWS Config compatibles.

• La solución no realiza un seguimiento del inventario de recursos de otros proveedores de nube o entornos locales.

• Algunas Servicios de AWS no están disponibles en todos Regiones de AWS. Para conocer la disponibilidad regional, consulta la página de límites y cuotas del servicio en la AWS documentación y elige el enlace correspondiente al servicio.

Arquitectura

El siguiente diagrama muestra un proceso simplificado para recopilar, organizar, analizar y visualizar los datos de configuración y conformidad de varias cuentas de una organización. AWS

En el diagrama, se muestra el siguiente flujo de trabajo:

1. De forma periódica, el AWS Config agregador recopila datos de configuración y conformidad sobre los recursos de las cuentas y regiones de destino y, a continuación, entrega los datos al depósito de Amazon S3 de la cuenta de archivo de registros.

2. Al añadir nuevos AWS Config datos al bucket de Amazon S3, se invoca una AWS Lambda función.

3. La función Lambda divide los datos configurando claves con valores que corresponden a la región y la fecha de cada archivo de instantánea. Esto ayuda a consultar y procesar de AWS Glue manera eficiente los datos de configuración y conformidad.

4. Amazon Athena utiliza un AWS Glue esquema para ejecutar consultas SQL en los datos almacenados en el bucket de Amazon S3. Utiliza los metadatos del esquema AWS Glue para comprender la estructura de los datos.

5. Las vistas de Athena definen y extraen los conjuntos de datos de destino.

6. Los paneles de Amazon le QuickSight ayudan a visualizar y analizar los conjuntos de datos.

Herramientas

Servicios de AWS

• Amazon Athena es un servicio de consultas interactivo que facilita el análisis de datos en Amazon S3 con SQL estándar.

• AWS CloudFormationle ayuda a configurar AWS los recursos, a aprovisionarlos de forma rápida y coherente y a gestionarlos a lo largo de su ciclo de vida en Cuentas de AWS todo el país. Regiones de AWS

• AWS Configproporciona una vista detallada de los recursos que tiene Cuenta de AWS y de cómo están configurados. Le ayuda a identificar cómo se relacionan los recursos entre sí y cómo han cambiado sus configuraciones a lo largo del tiempo. Un AWS Config agregador recopila datos AWS Config de configuración y conformidad de varias Cuentas de AWS regiones.

• AWS Gluees un servicio de extracción, transformación y carga (ETL) totalmente gestionado. Ayuda a clasificar, limpiar, enriquecer y mover datos de forma fiable entre almacenes de datos y flujos de datos. Este patrón utiliza un catálogo AWS Glue de datos y un registro de esquemas.

• AWS Lambda es un servicio de computación que ayuda a ejecutar código sin necesidad de aprovisionar ni administrar servidores. Ejecuta el código solo cuando es necesario y amplía la capacidad de manera automática, por lo que solo pagará por el tiempo de procesamiento que utilice.

• AWS Organizationses un servicio de administración de cuentas que le ayuda a consolidar múltiples cuentas Cuentas de AWS en una organización que puede crear y administrar de forma centralizada.

• Amazon QuickSight es un servicio de inteligencia empresarial (BI) a escala de nube que le ayuda a visualizar, analizar y elaborar informes sobre sus datos en un único panel de control.

• Amazon Simple Storage Service (Amazon S3) es un servicio de almacenamiento de objetos basado en la nube que le ayuda a almacenar, proteger y recuperar cualquier cantidad de datos.

• AWS Systems Manager le ayuda a administrar las aplicaciones y la infraestructura que se ejecutan en la Nube de AWS. Simplifica la administración de aplicaciones y recursos, reduce el tiempo necesario para detectar y resolver problemas operativos y le ayuda a administrar sus AWS recursos de forma segura y a escala. AWS Systems Manager La automatización simplifica las tareas habituales de mantenimiento, implementación y corrección para muchas personas. Servicios de AWS

Repositorio de código

La AWS CloudFormation plantilla para este patrón está disponible en el repositorio de AWS Config visualización GitHub . Esta CloudFormation plantilla implementa un manual de AWS Systems Manager automatización que se configura AWS Config para su uso con Amazon Athena. Esta automatización se prepara AWS Glue para conectarse con el bucket de Amazon S3 designado, crea vistas en Amazon Athena y configura QuickSight Amazon para la visualización del panel de control.

Prácticas recomendadas

• Le recomendamos que siga las prácticas recomendadas que se indican en la sección AWS Control Tower sobre AWS cómo configurar y administrar un AWS entorno seguro y con múltiples cuentas, siguiendo la guía prescriptiva.

• Le recomendamos que cree un AWS Config agregador que recopile los datos de configuración y conformidad de toda la organización. AWS Para obtener más información, consulte Agregación de datos multirregional y multicuenta en la documentación. AWS Config

• Antes de implementar esta solución, le recomendamos que revise la información de precios actual de Amazon S3 AWS Config, Athena y. QuickSight

Epics

Implemente la pila CloudFormation

Tarea	Descripción	Habilidades requeridas
Descarga la CloudFormation plantilla.	Descarga la plantilla Config- QuickSight CloudFormation -Visualization-SSM-Automation.yaml.	Administrador de AWS, administrador de la nube, DevOps ingeniero
Modifique la CloudFormation plantilla.	Complete este paso solo si está utilizando AWS Control Towery AWS Config está gestionado por AWS Control Tower. Debe modificar la CloudFormation plantilla. Inicie sesión en la cuenta de administración de . Abra la consola de AWS Organizations. Vaya a la página de Configuración. En esta página se muestran los detalles de la organización, incluido el identificador de la organización. Copia el identificador de la organización. En el editor de texto que prefieras, abre el archivo Config- QuickSight -Visualization-SSM-Automation.yaml. Busca la siguiente línea: return re.match('^AWSLogs/(\d+)/Config/([\w-]+)/(\d+)/(\d+)/(\d+)/ConfigSnapshot/[^\]+$', object_key) Sustituya esta línea por la siguiente, donde <ORGANIZATION_ID> está el identificador que copió anteriormente: return re.match('^<ORGANIZATION_ID>/AWSLogs/(\d+)/Config/([\w-]+)/(\d+)/(\d+)/(\d+)/ConfigSnapshot/[^\]+$', object_key) Guarda y cierra el archivo Config- QuickSight -Visualization-SSM-Automation.yaml.	DevOps ingeniero, administrador de AWS
Crea una CloudFormation pila.	Sigue las instrucciones de Cómo crear una pila desde la CloudFormation consola. Tenga en cuenta lo siguiente: Selecciona Cargar un archivo de plantilla y, a continuación, elige el archivo YAML que has descargado. En Nombre de pila, escriba Config-QuickSight-Visualization-SSM-Automation. Seleccione Submit (Enviar).	Administrador de AWS, administrador de la nube, DevOps ingeniero

Implemente la pila CloudFormation

Tarea	Descripción	Habilidades requeridas
Descarga la CloudFormation plantilla.	Descarga la plantilla Config- QuickSight CloudFormation -Visualization-SSM-Automation.yaml.	Administrador de AWS, administrador de la nube, DevOps ingeniero
Modifique la CloudFormation plantilla.	Complete este paso solo si está utilizando AWS Control Towery AWS Config está gestionado por AWS Control Tower. Debe modificar la CloudFormation plantilla. Inicie sesión en la cuenta de administración de . Abra la consola de AWS Organizations. Vaya a la página de Configuración. En esta página se muestran los detalles de la organización, incluido el identificador de la organización. Copia el identificador de la organización. En el editor de texto que prefieras, abre el archivo Config- QuickSight -Visualization-SSM-Automation.yaml. Busca la siguiente línea: return re.match('^AWSLogs/(\d+)/Config/([\w-]+)/(\d+)/(\d+)/(\d+)/ConfigSnapshot/[^\]+$', object_key) Sustituya esta línea por la siguiente, donde <ORGANIZATION_ID> está el identificador que copió anteriormente: return re.match('^<ORGANIZATION_ID>/AWSLogs/(\d+)/Config/([\w-]+)/(\d+)/(\d+)/(\d+)/ConfigSnapshot/[^\]+$', object_key) Guarda y cierra el archivo Config- QuickSight -Visualization-SSM-Automation.yaml.	DevOps ingeniero, administrador de AWS
Crea una CloudFormation pila.	Sigue las instrucciones de Cómo crear una pila desde la CloudFormation consola. Tenga en cuenta lo siguiente: Selecciona Cargar un archivo de plantilla y, a continuación, elige el archivo YAML que has descargado. En Nombre de pila, escriba Config-QuickSight-Visualization-SSM-Automation. Seleccione Submit (Enviar).	Administrador de AWS, administrador de la nube, DevOps ingeniero

Ejecute la automatización en Systems Manager

Tarea	Descripción	Habilidades requeridas
Busque su nombre QuickSight de usuario.	Abra la consola de QuickSight . Abre el menú del perfil. Anote el nombre de usuario. Necesitará este valor más tarde.	Administrador de AWS, administrador de la nube, DevOps ingeniero
Busque el nombre del canal de entrega y el nombre del bucket de Amazon S3.	En el AWS CLI, introduce el siguiente comando: aws configservice describe-delivery-channels Anota el nombre del bucket de Amazon S3 y el nombre de tu canal de AWS Config entrega. Necesitarás estos valores más adelante.	Administrador de AWS, administrador de la nube, DevOps ingeniero
Ejecute la automatización en Systems Manager.	Abra la consola de AWS Systems Manager. En el panel de navegación, elija Documentos. Seleccione Owned by me (De mi propiedad). Elija Config- QuickSight -Visualization. Elija Ejecutar automatización. En la sección Parámetros de entrada, introduzca los valores de los siguientes parámetros: ConfigDeliveryChannelName— Introduce el nombre de tu canal AWS Config de entrega. Este parámetro es obligatorio. ConfigS3BucketLocation— Introduzca el nombre del depósito de Amazon S3 en el que almacena los datos AWS Config de configuración. Este parámetro es obligatorio. QuickSightUserName— Introduzca un nombre de usuario al que tenga acceso administrativo QuickSight. Este parámetro es obligatorio. AutomationAssumeRole— El nombre del recurso de Amazon (ARN) del rol AWS Identity and Access Management (IAM) que permite a Systems Manager Automation realizar las acciones en su nombre. Este parámetro es opcional. Deje este parámetro en blanco. DeleteConfigVisualization— Eligefalse. Elija Ejecutar.	Administrador de AWS, administrador de la nube, DevOps ingeniero

Ejecute la automatización en Systems Manager

Tarea	Descripción	Habilidades requeridas
Busque su nombre QuickSight de usuario.	Abra la consola de QuickSight . Abre el menú del perfil. Anote el nombre de usuario. Necesitará este valor más tarde.	Administrador de AWS, administrador de la nube, DevOps ingeniero
Busque el nombre del canal de entrega y el nombre del bucket de Amazon S3.	En el AWS CLI, introduce el siguiente comando: aws configservice describe-delivery-channels Anota el nombre del bucket de Amazon S3 y el nombre de tu canal de AWS Config entrega. Necesitarás estos valores más adelante.	Administrador de AWS, administrador de la nube, DevOps ingeniero
Ejecute la automatización en Systems Manager.	Abra la consola de AWS Systems Manager. En el panel de navegación, elija Documentos. Seleccione Owned by me (De mi propiedad). Elija Config- QuickSight -Visualization. Elija Ejecutar automatización. En la sección Parámetros de entrada, introduzca los valores de los siguientes parámetros: ConfigDeliveryChannelName— Introduce el nombre de tu canal AWS Config de entrega. Este parámetro es obligatorio. ConfigS3BucketLocation— Introduzca el nombre del depósito de Amazon S3 en el que almacena los datos AWS Config de configuración. Este parámetro es obligatorio. QuickSightUserName— Introduzca un nombre de usuario al que tenga acceso administrativo QuickSight. Este parámetro es obligatorio. AutomationAssumeRole— El nombre del recurso de Amazon (ARN) del rol AWS Identity and Access Management (IAM) que permite a Systems Manager Automation realizar las acciones en su nombre. Este parámetro es opcional. Deje este parámetro en blanco. DeleteConfigVisualization— Eligefalse. Elija Ejecutar.	Administrador de AWS, administrador de la nube, DevOps ingeniero

Visualice los datos en Amazon QuickSight

Tarea	Descripción	Habilidades requeridas
Actualice los datos.	Para programar las actualizaciones de los conjuntos de datos de acuerdo con sus requisitos específicos, siga las instrucciones de Refrescar los datos de SPICE.	Administrador, DevOps ingeniero y administrador de la nube de AWS
Cree un análisis de .	Para crear un panel QuickSight que le ayude a visualizar los recursos, siga las instrucciones de Cómo iniciar un análisis en Amazon QuickSight.	QuickSight administrador
Cree un panel de control.	Cuando termine de modificar el QuickSight análisis, siga las instrucciones de Publicación de paneles para crear un panel. Un panel es un análisis que puede compartir con otros QuickSight usuarios. Siga las instrucciones que se indican en Otorgar acceso a un panel para compartir el panel con QuickSight los usuarios objetivo.	QuickSight administrador

Visualice los datos en Amazon QuickSight

Tarea	Descripción	Habilidades requeridas
Actualice los datos.	Para programar las actualizaciones de los conjuntos de datos de acuerdo con sus requisitos específicos, siga las instrucciones de Refrescar los datos de SPICE.	Administrador, DevOps ingeniero y administrador de la nube de AWS
Cree un análisis de .	Para crear un panel QuickSight que le ayude a visualizar los recursos, siga las instrucciones de Cómo iniciar un análisis en Amazon QuickSight.	QuickSight administrador
Cree un panel de control.	Cuando termine de modificar el QuickSight análisis, siga las instrucciones de Publicación de paneles para crear un panel. Un panel es un análisis que puede compartir con otros QuickSight usuarios. Siga las instrucciones que se indican en Otorgar acceso a un panel para compartir el panel con QuickSight los usuarios objetivo.	QuickSight administrador

(Opcional) Limpieza

Tarea	Descripción	Habilidades requeridas
Elimine los recursos creados por la automatización de Systems Manager.	Abra la consola de AWS Systems Manager. En el panel de navegación, elija Documentos. Seleccione Owned by me (De mi propiedad). Elija Config- QuickSight -Visualization. Elija Ejecutar automatización. En la sección Parámetros de entrada, introduzca true el DeleteConfigVisualization parámetro. Elija Ejecutar.	Administrador de AWS, administrador de la nube, DevOps ingeniero
Elimine la CloudFormation pila.	Para eliminar los recursos de la Config-QuickSight-Visualization-SSM-Automation pila, sigue las instrucciones de Eliminar una pila de la CloudFormation consola.	Administrador de AWS, administrador de la nube, DevOps ingeniero

(Opcional) Limpieza

Tarea	Descripción	Habilidades requeridas
Elimine los recursos creados por la automatización de Systems Manager.	Abra la consola de AWS Systems Manager. En el panel de navegación, elija Documentos. Seleccione Owned by me (De mi propiedad). Elija Config- QuickSight -Visualization. Elija Ejecutar automatización. En la sección Parámetros de entrada, introduzca true el DeleteConfigVisualization parámetro. Elija Ejecutar.	Administrador de AWS, administrador de la nube, DevOps ingeniero
Elimine la CloudFormation pila.	Para eliminar los recursos de la Config-QuickSight-Visualization-SSM-Automation pila, sigue las instrucciones de Eliminar una pila de la CloudFormation consola.	Administrador de AWS, administrador de la nube, DevOps ingeniero

Solución de problemas

Problema	Solución
Amazon QuickSight está intentando conectarse a la us-east-1 Región de AWS, pero no está permitida la creación de recursos en esa región.	Una política de control de servicios restringe tu suscripción a Amazon QuickSight en esta región. En la política de control de servicios, especifica el objetivo manualmente Región de AWS. <REGION_ID>Sustitúyalo por el identificador de región correspondiente: https://<REGION_ID>.quicksight.aws.amazon.com/sn/start/dashboards A continuación, se muestra un ejemplo: https://eu-central-1.quicksight.aws.amazon.com/sn/start/dashboards
En Amazon Athena, aparece el siguiente mensaje: Before you run your first query, you need to set up a query result location in Amazon S3.	Asegúrese de haber preparado un bucket de Amazon S3 en el que almacenará los resultados de las consultas de Amazon Athena. A continuación, siga las instrucciones de Especificar una ubicación de resultados de consulta mediante la consola de Amazon Athena.

Recursos relacionados

AWS documentación

• AWS Config documentación

• QuickSight Documentación de Amazon

AWS entrada de blog

• Automatice la visualización de AWS Config datos con AWS Systems Manager

• Cómo registrar periódicamente los cambios en la configuración de los recursos con AWS Config

Otros recursos

• Centro de aprendizaje QuickSight comunitario de Amazon

• Galería de QuickSight la comunidad de Amazon