AWS ofertas para malla de datos

Utilice las capacidades de la analítica AWS para crear la solución de datos basada en una malla de datos para su organización. El análisis de los AWS recursos recomienda varias opciones Servicios de AWS para crear una malla de datos a bajo costo sin comprometer el rendimiento. Los clientes han adoptado las siguientes opciones para crear una solución basada en una malla de datos:

• Implemente una malla de datos mediante Amazon DataZone

• Implemente una malla de datos mediante marcos de código abierto AWS como data.all

• Implemente una malla de datos mediante AWS Lake Formation

Estas tres opciones utilizan lo siguiente Servicios de AWS:

• Amazon Athena

• Amazon Bedrock

• Amazon EMR

• AWS Glue(incluido AWS Glue Data Catalog un AWS Glue rastreador)

• AWS Identity and Access Management (IAM)

• AWS Key Management Service (AWS KMS)

• Amazon Kinesis

• AWS Lake Formation

• Amazon Managed Streaming para Apache Kafka (Amazon) MSK

• Amazon QuickSight

• Amazon Redshift

• AWS Resource Access Manager (AWS RAM)

• Amazon SageMaker AI

• AWS Secrets Manager

• Amazon Simple Storage Service (Amazon S3)

La DataZone opción Amazon también usa Amazon EventBridge.

Las AWS Lake Formation opciones data.all y D también utilizan los siguientes recursos: Servicios de AWS

• Amazon API Gateway

• AWS CloudFormation

• Amazon Cognito

• AWS Lambda

• AWS Systems Manager Parameter Store

• AWS WAF

El Servicios de AWS que utilice en su implementación puede variar en función de los requisitos de su organización.

Amazon DataZone

Si desea utilizar un servicio totalmente gestionado, considere la posibilidad de utilizar Amazon DataZone para implementar una malla de datos para su organización. Amazon DataZone es un servicio de administración de datos para catalogar, descubrir, compartir y controlar los datos almacenados AWS en fuentes locales y de terceros. El siguiente diagrama muestra una arquitectura de referencia de malla de datos basada en Amazon DataZone.

En la arquitectura de referencia, las cuentas de los miembros pertenecen a los dominios de datos. Se agrupan en productores y consumidores de datos. El diagrama de arquitectura contiene los siguientes componentes:

1. Los productores de datos publican productos de datos en el catálogo empresarial proporcionado por el portal de DataZone datos de Amazon. El portal de datos está alojado en la cuenta de gobierno central.

2. Los consumidores de datos (usuarios) inician sesión en el portal de datos con sus credenciales o AWS credenciales de inicio de sesión único. Pueden navegar por el catálogo y buscar los productos de datos que les interesen mediante palabras clave. Pueden filtrar los resultados de la búsqueda.

3. Una vez que los usuarios de datos que pertenecen a los equipos de consumidores encuentren el producto de datos que les interesa, pueden solicitar el acceso a los datos. Amazon DataZone tiene un flujo de trabajo de administración de acceso integrado que el propietario de los datos utiliza para revisar y aprobar la solicitud.

4. Los equipos de consumidores de datos pueden consumir los datos para potenciar la inteligencia artificial y el aprendizaje automático (AI/ML), el análisis y la elaboración de informes, y extraer, transformar y cargar (ETL) casos de uso.

Datos. Todos

Si entiende el código abierto y desea crear y administrar su propia solución, considere la posibilidad de utilizar marcos de código abierto como data.all. Data.all es un mercado de datos moderno que apoya la colaboración entre diversos usuarios. Data.all simplifica el descubrimiento de datos, el intercambio y la gestión detallada del acceso a los datos, mientras que los desarrolladores utilizan la AWS cartera de servicios de datos y análisis. El siguiente diagrama muestra una arquitectura de referencia de malla de datos basada en data.all.

El diagrama de arquitectura contiene los siguientes componentes:

1. Los productores de datos publican los productos de datos en el catálogo proporcionado por la interfaz data.all. La interfaz y el backend de data.all están alojados en la cuenta de gobierno central.

2. Los consumidores de datos (usuarios) inician sesión en la interfaz data.all con sus credenciales de inicio de sesión único o de Amazon Cognito. Pueden navegar por el catálogo y buscar los productos de datos que les interesen. Pueden filtrar los resultados de la búsqueda.

3. Una vez que los usuarios de datos que pertenecen a los equipos de consumidores encuentren el producto de datos que les interesa, pueden solicitar el acceso a los datos. Data.all tiene un flujo de trabajo de administración de acceso integrado que el propietario de los datos utiliza para revisar y aprobar las solicitudes de acceso.

4. Los equipos de consumidores pueden consumir los datos para potenciar su inteligencia artificial y aprendizaje automático, sus análisis e informes y sus casos de uso. ETL

AWS Lake Formation

Si desea crear una solución de malla de datos personalizada desde cero y administrarla, considere utilizarla. AWS Lake Formation Lake Formation le ayuda a gestionar, proteger y compartir datos a nivel mundial de forma centralizada para el análisis y el aprendizaje automático. El siguiente diagrama muestra una arquitectura de referencia de malla de datos basada en Lake Formation.

El diagrama de arquitectura contiene los siguientes componentes:

1. Los productores de datos publican los productos AWS Glue Data Catalog de datos en la cuenta de gobierno central. AWS Lake Formation gestiona el acceso a las entidades del catálogo de datos central.

2. Una vez concedido el acceso, los equipos de consumidores pueden consumir los datos para potenciar su inteligencia artificial y aprendizaje automático, sus análisis e informes y sus casos de uso. ETL