Conception d'un lac de données pour la croissance et l'évolutivité sur AWS Cloud

Wei Shao, Amazon Web Services ()AWS

Octobre 2021 (historique du document)

Organisations conçoivent et créent de plus en plus de lacs de données sur le cloud Amazon Web Services (AWS) dans le cadre de leur stratégie de modernisation des données. Les lacs de données peuvent être des référentiels qui stockent vos données structurées et non structurées à n'importe quelle échelle et les mettent à la disposition d'un large éventail d'utilisateurs internes et externes.

Cependant, l'ingestion de données dans des lacs de données destinés à répondre aux besoins croissants de votre entreprise peut prendre beaucoup de temps et d'efforts. Pour réduire les coûts et maximiser la valeur générée par les données, de nombreuses entreprises planifient une ingestion unique des données dans leur lac de données, puis les consomment à plusieurs reprises. La conception d'une architecture de lac de données qui s'adapte à la production, au partage et à la consommation de données est essentielle pour apporter de la valeur aux parties prenantes de l'entreprise lorsque votre lac de données s'agrandit.

Une architecture de lac de données évolutive fournit à votre entreprise une base solide pour tirer parti de votre lac de données tout en y intégrant davantage de données. En obtenant en permanence des informations sur les données sans être ralentie ou interrompue en raison de contraintes d'évolutivité, un lac de données évolutif aide également votre entreprise à rester compétitive.

Généralement, un lac de données compte des producteurs et des consommateurs de données. Les producteurs de données créent des actifs de données en collectant, en traitant et en stockant des données provenant de leur domaine de données. Ces actifs de données collectifs constituent le contenu de votre lac de données. Les producteurs de données peuvent choisir de partager de manière sélective leurs actifs de données avec les consommateurs de données du lac de données.

Les consommateurs de données ont besoin des données fournies par les producteurs de données pour répondre à leurs besoins commerciaux et peuvent également, de temps en temps, combiner ces données avec leurs propres données. Les producteurs et les consommateurs de données font généralement partie de votre organisation, mais pas toujours. Il est important de noter qu'ils peuvent être à la fois producteurs ou consommateurs de données.

Une architecture de lac de données évolutive vous permet d'obtenir les résultats suivants :

• Intégrez les producteurs de données à grande échelle sans les obliger à gérer l'intégralité du processus de partage des données. Cela permet aux producteurs de données d'intégrer leurs données dans le lac de données et de se concentrer sur la collecte, le traitement et le stockage des données issues de leur domaine de données.

• Permettez aux consommateurs de données d'accéder aux données de plusieurs producteurs de données sans augmenter vos coûts globaux ni vos frais de gestion.

Ce guide décrit les défis de mise à l'échelle courants qui peuvent survenir lorsque les entreprises développent leur lac de données, fournit une architecture de référence pour les lacs de données et décrit les approches pour l'intégration et l'octroi d'un accès aux producteurs et aux consommateurs de données. L'architecture de référence du lac de données présentée dans ce guide tire parti des différentes fonctionnalités et capacités fournies par AWS Lake Formation. Ce guide est destiné aux équipes chargées de concevoir des lacs de données sur le AWS Cloud, notamment les architectes de données d'entreprise, les architectes de plateformes de données, les concepteurs ou les responsables de domaines de données.

Résultats commerciaux ciblés

Vous devez vous attendre aux trois résultats suivants après avoir conçu un lac de données destiné à la croissance et à l'évolutivité sur AWS Cloud :

• Réduisez les frais généraux liés au partage et à la consommation de données dans les différents secteurs d'activité de votre organisation.

• Une approche sécurisée et cohérente qui aide votre organisation à inclure des producteurs de données externes et à partager des données avec eux dans votre lac de données.

• Obtenez en permanence des informations sur les données sans être ralentis ou interrompus en raison de contraintes d'évolutivité.