Conception d'un lac de données pour la croissance et l'évolutivité sur leAWS Cloud

Wei Shao, Amazon Web Services (AWS)

Octobre 2021 (historique du document)

Les Organizations conçoivent et créent de plus en plus de lacs de données sur le cloud Amazon Web Services (AWS) dans le cadre de leur stratégie de modernisation des données. Les lacs de données peuvent être des référentiels qui stockent vos données structurées et non structurées à n'importe quelle échelle et les mettent à la disposition d'un large éventail d'utilisateurs internes et externes.

Cependant, l'ingestion de données dans des lacs de données adaptés à vos besoins commerciaux croissants peut demander beaucoup de temps et d'efforts. Pour réduire les coûts et optimiser la valeur générée par les données, de nombreuses entreprises prévoient une ingestion ponctuelle de données dans leur lac de données, puis les consomment plusieurs fois. La conception d'une architecture de lac de données qui s'adapte à la production, au partage et à la consommation de données est essentielle pour apporter de la valeur aux parties prenantes de l'entreprise lorsque votre lac de données se développe.

Une architecture de lac de données évolutive fournit à votre entreprise une base solide pour tirer parti de votre lac de données tout en y intégrant davantage de données. En obtenant continuellement des informations sur les données sans être ralentie ni interrompue en raison de contraintes d'évolutivité, un lac de données évolutif aide également votre entreprise à rester compétitive.

En général, un lac de données compte des producteurs et des consommateurs de données. Les producteurs de données créent des actifs de données en collectant, traitant et stockant les données de leur domaine de données. Ces actifs de données collectifs constituent le contenu de votre lac de données. Les producteurs de données peuvent choisir de partager de manière sélective leurs actifs de données avec les consommateurs de données du lac de données.

Les consommateurs de données ont besoin des données des producteurs de données pour répondre à leurs besoins commerciaux et peuvent également parfois combiner ces données avec leurs propres données. Les producteurs et les consommateurs de données font généralement partie de votre organisation, mais pas toujours. Il est important de noter qu'ils peuvent à la fois être producteurs ou consommateurs de données.

Une architecture de lac de données évolutive vous aide à atteindre les résultats suivants :

• Intégrez les producteurs de données à grande échelle sans qu'ils aient à gérer l'ensemble du processus de partage des données. Cela aide les producteurs de données à intégrer leurs données dans le lac de données et à se concentrer sur la collecte, le traitement et le stockage des données provenant de leur domaine de données.

• Permettez aux consommateurs de données d'accéder aux données de plusieurs producteurs de données sans augmenter vos coûts globaux ni vos frais de gestion.

Ce guide décrit les défis de mise à l'échelle courants qui peuvent survenir lorsque les entreprises développent leur lac de données, fournit une architecture de référence pour les lacs de données et décrit les approches d'intégration et d'octroi de l'accès aux producteurs de données et aux consommateurs de données. L'architecture de référence des lacs de données présentée dans ce guide exploite les différentes fonctionnalités et capacités fournies par AWS Lake Formation. Le guide est destiné aux équipes chargées de concevoir des lacs de données surAWS Cloud, notamment les architectes de données d'entreprise, les architectes de plateformes de données, les concepteurs ou les responsables du domaine des données.

Des résultats commerciaux ciblés

Vous devez vous attendre aux trois résultats suivants après avoir conçu un lac de données destiné à la croissance et à l'évolutivité surAWS Cloud :

• Réduisez les frais généraux de partage et de consommation de données dans les différents secteurs d'activité de votre entreprise.

• Une approche sécurisée et cohérente qui aide votre organisation à inclure des producteurs de données externes et à partager des données avec eux dans votre lac de données.

• Bénéficiez en continu d'informations sur les données sans être ralenti ni interrompu en raison de contraintes d'évolutivité.