Entwicklung eines Data Lakes für Wachstum und Skalierung auf der AWS Cloud

Wei Shao, Amazon Web Services ()AWS

Oktober 2021 (Verlauf der Dokumente)

Organizations entwerfen und bauen im Rahmen ihrer Datenmodernisierungsstrategie zunehmend Data Lakes in der Amazon Web Services (AWS) Cloud. Data Lakes können Repositorys sein, in denen Ihre strukturierten und unstrukturierten Daten in beliebiger Größenordnung gespeichert und einer Vielzahl interner und externer Benutzer zur Verfügung gestellt werden.

Es kann jedoch viel Zeit und Mühe kosten, Daten in Data Lakes aufzunehmen, die Ihren wachsenden Geschäftsanwendungsfällen dienen. Um die Kosten zu senken und den aus den Daten generierten Wert zu maximieren, planen viele Unternehmen eine einmalige Aufnahme von Daten in ihren Data Lake und verwenden diese Daten anschließend mehrfach. Die Entwicklung einer Data-Lake-Architektur, die sich an die Produktion, gemeinsame Nutzung und Nutzung von Daten anpasst, ist entscheidend, um den Beteiligten im Unternehmen einen Mehrwert zu bieten, wenn Ihr Data Lake wächst.

Eine skalierbare Data-Lake-Architektur bietet Ihrem Unternehmen eine solide Grundlage, um aus Ihrem Data Lake Nutzen zu ziehen und gleichzeitig mehr Daten in ihn einzubeziehen. Durch die kontinuierliche Gewinnung von Dateneinblicken, ohne aufgrund von Skalierbarkeitsbeschränkungen gebremst oder unterbrochen zu werden, trägt ein skalierbarer Data Lake auch dazu bei, dass Ihr Unternehmen wettbewerbsfähig bleibt.

In der Regel gibt es in einem Data Lake Datenproduzenten und Datenkonsumenten. Datenproduzenten erstellen Datenbestände, indem sie Daten aus ihrer Datendomäne sammeln, verarbeiten und speichern. Diese kollektiven Datenbestände bilden den Inhalt Ihres Data Lakes. Datenproduzenten können sich dafür entscheiden, ihre Datenbestände selektiv mit den Datennutzern des Data Lakes zu teilen.

Datenkonsumenten benötigen die Daten der Datenproduzenten, um ihre geschäftlichen Anwendungsfälle zu erfüllen, und können diese Daten gelegentlich auch mit ihren eigenen Daten kombinieren. Datenproduzenten und Datenkonsumenten sind in der Regel, aber nicht immer, Teil Ihres Unternehmens. Wichtig ist, dass sie beide gleichzeitig Datenproduzenten oder Datenkonsumenten sein können.

Eine skalierbare Data-Lake-Architektur hilft Ihnen dabei, die folgenden Ergebnisse zu erzielen:

• Integrieren Sie Datenproduzenten in großem Umfang, ohne dass sie den gesamten Datenaustauschprozess aufrechterhalten müssen. Auf diese Weise können Datenproduzenten ihre Daten in den Data Lake integrieren und sich darauf konzentrieren, Daten aus ihrer Datendomäne zu sammeln, zu verarbeiten und zu speichern.

• Ermöglichen Sie Datenkonsumenten den Zugriff auf Daten von mehreren Datenproduzenten, ohne Ihre Gesamtkosten und Ihren Verwaltungsaufwand zu erhöhen.

In diesem Leitfaden werden die häufigsten Skalierungsherausforderungen beschrieben, die auftreten können, wenn Unternehmen ihren Data Lake erweitern, und es wird eine Referenzarchitektur für den Data Lake bereitgestellt. Außerdem werden Ansätze für das Onboarding und die Gewährung des Zugriffs für Datenproduzenten und Datenkonsumenten beschrieben. Die Data-Lake-Referenzarchitektur in diesem Leitfaden nutzt die verschiedenen Funktionen und Fähigkeiten von. AWS Lake Formation Der Leitfaden richtet sich an Teams, die für die Gestaltung von Data Lakes auf der Website verantwortlich sind AWS Cloud, darunter Unternehmensdatenarchitekten, Datenplattformarchitekten, Designer oder Data Domain-Leads.

Gezielte Geschäftsergebnisse

Wenn Sie einen Data Lake für Wachstum und Skalierung konzipiert haben, sollten Sie die folgenden drei Ergebnisse erwarten AWS Cloud:

• Geringere Gemeinkosten für Datenaustausch und Datenverbrauch in mehreren Geschäftsbereichen Ihres Unternehmens.

• Ein sicherer und konsistenter Ansatz, der Ihrem Unternehmen hilft, externe Datenproduzenten einzubeziehen und Daten mit ihnen in Ihrem Data Lake zu teilen.

• Gewinnen Sie kontinuierlich Einblicke in Ihre Daten, ohne aufgrund von Einschränkungen der Skalierbarkeit gebremst oder unterbrochen zu werden.