Überlegungen bei der Verwendung von Null-ETL-Integrationen mit Amazon Redshift

Fokusmodus

Überlegungen bei der Verwendung von Null-ETL-Integrationen mit Amazon Redshift - Amazon Redshift

Überlegungen zur Verwendung des Verlaufsmodus auf dem Ziel Überlegungen, wenn Aurora oder Amazon RDS die Zero-ETL-Integrationsquelle ist Überlegungen, wenn DynamoDB die Zero-ETL-Integrationsquelle ist Überlegungen, wenn die Zero-ETL-Integrationsquelle Anwendungen wie Salesforce, SAP und Zendesk sind ServiceNow

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Die folgenden Überlegungen gelten für Null-ETL-Integrationen mit Amazon Redshift.

Ihr Ziel-Data-Warehouse von Amazon Redshift muss die folgenden Voraussetzungen erfüllen:
- Ausführung von Amazon Redshift Serverless oder einem RA3 Knotentyp.
- Es muss verschlüsselt sein (bei Verwendung eines bereitgestellten Clusters).
- Die Unterscheidung zwischen Groß- und Kleinschreibung muss aktiviert sein.
Wenn Sie eine autorisierte Integrationsquelle für ein Amazon Redshift Data Warehouse löschen, wechseln alle zugehörigen Integrationen in den Status FAILED. Alle zuvor replizierten Daten verbleiben in Ihrer Amazon Redshift Redshift-Datenbank und können abgefragt werden.
Die Zieldatenbank ist schreibgeschützt. Sie können in der Zieldatenbank keine Tabellen, Ansichten oder materialisierten Ansichten erstellen. Sie können jedoch materialisierte Ansichten für andere Tabellen im Ziel-Data-Warehouse verwenden.
Materialisierte Ansichten werden in datenbankübergreifenden Abfragen unterstützt. Informationen zum Erstellen von materialisierten Ansichten mit Daten, die über Null-ETL-Integrationen repliziert wurden, finden Sie unter Abfragen replizierter Daten mit materialisierten Ansichten.
Standardmäßig können Sie nur Tabellen im Ziel-Data Warehouse abfragen, die sich im Status befinden. Synced Um Tabellen in einem anderen Status abzufragen, setzen Sie den Datenbankparameter QUERY_ALL_STATES aufTRUE. Informationen zur Einstellung QUERY_ALL_STATES finden Sie unter CREATE DATABASE und ALTER DATABASE im Amazon Redshift Database Developer Guide. Weitere Informationen zum Status Ihrer Datenbank finden Sie unter SVV_INTEGRATION_TABLE_STATE im Amazon Redshift Database Developer Guide.
Amazon Redshift akzeptiert nur UTF-8-Zeichen und berücksichtigt daher möglicherweise nicht die in der Quelle definierte Sortierung. Die Sortier- und Vergleichsregeln können unterschiedlich sein, was sich letztendlich auf die Abfrageergebnisse auswirken kann.
Zero-ETL-Integrationen sind auf 50 pro Amazon Redshift Data Warehouse-Ziel begrenzt.
Tabellen in der Integrationsquelle müssen einen Primärschlüssel haben. Andernfalls können Ihre Tabellen nicht in das Ziel-Data Warehouse in Amazon Redshift repliziert werden.

Informationen zum Hinzufügen eines Primärschlüssels zu Amazon Aurora PostgreSQL finden Sie unter Behandeln von Tabellen ohne Primärschlüssel beim Erstellen von Amazon Aurora PostgreSQL Zero-ETL-Integrationen mit Amazon Redshift im Datenbank-Blog.AWS Informationen zum Hinzufügen eines Primärschlüssels zu Amazon Aurora MySQL oder RDS for MySQL finden Sie unter Behandeln von Tabellen ohne Primärschlüssel bei der Erstellung von Amazon Aurora MySQL- oder Amazon RDS for MySQL Zero-ETL-Integrationen mit Amazon Redshift im Datenbank-Blog.AWS
Sie können Datenfilterung für Aurora Zero-ETL-Integrationen verwenden, um den Umfang der Replikation vom Aurora-DB-Cluster zum Amazon Redshift Redshift-Ziel-Data Warehouse zu definieren. Anstatt alle Daten auf das Ziel zu replizieren, können Sie einen oder mehrere Filter definieren, die bestimmte Tabellen selektiv einbeziehen oder von der Replikation ausschließen. Weitere Informationen finden Sie unter Datenfilterung für Aurora Zero-ETL-Integrationen mit Amazon Redshift im Amazon Aurora Aurora-Benutzerhandbuch.
Für Aurora PostgreSQL Zero-ETL-Integrationen mit Amazon Redshift unterstützt Amazon Redshift maximal 100 Datenbanken von Aurora PostgreSQL. Jede Datenbank repliziert unabhängig von der Quelle zum Ziel.
Die Zero-ETL-Integration unterstützt keine Transformationen bei der Replikation der Daten aus Transaktionsdatenspeichern nach Amazon Redshift. Daten werden unverändert aus der Quelldatenbank repliziert. Sie können jedoch Transformationen auf die replizierten Daten in Amazon Redshift anwenden.
Die Zero-ETL-Integration wird in Amazon Redshift über parallel Verbindungen ausgeführt. Sie wird mit den Anmeldeinformationen des Benutzers ausgeführt, der die Datenbank anhand der Integration erstellt hat. Wenn die Abfrage ausgeführt wird, wird die Parallelitätsskalierung für diese Verbindungen während der Synchronisierung (Schreibvorgänge) nicht aktiviert. Parallelitätsskalierung von Lesevorgängen (von Amazon Redshift Redshift-Clients) funktioniert für synchronisierte Objekte.
Sie können die REFRESH_INTERVAL für eine Zero-ETL-Integration festlegen, um die Häufigkeit der Datenreplikation in Amazon Redshift zu steuern. Weitere Informationen finden Sie unter CREATE DATABASE und ALTER DATABASE im Amazon Redshift Database Developer Guide.

Überlegungen zur Verwendung des Verlaufsmodus auf dem Ziel

Die folgenden Überlegungen gelten für die Verwendung des Verlaufsmodus in der Zieldatenbank. Weitere Informationen finden Sie unter Verlaufsmodus.

Wenn Sie eine Tabelle in einer Quelle löschen, wird die Tabelle in der Zieltabelle nicht gelöscht, sondern ihr DroppedSource Status wird geändert. Sie können die Tabelle aus der Amazon Redshift Redshift-Datenbank löschen oder umbenennen.
Wenn Sie eine Tabelle in einer Quelltabelle kürzen, werden Löschungen in der Zieltabelle ausgeführt. Wenn beispielsweise alle Datensätze in der Quellspalte gekürzt sind, werden die entsprechenden Datensätze in der Zielspalte geändert_record_is_active. false
Wenn Sie TRUNCATE table SQL für die Zieltabelle ausführen, werden aktive Verlaufszeilen mit einem entsprechenden Zeitstempel als inaktiv markiert.
Wenn eine Zeile in einer Tabelle auf inaktiv gesetzt ist, kann sie nach einer kurzen Verzögerung (etwa 10 Minuten) gelöscht werden. Um inaktive Zeilen zu löschen, stellen Sie mit dem Abfrage-Editor v2 oder einem anderen SQL-Client eine Verbindung zu Ihrer Zero-ETL-Datenbank her.
Sie können nur inaktive Zeilen aus einer Tabelle löschen, wenn der Verlaufsmodus aktiviert ist. Ein SQL-Befehl, der dem folgenden ähnelt, löscht beispielsweise nur inaktive Zeilen.
```
delete from schema.user_table where _record_delete_time <= '2024-09-10 12:34:56'
```
Dies entspricht einem SQL-Befehl wie dem folgenden.
```
delete from schema.user_table where _record_delete_time <= '2024-09-10 12:34:56' and _record_is_active = False
```
Wenn der Verlaufsmodus für eine Tabelle deaktiviert wird, werden alle historischen Daten in der Tabelle mit dem Namen mit gespeichert, <schema>.<table-name>_historical_<timestamp> während die ursprüngliche Tabelle mit dem Namen aktualisiert <schema>.<table-name> wird.
Wenn eine Tabelle mit aktiviertem Verlaufsmodus mithilfe eines Tabellenfilters von der Replikation ausgeschlossen wird, werden alle Zeilen als inaktiv gesetzt und ihr DroppedSource Status wird geändert. Weitere Informationen zu Tabellenfiltern finden Sie unter Datenfilterung für Aurora Zero-ETL-Integrationen mit Amazon Redshift im Amazon Aurora Aurora-Benutzerhandbuch.
Der Verlaufsmodus kann nur auf true oder false für Tabellen im Status umgeschaltet werden. Synced

Überlegungen, wenn Aurora oder Amazon RDS die Zero-ETL-Integrationsquelle ist

Die folgenden Überlegungen gelten für Aurora- und Amazon RDS Zero-ETL-Integrationen mit Amazon Redshift.

Sie können Datenfilterung für Aurora- und RDS for MySQL Zero-ETL-Integrationen verwenden, um den Umfang der Replikation vom Quell-DB-Cluster zum Amazon Redshift Redshift-Ziel-Data Warehouse zu definieren. Anstatt alle Daten auf das Ziel zu replizieren, können Sie einen oder mehrere Filter definieren, die bestimmte Tabellen selektiv einbeziehen oder von der Replikation ausschließen. Weitere Informationen finden Sie unter Datenfilterung für Aurora Zero-ETL-Integrationen mit Amazon Redshift im Amazon Aurora Aurora-Benutzerhandbuch.
Tabellen in der Integrationsquelle müssen einen Primärschlüssel haben. Andernfalls können Ihre Tabellen nicht in das Ziel-Data Warehouse in Amazon Redshift repliziert werden.

Informationen zum Hinzufügen eines Primärschlüssels zu Amazon Aurora PostgreSQL finden Sie unter Behandeln von Tabellen ohne Primärschlüssel beim Erstellen von Amazon Aurora PostgreSQL Zero-ETL-Integrationen mit Amazon Redshift im Datenbank-Blog.AWS Informationen zum Hinzufügen eines Primärschlüssels zu Amazon Aurora MySQL oder RDS for MySQL finden Sie unter Behandeln von Tabellen ohne Primärschlüssel bei der Erstellung von Amazon Aurora MySQL- oder Amazon RDS for MySQL Zero-ETL-Integrationen mit Amazon Redshift im Datenbank-Blog.AWS
Die maximale Länge eines Amazon Redshift VARCHAR-Datentyps beträgt 65.535 Byte. Wenn der Inhalt aus der Quelle dieses Limit nicht erfüllt, wird die Replikation nicht fortgesetzt und die Tabelle wird in den Status „Fehlgeschlagen“ versetzt. Sie können den Datenbankparameter auf so einstellenTRUNCATECOLUMNS, TRUE dass der Inhalt so gekürzt wird, dass er in die Spalte passt. Informationen zur Einstellung TRUNCATECOLUMNS finden Sie unter CREATE DATABASE und ALTER DATABASE im Amazon Redshift Database Developer Guide.

Weitere Informationen zu Datentypunterschieden zwischen Zero-ETL-Integrationsquellen und Amazon Redshift-Datenbanken finden Sie unter Datentypunterschiede zwischen Aurora und Amazon Redshift im Amazon Aurora Aurora-Benutzerhandbuch.

Informationen zu Aurora-Quellen finden Sie auch unter Einschränkungen im Amazon Aurora Aurora-Benutzerhandbuch.

Informationen zu Amazon RDS-Quellen finden Sie auch unter Einschränkungen im Amazon RDS-Benutzerhandbuch.

Überlegungen, wenn DynamoDB die Zero-ETL-Integrationsquelle ist

Die folgenden Überlegungen gelten für DynamoDB Zero-ETL-Integrationen mit Amazon Redshift.

Tabellennamen aus DynamoDB mit mehr als 127 Zeichen werden nicht unterstützt.
Die Daten aus einer DynamoDB-Zero-ETL-Integration werden einer SUPER-Datentypspalte in Amazon Redshift zugeordnet.
Spaltennamen für den Partitions- oder Sortierschlüssel mit mehr als 127 Zeichen werden nicht unterstützt.
Eine Zero-ETL-Integration von DynamoDB kann nur einer Amazon Redshift-Datenbank zugeordnet werden.
Für Partitions- und Sortierschlüssel beträgt die maximale Genauigkeit und Skalierung (38,18). Numerische Datentypen auf DynamoDB unterstützen eine maximale Genauigkeit von bis zu 38. Amazon Redshift unterstützt auch eine maximale Genauigkeit von 38, aber die standardmäßige Dezimalgenauigkeit/Skalierung auf Amazon Redshift ist (38,10). Das bedeutet, dass Werte auf der Skala gekürzt werden können.
Für eine erfolgreiche Zero-ETL-Integration darf ein einzelnes Attribut (bestehend aus Name+Wert) in einem DynamoDB-Element nicht größer als 64 KB sein.
Bei der Aktivierung exportiert die Zero-ETL-Integration die vollständige DynamoDB-Tabelle, um die Amazon Redshift Redshift-Datenbank zu füllen. Wie lange es dauert, bis dieser erste Vorgang abgeschlossen ist, hängt von der Größe der DynamoDB-Tabelle ab. Die Zero-ETL-Integration repliziert dann inkrementell Updates von DynamoDB nach Amazon Redshift mithilfe inkrementeller DynamoDB-Exporte. Das bedeutet, dass die replizierten DynamoDB-Daten in Amazon Redshift automatisch aufbewahrt werden. up-to-date

Derzeit beträgt die Mindestlatenz für die DynamoDB Zero-ETL-Integration 15 Minuten. Sie können sie weiter erhöhen, indem Sie für eine Zero-ETL-Integration einen Wert ungleich Null REFRESH_INTERVAL festlegen. Weitere Informationen finden Sie unter CREATE DATABASE und ALTER DATABASE im Amazon Redshift Database Developer Guide.

Informationen zu Amazon DynamoDB DynamoDB-Quellen finden Sie auch unter Voraussetzungen und Einschränkungen im Amazon DynamoDB DynamoDB-Entwicklerhandbuch.

Überlegungen, wenn die Zero-ETL-Integrationsquelle Anwendungen wie Salesforce, SAP und Zendesk sind ServiceNow

Die folgenden Überlegungen gelten für Quellanwendungen wie Salesforce ServiceNow, SAP und Zendesk mit Amazon Redshift.

Tabellen- und Spaltennamen aus Anwendungsquellen mit mehr als 127 Zeichen werden nicht unterstützt.
Die maximale Länge eines Amazon Redshift VARCHAR-Datentyps beträgt 65.535 Byte. Wenn der Inhalt aus der Quelle dieses Limit nicht erfüllt, wird die Replikation nicht fortgesetzt und die Tabelle wird in den Status „Fehlgeschlagen“ versetzt. Sie können den Datenbankparameter auf so einstellenTRUNCATECOLUMNS, TRUE dass der Inhalt so gekürzt wird, dass er in die Spalte passt. Informationen zur Einstellung TRUNCATECOLUMNS finden Sie unter CREATE DATABASE und ALTER DATABASE im Amazon Redshift Database Developer Guide.

Weitere Informationen zu den Datentypunterschieden zwischen Anwendungsquellen für die Zero-ETL-Integration und Amazon Redshift Redshift-Datenbanken finden Sie unter Zero-ETL-Integrationen im Developer Guide.AWS Glue
Die Mindestlatenz für eine Zero-ETL-Integration mit Anwendungen beträgt 1 Stunde. Sie können sie weiter erhöhen, indem Sie REFRESH_INTERVAL für eine Zero-ETL-Integration einen Wert ungleich Null festlegen. Weitere Informationen finden Sie unter CREATE DATABASE und ALTER DATABASE im Amazon Redshift Database Developer Guide.