Teradata-Vantage-Verbindungen

Sie können AWS Glue für Spark verwenden, um aus vorhandenen Tabellen in Teradata Vantage in AWS Glue 4.0 und späteren Versionen zu lesen und in diese zu schreiben. Sie können definieren, was mit einer SQL-Abfrage aus Teradata gelesen werden soll. Sie können eine Verbindung zu Teradata herstellen, indem Sie Anmeldeinformationen für Benutzernamen und Passwörter verwenden, die in AWS Secrets Manager über eine - AWS Glue-Verbindung gespeichert sind.

Weitere Informationen zu Teradata finden Sie in der Teradata-Dokumentation

Konfigurieren von Teradata-Verbindungen

Um von AWS Glue aus eine Verbindung zu Teradata herzustellen, müssen Sie Ihre Teradata-Anmeldeinformationen erstellen und in einem - AWS Secrets Manager Secret speichern und dieses Secret dann einer AWS Glue-Teradata-Verbindung zuordnen. Wenn sich Ihre Teradata-Instance in einer Amazon VPC befindet, müssen Sie auch Netzwerkoptionen für Ihre - AWS Glue-Teradata-Verbindung bereitstellen.

Um von AWS Glue aus eine Verbindung zu Teradata herzustellen, benötigen Sie möglicherweise einige Voraussetzungen:

• Wenn Sie über Amazon VPC auf Ihre Teradata-Umgebung zugreifen, konfigurieren Sie Amazon VPC so, dass Ihr - AWS Glue-Auftrag mit der Teradata-Umgebung kommunizieren kann. Wir raten davon ab, über das öffentliche Internet auf die Teradata-Umgebung zuzugreifen.

  Identifizieren oder erstellen Sie in Amazon VPC eine VPC, ein Subnet zund eine Sicherheitsgruppe, die AWS Glue bei der Ausführung des Auftrags verwendet. Darüber hinaus muss Amazon VPC so konfiguriert sein, dass der Netzwerkdatenverkehr zwischen Ihrer Teradata-Instance und diesem Standort zugelassen wird. Ihr Auftrag muss eine TCP-Verbindung mit Ihrem Teradata-Client-Port herstellen. Weitere Informationen zu Teradata-Ports finden Sie in der Teradata-Dokumentation.

  Abhängig von Ihrem Netzwerklayout kann eine sichere VPC-Konnektivität Änderungen an Amazon VPC und anderen Netzwerkdiensten erfordern. Weitere Informationen zur AWS Konnektivität finden Sie unter AWS Konnektivitätsoptionen in der Teradata-Dokumentation.

So konfigurieren Sie eine AWS Glue-Teradata-Verbindung:

1. Identifizieren oder erstellen Sie in Ihrer Teradata-Konfiguration einen Benutzer und ein Passwort, mit dem AWS Glue eine Verbindung herstellt, teradataUser und teradataPassword . Weitere Informationen finden Sie in der Teradata-Dokumentation unter Vantage Security Overview.

2. Erstellen Sie AWS Secrets Manager in ein Secret mit Ihren Teradata-Anmeldeinformationen. Um ein Secret in Secrets Manager zu erstellen, folgen Sie dem Tutorial unter Erstellen eines AWS Secrets Manager Secrets in der - AWS Secrets Manager Dokumentation. Behalten Sie nach dem Erstellen des Secrets den Namen des Secrets, secretName für den nächsten Schritt bei.

   • Erstellen Sie bei der Auswahl von Schlüssel/Wert-Paaren ein Paar für den Schlüssel user mit dem Wert teradataUsername.

   • Erstellen Sie bei der Auswahl von Schlüssel/Wert-Paaren ein Paar für den Schlüssel password mit dem Wert teradataPassword.

3. Erstellen Sie in der - AWS Glue-Konsole eine Verbindung, indem Sie die Schritte unter ausführenHinzufügen einer AWS Glue-Verbindung. Behalten Sie nach dem Erstellen der Verbindung den Verbindungsnamen connectionName für den nächsten Schritt bei.

   • Wählen Sie als Verbindungstyp Teradata aus.

   • Wenn Sie die IDBC-URL angeben, geben Sie die URL für Ihre Instance an. Sie können auch bestimmte durch Kommas getrennte Verbindungsparameter in Ihrer JDBC-URL fest codieren. Die URL muss dem folgenden Format entsprechen: jdbc:teradata://teradataHostname/ParameterName=ParameterValue,ParameterName=ParameterValue

     Zu den unterstützten URL-Parametern gehören:

     • DATABASE – Name der Datenbank auf dem Host, auf die standardmäßig zugegriffen werden soll.

     • DBS_PORT – der Datenbankport, der verwendet wird, wenn nicht der standardmäßige Port genutzt wird.

   • Wenn Sie einen Anmeldeinformationstyp auswählen, wählen Sie AWS Secrets Manager aus und legen Sie für das AWS -Secret den Wert secretName fest.

4. In den folgenden Situationen ist möglicherweise eine zusätzliche Konfiguration erforderlich:

   • Für Teradata-Instances, die auf AWS in einer Amazon VPC gehostet werden

     • Sie müssen Amazon-VPC-Verbindungsinformationen für die - AWS Glue-Verbindung bereitstellen, die Ihre Teradata-Sicherheitsanmeldeinformationen definiert. Wenn Sie Ihre Verbindung erstellen oder aktualisieren, legen Sie VPC, Subnetz und Sicherheitsgruppen in den Netzwerkoptionen fest.

Nachdem Sie eine AWS Glue-Teradata-Verbindung erstellt haben, müssen Sie die folgenden Schritte ausführen, bevor Sie Ihre Verbindungsmethode aufrufen.

• Erteilen Sie der IAM-Rolle, die Ihrem - AWS Glue-Auftrag zugeordnet ist, die Berechtigung, secretName zu lesen.

• Geben Sie in Ihrer - AWS Glue-Auftragskonfiguration connectionName als zusätzliche Netzwerkverbindung an.

Lesen aus Teradata

Voraussetzungen:

• Eine Teradata-Tabelle, aus der gelesen werden soll. Sie benötigen den Namen der Tabelle, tableName.

• Eine AWS Glue-Teradata-Verbindung, die für die Bereitstellung von Authentifizierungsinformationen konfiguriert ist. Gehen Sie wie folgt vor, um eine Verbindung zu Teradata zu konfigurieren, um Ihre Authentifizierungsinformationen zu konfigurieren. Sie benötigen den Namen der - AWS Glue-Verbindung, connectionName .

Beispielsweise:

teradata_read_table = glueContext.create_dynamic_frame.from_options(
    connection_type="teradata",
    connection_options={
        "connectionName": "connectionName",
        "dbtable": "tableName"
    }
)

Sie können auch eine SELECT-SQL-Abfrage angeben, um die an Ihr zurückgegebenen Ergebnisse zu filtern DynamicFrame. Sie müssen query konfigurieren.

Beispielsweise:

teradata_read_query = glueContext.create_dynamic_frame.from_options(
    connection_type="teradata",
    connection_options={
        "connectionName": "connectionName",
        "query": "query"
    }
)

Schreiben in Teradata-Tabellen

Voraussetzungen: Eine Teradata-Tabelle, in die Sie schreiben möchten, tableName. Sie müssen die Tabelle erstellen, bevor Sie die Verbindungsmethode aufrufen.

Beispielsweise:

teradata_write = glueContext.write_dynamic_frame.from_options(
    connection_type="teradata",
    connection_options={
        "connectionName": "connectionName", 
        "dbtable": "tableName"
    }
)

Referenz zur Teradata-Verbindungsoption

• connectionName – Erforderlich. Wird für Lesen/Schreiben verwendet. Der Name einer AWS Glue-Teradata-Verbindung, die für die Bereitstellung von Authentifizierungs- und Netzwerkinformationen für Ihre Verbindungsmethode konfiguriert ist.

• dbtable – Zum Schreiben erforderlich, zum Lesen erforderlich, sofern query nicht angegeben ist. Wird für Lesen/Schreiben verwendet. Der Name einer Tabelle, mit der Ihre Verbindungsmethode interagieren wird.

• query – Wird zum Lesen verwendet. Eine SELECT-SQL-Abfrage, die definiert, was beim Lesen aus Teradata abgerufen werden soll.