Hue mit einer Remote-Datenbank in Amazon verwenden RDS

Standardmäßig werden Hue-Benutzerinformationen und Abfrageverläufe in einer lokalen SQL My-Datenbank auf dem Master-Knoten gespeichert. Alternativ können Sie einen oder mehrere HUE-fähige Cluster mithilfe einer in Amazon S3 gespeicherten Konfiguration und einer Meine SQL Datenbank in Amazon Relational Database Service (Amazon) erstellen. RDS Auf diese Weise können Sie Benutzerinformationen und den von Hue erstellten Abfrageverlauf beibehalten, ohne Ihren EMR Amazon-Cluster am Laufen zu halten. Wir empfehlen die Verwendung der serverseitigen Amazon-S3-Verschlüsselung zum Speichern der Konfigurationsdatei.

Erstellen Sie zunächst die Remote-Datenbank für Hue.

Um die externe Datenbank „MeineSQL“ zu erstellen

1. Öffnen Sie die RDS Amazon-Konsole unter https://console.aws.amazon.com/rds/.

2. Klicken Sie auf Launch a DB Instance (Eine DB-Instance starten).

3. Wählen Sie Mein SQL und klicken Sie auf Auswählen.

4. Behalten Sie die Standardauswahl für Multi-AZ Deployment und Provisioned IOPS Storage bei und klicken Sie auf Weiter.

5. Übernehmen Sie die Standardwerte für die Instance-Spezifikationen, geben Sie Einstellungen an, und klicken Sie auf Next (Weiter).

6. Wählen Sie auf der Seite "Configure Advanced Settings" eine geeignete Sicherheitsgruppe und einen Datenbanknamen aus. Die von Ihnen verwendete Sicherheitsgruppe muss mindestens den TCP Eingangszugriff für Port 3306 vom Master-Knoten Ihres Clusters aus zulassen. Wenn Sie zu diesem Zeitpunkt noch keinen Cluster erstellt haben, können Sie für alle Hosts eine Verbindung mit Port 3306 zulassen und die Sicherheitsgruppe anpassen, nachdem Sie den Cluster gestartet haben. Klicken Sie auf Launch DB Instance (DB-Instance starten).

7. Wählen Sie im RDS Dashboard Instances und dann die Instanz aus, die Sie gerade erstellt haben. Wenn Ihre Datenbank verfügbar ist, notieren Sie sich den Datenbanknamen, den Benutzernamen, das Passwort und den RDS Instanz-Hostnamen. Diese Informationen benötigen Sie zum Erstellen und Konfigurieren Ihres Clusters.

Um eine externe My SQL database für Hue anzugeben, wenn Sie einen Cluster starten, verwenden Sie AWS CLI

Um beim Starten eines Clusters mithilfe von eine externe My SQL database für Hue anzugeben AWS CLI, verwenden Sie die Informationen, die Sie bei der Erstellung Ihrer RDS Instanz für die Konfiguration hue.ini mit einem Konfigurationsobjekt notiert haben

Anmerkung

Sie können mehrere Cluster mit derselben externen Datenbank erstellen, aber jeder Cluster gibt Abfrageverläufe und Benutzerdaten frei.

• Erstellen Sie mit dem einen Cluster AWS CLI, auf dem Hue installiert ist, verwenden Sie die externe Datenbank, die Sie erstellt haben, und verweisen Sie auf eine Konfigurationsdatei mit einer Konfigurationsklassifizierung für Hue, die die Datenbankeigenschaften spezifiziert. Im folgenden Beispiel wird ein Cluster mit installiertem Hue erstellt, der auf die Konfigurationsdatei Amazon S3 in myConfig.json verweist, die die Datenbankkonfiguration angibt.

  Anmerkung

  Linux-Zeilenfortsetzungszeichen (\) sind aus Gründen der Lesbarkeit enthalten. Sie können entfernt oder in Linux-Befehlen verwendet werden. Entfernen Sie sie unter Windows oder ersetzen Sie sie durch ein Caret-Zeichen (^).

  aws emr create-cluster --release-label emr-7.2.0 --applications Name=Hue Name=Spark Name=Hive \
  --instance-type m5.xlarge --instance-count 3 \
  --configurations https://s3.amazonaws.com/mybucket/myfolder/myConfig.json --use-default-roles

  Beispielinhalte der myConfig.json-Datei werden unten angezeigt. Ersetzen dbname, username, password, und RDS instance hostname mit den Werten, die Sie zuvor im RDS Dashboard notiert haben.

  [{
    "Classification": "hue-ini",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "desktop",
        "Properties": {},
        "Configurations": [
          {
            "Classification": "database",
            "Properties": {
              "name": "dbname",
              "user": "username",
              "password": "password",
              "host": "RDS instance hostname",
              "port": "3306",
              "engine": "mysql"
            },
            "Configurations": []
          }
        ]
      }
    ]
  }]

Fehlerbehebung

Im Falle eines RDS Amazon-Failovers

Beim Ausführen einer Abfrage können Verzögerungen auftreten, da die Hue-Datenbank-Instance nicht reagiert oder sich in einem Failover befindet. Im Folgenden finden Sie einige Fakten und Leitlinien für dieses Problem:

• Wenn Sie sich bei der RDS Amazon-Konsole anmelden, können Sie nach Failover-Ereignissen suchen. Um beispielsweise festzustellen, ob ein Failover ausgeführt wird oder aufgetreten ist, suchen Sie nach Ereignissen wie "Multi-AZ instance failover started" und "Multi-AZ instance failover completed".

• Es dauert etwa 30 Sekunden, bis eine RDS Instance einen Failover abgeschlossen hat.

• Wenn Sie longer-than-normal Antworten auf Anfragen in Hue erhalten, versuchen Sie, die Abfrage erneut auszuführen.