Aktivierung mit Apache Livy HTTPS - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Aktivierung mit Apache Livy HTTPS

  1. Stellen Sie einen EMR Amazon-Cluster mit aktivierter Übertragungsverschlüsselung bereit. Weitere Informationen zur Verschlüsselung finden Sie unter Verschlüsseln von Daten im Ruhezustand und bei der Übertragung.

  2. Erstellen Sie eine Datei mit dem Namen livy_ssl.sh und den folgenden Inhalten.

    #!/bin/bash

KEYSTORE_FILE=`awk '/ssl.server.keystore.location/{getline; print}' /etc/hadoop/conf/ssl-server.xml | sed -e 's/<[^>]*>//g' | tr -d ' \t\n\r\f'`
KEYSTORE_PASS=`awk '/ssl.server.keystore.password/{getline; print}' /etc/hadoop/conf/ssl-server.xml | sed -e 's/<[^>]*>//g' | tr -d ' \t\n\r\f'`
KEY_PASS=`awk '/ssl.server.keystore.keypassword/{getline; print}' /etc/hadoop/conf/ssl-server.xml | sed -e 's/<[^>]*>//g' | tr -d ' \t\n\r\f'`

echo "livy.keystore $KEYSTORE_FILE
livy.keystore.password $KEYSTORE_PASS
livy.key-password $KEY_PASS" | sudo tee -a /etc/livy/conf/livy.conf >/dev/null

sudo systemctl restart livy-server.service

  3. Führen Sie das folgende Skript als EMR Amazon-Schritt aus. Dieses Skript wird geändert, /etc/livy/conf/livy.conf um es zu aktivierenSSL.

    --steps '[{"Args":["s3://DOC-EXAMPLE-BUCKET/livy_ssl.sh"],"Type":"CUSTOM_JAR","ActionOnFailure":"CONTINUE","Jar":"s3://us-east-1.elasticmapreduce/libs/script-runner/script-runner.jar","Properties":"","Name":"Custom JAR"}]'

  4. Starten Sie den Apache-Livy-Service neu, damit die Änderungen wirksam werden. Informationen zum Neustarten von Apache Livy finden Sie unter Stoppen und Neustarten von Prozessen.

  5. Testen Sie, ob die Clients jetzt kommunizieren können mitHTTPS. Um beispielsweise einen Job einzureichen, führen Sie den folgenden Code aus.

    curl -k -X POST --data '{"file": "local:///usr/lib/spark/examples/jars/spark-examples.jar", 
"className": "org.apache.spark.examples.SparkPi"}' \
-H "Content-Type: application/json" \
https://EMR_Master_Node_Host:8998/batches

    Wenn Sie die Aktivierung HTTPS erfolgreich durchgeführt haben, sendet Livy eine Antwort, in der angegeben wird, dass der Befehl akzeptiert und der Batch-Job gesendet wurde.

    {"id":1,"name":null,"owner":null,"proxyUser":null,"state":"starting","appId":null,"appInfo":
{"driverLogUrl":null,"sparkUiUrl":null},"log":["stdout: ","\nstderr: ","\nYARN Diagnostics: "]}