Exportieren von Daten-Streams inAWS Cloud(Konsole)

Herunterladen desAWS IoT GreengrassCore SDK für Pythonv1.5.0 oder höher.

Entpacken Sie das heruntergeladene Paket, um das SDK zu erhalten. Das SDK ist der greengrasssdk-Ordner.

Installieren Sie Paketabhängigkeiten, die mit dem SDK in Ihr Bereitstellungspaket für Lambda-Funktionen aufgenommen werden

Speichern Sie die folgende Pythoncode-Funktion in einer lokalen Datei namens transfer_stream.py.

import asyncio
import logging
import random
import time

from greengrasssdk.stream_manager import (
    ExportDefinition,
    KinesisConfig,
    MessageStreamDefinition,
    ReadMessagesOptions,
    ResourceNotFoundException,
    StrategyOnFull,
    StreamManagerClient,
)


# This example creates a local stream named "SomeStream".
# It starts writing data into that stream and then stream manager automatically exports  
# the data to a customer-created Kinesis data stream named "MyKinesisStream". 
# This example runs forever until the program is stopped.

# The size of the local stream on disk will not exceed the default (which is 256 MB).
# Any data appended after the stream reaches the size limit continues to be appended, and
# stream manager deletes the oldest data until the total stream size is back under 256 MB.
# The Kinesis data stream in the cloud has no such bound, so all the data from this script is
# uploaded to Kinesis and you will be charged for that usage.


def main(logger):
    try:
        stream_name = "SomeStream"
        kinesis_stream_name = "MyKinesisStream"

        # Create a client for the StreamManager
        client = StreamManagerClient()

        # Try deleting the stream (if it exists) so that we have a fresh start
        try:
            client.delete_message_stream(stream_name=stream_name)
        except ResourceNotFoundException:
            pass

        exports = ExportDefinition(
            kinesis=[KinesisConfig(identifier="KinesisExport" + stream_name, kinesis_stream_name=kinesis_stream_name)]
        )
        client.create_message_stream(
            MessageStreamDefinition(
                name=stream_name, strategy_on_full=StrategyOnFull.OverwriteOldestData, export_definition=exports
            )
        )

        # Append two messages and print their sequence numbers
        logger.info(
            "Successfully appended message to stream with sequence number %d",
            client.append_message(stream_name, "ABCDEFGHIJKLMNO".encode("utf-8")),
        )
        logger.info(
            "Successfully appended message to stream with sequence number %d",
            client.append_message(stream_name, "PQRSTUVWXYZ".encode("utf-8")),
        )

        # Try reading the two messages we just appended and print them out
        logger.info(
            "Successfully read 2 messages: %s",
            client.read_messages(stream_name, ReadMessagesOptions(min_message_count=2, read_timeout_millis=1000)),
        )

        logger.info("Now going to start writing random integers between 0 and 1000 to the stream")
        # Now start putting in random data between 0 and 1000 to emulate device sensor input
        while True:
            logger.debug("Appending new random integer to stream")
            client.append_message(stream_name, random.randint(0, 1000).to_bytes(length=4, signed=True, byteorder="big"))
            time.sleep(1)

    except asyncio.TimeoutError:
        logger.exception("Timed out while executing")
    except Exception:
        logger.exception("Exception while running")


def function_handler(event, context):
    return


logging.basicConfig(level=logging.INFO)
# Start up this sample code
main(logger=logging.getLogger())

Packen Sie die folgenden Elemente in einer ZIP-Datei mit dem Namen transfer_stream_python.zip. Dies ist das Bereitstellungspaket Ihrer Lambda-Funktion.

Wenn Sie die zip-Datei erstellen, schließen Sie nur diese Elemente ein, nicht den enthaltenen Ordner.

Zunächst erstellen Sie die Lambda-Funktion.

1. Wählen Sie in der AWS Management Console Services und öffnen Sie die AWS Lambda-Konsole.

2. Klicken Sie aufFunktion erstellenund wählen Sie dannAuthor from scratch.

3. Verwenden Sie im Abschnitt Basic information (Basisinformationen) folgende Werte:

   • Geben Sie für Function name (Funktionsname) TransferStream ein.

   • Wählen Sie für Runtime (Laufzeit) die Option Python 3.7 aus.

   • FürBerechtigungenverwenden, behalten Sie die Standardeinstellung bei. Dadurch wird eine Ausführungsrolle erstellt, die grundlegende Lambda-Berechtigungen gewährt. Diese Rolle wird nicht von verwendetAWS IoT Greengrass.

4. Klicken Sie unten auf der Seite auf Create function.

Registrieren Sie jetzt den Handler und laden Sie Ihr Bereitstellungspaket für Lambda-Funktionen hoch

1. Auf derCodeunterQuellcode, wählenHochladen von. Wählen Sie in der Dropdown-Liste die OptionZIP-Datei.

   

2. Klicken Sie aufHochladenund wählen Sie dann Ihrtransfer_stream_python.zipBereitstellungspaket. Wählen Sie dann Save (Speichern) aus.

3. Auf derCodefür die Funktion, unterLaufzeit-Einstellungen, wählenBearbeiten, und geben Sie die folgenden Werte ein.

   • Wählen Sie für Runtime (Laufzeit) die Option Python 3.7 aus.

   • Geben Sie unter Handler transfer_stream.function_handler ein.

4. Wählen Sie Save (Speichern) aus.

   Anmerkung

   DieTest-Schaltfläche auf derAWS Lambda-Konsole funktioniert nicht mit dieser -Funktion. DieAWS IoT GreengrassDas Core SDK enthält keine Module, die erforderlich sind, um Ihre Greengrass Lambda-Funktionen unabhängig imAWS Lambdaconsole. Diese Module (zum Beispielgreengrass_common) werden für die Funktionen bereitgestellt, nachdem sie in Ihrem Greengrass-Kern bereitgestellt wurden.

Veröffentlichen Sie jetzt die erste Version der Lambda-Funktion und erstellen Sie eineAlias für die Version.

1. Wählen Sie im Menü Actions die Option Publish new version aus.

2. Geben Sie unter Version description (Versionsbeschreibung) den Wert First version ein und wählen Sie dann Publish (Veröffentlichen) aus.

3. Auf derTransferStream: 1-Konfigurationsseite, von derAktionen-Menü wählen SieErstellen eines Alias.

4. Geben Sie auf der Seite Create a new alias folgende Werte an:

   • Geben Sie unter Name GG_TransferStream ein.

   • Wählen Sie für Version die Option 1.

   Anmerkung

   AWS IoT Greengrassunterstützt keine Lambda-Aliasse für$LATESTVersionen.

5. Wählen Sie Create (Erstellen) aus.

In derAWS IoTNavigationsbereich der -Konsole unterVerwalten, erweiternGreengrass-Geräteund wählen Sie dannGruppen (V1).

Wählen Sie die Zielgruppe aus.

Wählen Sie auf der Gruppenkonfigurationsseite die OptionLambda-FunktionenRegisterkarte.

UnderMeine Lambda-Funktionen, wählenAdd.

Auf derHinzufügen einer Lambda-Funktion-Seite wählen Sie die OptionLambda-Funktionfür Ihre Lambda-Funktion.

Für denLambda-Version, wählenAlias: GG_TransferStream.

Konfigurieren Sie jetzt Eigenschaften, die das Verhalten der Lambda-Funktion in der Greengrass-Gruppe bestimmen.

In derKonfiguration der Lambda-Funktiondie folgenden Änderungen durch:

Klicken Sie aufHinzufügen einer Lambda-Funktion.

Wählen Sie auf der Gruppenkonfigurationsseite die OptionLambda-FunktionenRegisterkarte.

UnderLambda-Funktionen, wählen SieStream-Managerund überprüfen Sie den Status. Wenn diese Option deaktiviert ist, wählen Sie Bearbeiten aus. Wählen Sie dann Aktivieren und Speichern aus. Sie können die Standardparametereinstellungen für dieses Lernprogramm verwenden. Weitere Informationen finden Sie unter Konfigurieren des AWS IoT Greengrass-Stream-Managers.

Überprüfen Sie unter Konfiguration der lokalen Protokolle, ob die lokale Protokollierung konfiguriert ist.

Wenn keine Protokolle für Greengrass-Systemkomponenten oder benutzerdefinierte Lambda-Funktionen konfiguriert sind, wählen SieBearbeiten.

Klicken Sie aufBenutzer-Lambda-Funktionen auf ProtokollebeneundGreengrass-Systemprotokollebene.

Behalten Sie die Standardwerte für die Protokollierungsebene und Kontingentsgrenze bei. Wählen Sie anschließend Save (Speichern) aus.

Stellen Sie sicher, dass dieAWS IoT Greengrasscore läuft. Führen Sie im Raspberry Pi-Terminal die folgenden Befehle aus, falls nötig.

1. So prüfen Sie, ob der Daemon ausgeführt wird:

   ps aux | grep -E 'greengrass.*daemon'

   Wenn die Ausgabe einen root-Eintrag für /greengrass/ggc/packages/ggc-version/bin/daemon enthält, dann wird der Daemon ausgeführt.

   Anmerkung

   Die Version in dem Pfad hängt von der AWS IoT Greengrass-Core-Softwareversion ab, die auf Ihrem Core-Gerät installiert ist.

2. So starten Sie den Daemon:

   cd /greengrass/ggc/core/
   sudo ./greengrassd start

Wählen Sie auf der Gruppenkonfigurationsseite die OptionBereitstellen.

1. In derLambda-Funktionenunter der RegisterkarteSystem-Lambda-FunktionenAbschnitt, wählen SieIP-Detektorund wähleBearbeiten.

2. In derEinstellungen für IP-Detektor bearbeiten-Dialogfeld wählen SieAutomatisches Erkennen und Überschreiben von MQTT-Broker-.

3. Wählen Sie Save (Speichern) aus.

   Damit können Geräte automatisch Core-Verbindungsinformationen abrufen, z. B. die IP-Adresse, DNS und die Portnummer. Die automatische Ermittlung wird empfohlen, aber AWS IoT Greengrass unterstützt auch manuell angegebene Endpunkte. Sie werden nur bei der ersten Bereitstellung der Gruppe zur Angabe der Ermittlungsmethode aufgefordert.

   Anmerkung

   Erteilen Sie bei Aufforderung die Berechtigung zum Erstellen desGreengrass-Servicerolleund assoziiere es mit deinemAWS-Kontoin der aktuellenAWS-Region. Diese Rolle erlaubtAWS IoT Greengrassum auf Ihre -Ressourcen zuzugreifenAWS-Services.

   Auf der Seite Deployments werden der Zeitstempel, die Versions-ID und der Status der Bereitstellung angegeben. Nach abgeschlossener Bereitstellung sollte der StatusCompleted (Abgeschlossen).

   Hilfe zur Problembehebung finden Sie unter Fehlerbehebung für AWS IoT Greengrass.

In der Amazon Kinesis Kinesis-Konsole unterKinesis Data Streams, wählenMyKinesisStream.

Auf derMyKinesisStream-Seite wählen SieÜberwachung. Wenn der Test erfolgreich ist, sollten Sie die Daten in den Put Records (Datensätze übergeben)-Diagrammen sehen. Je nach Verbindung kann es eine Minute dauern, bis die Daten angezeigt werden.

cd /greengrass/ggc/core/
sudo ./greengrassd stop

Remove dasTransferStreamLambda-Funktion aus dem Core.

1. In derAWS IoTNavigationsbereich der -Konsole unterVerwalten, erweiternGreengrass-Geräteund wählen Sie dannGruppen (V1).

2. UnderGreengrass-Gruppenwählen Sie Ihre Gruppe aus.

3. Auf derLambdadie Ellipsen (...) für dasTransferStream-Funktion und wählen Sie dannFunktion entfernen.

4. Wählen Sie unter Actions (Aktionen) die Option Deploy (Bereitstellen) aus.