Ekspor aliran data ke AWS Cloud (CLI)

Unduh AWS IoT Greengrass Core SDK for Python v1.5.0 atau yang lebih baru.

Unzip paket unduhan untuk mendapatkan SDK. SDK adalah folder greengrasssdk ini.

Instal paket dependensi untuk menyertakan dengan SDK dalam paket deployment fungsi Lambda Anda.

Simpan fungsi kode Python berikut dalam sebuah file lokal bernama transfer_stream.py.

import asyncio
import logging
import random
import time

from greengrasssdk.stream_manager import (
    ExportDefinition,
    KinesisConfig,
    MessageStreamDefinition,
    ReadMessagesOptions,
    ResourceNotFoundException,
    StrategyOnFull,
    StreamManagerClient,
)


# This example creates a local stream named "SomeStream".
# It starts writing data into that stream and then stream manager automatically exports  
# the data to a customer-created Kinesis data stream named "MyKinesisStream". 
# This example runs forever until the program is stopped.

# The size of the local stream on disk will not exceed the default (which is 256 MB).
# Any data appended after the stream reaches the size limit continues to be appended, and
# stream manager deletes the oldest data until the total stream size is back under 256 MB.
# The Kinesis data stream in the cloud has no such bound, so all the data from this script is
# uploaded to Kinesis and you will be charged for that usage.


def main(logger):
    try:
        stream_name = "SomeStream"
        kinesis_stream_name = "MyKinesisStream"

        # Create a client for the StreamManager
        client = StreamManagerClient()

        # Try deleting the stream (if it exists) so that we have a fresh start
        try:
            client.delete_message_stream(stream_name=stream_name)
        except ResourceNotFoundException:
            pass

        exports = ExportDefinition(
            kinesis=[KinesisConfig(identifier="KinesisExport" + stream_name, kinesis_stream_name=kinesis_stream_name)]
        )
        client.create_message_stream(
            MessageStreamDefinition(
                name=stream_name, strategy_on_full=StrategyOnFull.OverwriteOldestData, export_definition=exports
            )
        )

        # Append two messages and print their sequence numbers
        logger.info(
            "Successfully appended message to stream with sequence number %d",
            client.append_message(stream_name, "ABCDEFGHIJKLMNO".encode("utf-8")),
        )
        logger.info(
            "Successfully appended message to stream with sequence number %d",
            client.append_message(stream_name, "PQRSTUVWXYZ".encode("utf-8")),
        )

        # Try reading the two messages we just appended and print them out
        logger.info(
            "Successfully read 2 messages: %s",
            client.read_messages(stream_name, ReadMessagesOptions(min_message_count=2, read_timeout_millis=1000)),
        )

        logger.info("Now going to start writing random integers between 0 and 1000 to the stream")
        # Now start putting in random data between 0 and 1000 to emulate device sensor input
        while True:
            logger.debug("Appending new random integer to stream")
            client.append_message(stream_name, random.randint(0, 1000).to_bytes(length=4, signed=True, byteorder="big"))
            time.sleep(1)

    except asyncio.TimeoutError:
        logger.exception("Timed out while executing")
    except Exception:
        logger.exception("Exception while running")


def function_handler(event, context):
    return


logging.basicConfig(level=logging.INFO)
# Start up this sample code
main(logger=logging.getLogger())

Zip item berikut ke dalam file bernama transfer_stream_python.zip. Ini adalah paket deployment fungsi Lambda Anda.

Ketika Anda membuat file zip ini, termasuk hanya item ini, bukan folder yang berisi.

Buat IAM role sehingga Anda dapat lulus di dalam peran ARN ketika Anda membuat fungsi.

Salin Arn dari output.

Gunakan AWS Lambda API untuk membuat TransferStream fungsi. Perintah berikut mengasumsikan bahwa file zip ada di dalam direktori saat ini.

aws lambda create-function \
--function-name TransferStream \
--zip-file fileb://transfer_stream_python.zip \
--role role-arn \
--handler transfer_stream.function_handler \
--runtime python3.7

Mempublikasikan versi fungsi.

aws lambda publish-version --function-name TransferStream --description 'First version'

Buat alias untuk versi yang dipublikasikan.

Grup Greengrass dapat mereferensi fungsi Lambda dengan alias (direkomendasikan) atau dengan versi. Menggunakan alias membuatnya lebih mudah untuk mengelola pembaruan kode karena Anda tidak perlu mengubah tabel langganan atau definisi grup ketika kode fungsi diperbarui. Sebaliknya, Anda hanya mengarahkan alias ke versi fungsi baru.

aws lambda create-alias --function-name TransferStream --name GG_TransferStream --function-version 1

Salin AliasArn dari output. Anda menggunakan nilai ini ketika Anda mengonfigurasi fungsi untuk AWS IoT Greengrass.

Buat definisi fungsi dengan versi awal yang berisi sistem dan fungsi Lambda yang ditetapkan pengguna.

Versi definisi berikut mengizinkan pengelola pengaliran dengan default pengaturan parameter. Untuk mengonfigurasi pengaturan kustom, Anda harus menentukan variabel lingkungan untuk parameter pengelola pengaliran yang sesuai. Sebagai contoh, lihat Untuk mengaktifkan, menonaktifkan, atau mengonfigurasi pengelola pengaliran (CLI). AWS IoT Greengrass menggunakan pengaturan default untuk parameter yang dihilangkan. MemorySize setidaknya harus 128000. Pinned harus diatur ke true.

Salin LatestVersionArn dari output. Anda menggunakan nilai ini untuk menambahkan versi definisi fungsi untuk versi grup yang Anda terapkan ke inti.

Membuat definisi pencatat yang mencakup versi awal.

Salin LatestVersionArn dari definisi pencatat dari output. Anda menggunakan nilai ini untuk menambahkan versi definisi pencatat ke versi grup yang Anda men-deploy ke core.

Dapatkan ID dari grup Greengrass target dan versi grup. Prosedur ini mengasumsikan bahwa ini adalah versi grup dan grup terbaru. Query berikut mengembalikan grup yang paling baru dibuat.

aws greengrass list-groups --query "reverse(sort_by(Groups, &CreationTimestamp))[0]"

Atau, Anda dapat melakukan query berdasarkan nama. Nama grup tidak perlu unik, sehingga beberapa grup mungkin ditampilkan.

aws greengrass list-groups --query "Groups[?Name=='MyGroup']"

Salin Id dari grup target dari output. Anda menggunakan ini untuk mendapatkan versi definisi core dan ketika Anda men-deploy grup.

Salin LatestVersion dari output, yang merupakan ID dari versi terakhir ditambahkan ke grup. Anda menggunakan ini untuk mendapatkan versi definisi core.

Dapatkan ARN dari versi definisi core:

1. Dapatkan versi grup.

   • Ganti id-grup dengan Id yang Anda salin untuk grup.

   • Gantigroup-version-iddenganLatestVersionyang Anda salin untuk grup.

   aws greengrass get-group-version \
   --group-id group-id \
   --group-version-id group-version-id

2. Salin CoreDefinitionVersionArn dari output. Anda menggunakan nilai ini untuk menambahkan versi definisi core untuk versi grup yang Anda men-deploy ke core.

Buat versi grup.

aws greengrass create-group-version \
--group-id group-id \
--core-definition-version-arn core-definition-version-arn \
--function-definition-version-arn function-definition-version-arn \
--logger-definition-version-arn logger-definition-version-arn

Salin Version dari output. Ini adalah ID dari versi grup baru.

Pastikan bahwa core AWS IoT Greengrass sedang berjalan. Jalankan perintah berikut di terminal Raspberry Pi Anda, sesuai kebutuhan.

1. Untuk memeriksa apakah daemon sedang berjalan:

   ps aux | grep -E 'greengrass.*daemon'

   Jika outputnya berisi entri root untuk /greengrass/ggc/packages/ggc-version/bin/daemon, maka daemon sedang berjalan.

   catatan

   Versi di jalur tergantung pada versi perangkat lunak AWS IoT Greengrass core yang diinstal pada perangkat core Anda.

2. Untuk memulai daemon:

   cd /greengrass/ggc/core/
   sudo ./greengrassd start

Buat deployment.

aws greengrass create-deployment \
--deployment-type NewDeployment \
--group-id group-id \
--group-version-id group-version-id

Salin DeploymentId dari output.

Dapatkan status deployment.

aws greengrass get-deployment-status \
--group-id group-id \
--deployment-id deployment-id

Jika statusnya Success, deployment berhasil. Untuk langkah-langkah penyelesaian masalah, lihat Pemecahan Masalah AWS IoT Greengrass.

Di konsol Amazon Kinesis, di bawahKinesis data streams, pilihMyKinesisStream.

PadaMyKinesisStreamhalaman, pilihPemantauan. Jika uji berhasil, Anda akan melihat data di bagan Pasang Catatan ini. Tergantung pada koneksi Anda, mungkin diperlukan waktu satu menit sebelum data ditampilkan.

cd /greengrass/ggc/core/
sudo ./greengrassd stop

HapusTransferStreamFungsi Lambda dari core.

1. Ikuti Langkah 6: Buat versi grup untuk membuat versi grup baru. tetapi menghapus --function-definition-version-arn di dalam opsi perintah create-group-version ini. Atau, buat versi definisi fungsi yang tidak mencakupTransferStreamFungsi Lambda.

   catatan

   Dengan menghilangkan fungsi Lambda GGStreamManager sistem dari versi grup yang di-deploy, Anda menonaktifkan pengelolaan pengaliran pada core.

2. Ikuti Langkah 7: Buat deployment untuk men-deploy versi grup baru.