Schritt 1: Vorbereitung der Daten - Amazon-Kinesis-Data-Analytics für SQL-Anwendungen
Schritt 1.1: Erstellen einer Streaming-QuelleSchritt 1.2: Ausfüllen der Streaming-Quelle

Für neue Projekte empfehlen wir, den neuen Managed Service für Apache Flink Studio anstelle von Kinesis-Data-Analytics-for-SQL-Anwendungen zu verwenden. Der Managed Service für Apache Flink Studio kombiniert Benutzerfreundlichkeit mit fortschrittlichen Analysefunktionen, sodass Sie in wenigen Minuten anspruchsvolle Anwendungen zur Stream-Verarbeitung erstellen können.

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Schritt 1: Vorbereitung der Daten

In diesem Abschnitt erstellen Sie einen Kinesis-Datenstrom, und füllen die Datensätze zu Bestellungen und Käufen im Stream. Dies ist die Streaming-Quelle für die Anwendung, die Sie im nächsten Schritt erstellen.

Schritt 1.1: Erstellen einer Streaming-Quelle

Sie können einen Kinesis-Datenstrom mithilfe der Konsole oder mit AWS CLIerstellen. In diesem Beispiel wird OrdersAndTradesStream als Stream-Name angenommen.

  • Verwenden der Konsole – Melden Sie sich bei der an AWS Management Console und öffnen Sie die Kinesis-Konsole unter https://console.aws.amazon.com/kinesis. Wählen Sie Data Streams aus und erstellen Sie anschließend einen Stream mit einer Shard. Weitere Informationen finden Sie unter Einen Stream erstellen im Amazon Kinesis Data Streams-Entwicklerhandbuch.

  • Verwenden der AWS CLI – Verwenden Sie den folgenden Kinesis-create-stream AWS CLI Befehl, um den Stream zu erstellen:

    $ aws kinesis create-stream \
--stream-name OrdersAndTradesStream \
--shard-count 1 \
--region us-east-1 \
--profile adminuser

Schritt 1.2: Ausfüllen der Streaming-Quelle

Führen Sie das folgenden Python-Skript aus, um Beispiel-Protokolldatensätze im OrdersAndTradesStream zu füllen. Wenn Sie den Stream mit einem anderen Namen erstellt haben, aktualisieren Sie den Python-Code dementsprechend.

  1. Installieren Sie Python und pip.

    Informationen zur Installation von Python finden Sie auf der Website für Python.

    Sie können mithilfe von pip Abhängigkeiten installieren. Informationen zur Installation von pip finden Sie unter Installation auf der Website für pip.

  2. Führen Sie den folgenden Python-Code aus. Der Befehl put-record im Code schreibt die JSON-Datensätze zum Stream.

     
import json
import random
import boto3

STREAM_NAME = "OrdersAndTradesStream"
PARTITION_KEY = "partition_key"


def get_order(order_id, ticker):
    return {
        "RecordType": "Order",
        "Oid": order_id,
        "Oticker": ticker,
        "Oprice": random.randint(500, 10000),
        "Otype": "Sell",
    }


def get_trade(order_id, trade_id, ticker):
    return {
        "RecordType": "Trade",
        "Tid": trade_id,
        "Toid": order_id,
        "Tticker": ticker,
        "Tprice": random.randint(0, 3000),
    }


def generate(stream_name, kinesis_client):
    order_id = 1
    while True:
        ticker = random.choice(["AAAA", "BBBB", "CCCC"])
        order = get_order(order_id, ticker)
        print(order)
        kinesis_client.put_record(
            StreamName=stream_name, Data=json.dumps(order), PartitionKey=PARTITION_KEY
        )
        for trade_id in range(1, random.randint(0, 6)):
            trade = get_trade(order_id, trade_id, ticker)
            print(trade)
            kinesis_client.put_record(
                StreamName=stream_name,
                Data=json.dumps(trade),
                PartitionKey=PARTITION_KEY,
            )
        order_id += 1


if __name__ == "__main__":
    generate(STREAM_NAME, boto3.client("kinesis"))

Nächster Schritt

Schritt 2: Erstellen einer -Anwendung