Testen des Firehose-Streams mit Beispieldaten - Amazon Data Firehose
VoraussetzungenTesten Sie mit Amazon S3Testen Sie mit Amazon RedshiftTesten Sie mit Service OpenSearch Testen Sie mit SplunkTesten Sie mit Apache Iceberg-Tabellen

Die Bereitstellung von Amazon Data Firehose-Streams an Apache Iceberg Tables in Amazon S3 befindet sich in der Vorschauversion und kann sich ändern.

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Testen des Firehose-Streams mit Beispieldaten

Sie können die verwenden AWS Management Console , um simulierte Börsentickerdaten aufzunehmen. Die Konsole führt ein Skript in Ihrem Browser aus, um Beispieldatensätze in Ihren Firehose-Stream einzufügen. Auf diese Weise können Sie die Konfiguration Ihres Firehose-Streams testen, ohne Ihre eigenen Testdaten generieren zu müssen.

Es folgt ein Beispiel für simulierte Daten:

{"TICKER_SYMBOL":"QXZ","SECTOR":"HEALTHCARE","CHANGE":-0.05,"PRICE":84.51}

Beachten Sie, dass die Standardgebühren von Amazon Data Firehose anfallen, wenn Ihr Firehose-Stream die Daten überträgt, aber keine Gebühren anfallen, wenn die Daten generiert werden. Damit diese Gebühren nicht mehr anfallen, können Sie den Beispiel-Stream über die Konsole jederzeit beenden.

Voraussetzungen

Bevor Sie beginnen, erstellen Sie einen Firehose-Stream. Weitere Informationen finden Sie unter Tutorial: Einen Firehose-Stream von der Konsole aus erstellen.

Testen Sie mit Amazon S3

Verwenden Sie das folgende Verfahren, um Ihren Firehose-Stream mit Amazon Simple Storage Service (Amazon S3) als Ziel zu testen.

Um einen Firehose-Stream mit Amazon S3 zu testen

  1. Öffnen Sie die Firehose-Konsole unter https://console.aws.amazon.com/firehose/.

  2. Wählen Sie einen aktiven Firehose-Stream. Der Firehose-Stream muss den Status Aktiv haben, bevor Sie mit dem Senden von Daten beginnen können.

  3. Wählen Sie unter Test with demo data die Option Start sending demo data, um Börsenticker-Beispieldaten zu generieren.

  4. Befolgen Sie die Anweisungen auf dem Bildschirm, um zu überprüfen, ob die Daten an Ihren S3-Bucket übermittelt werden. Beachten Sie, dass es je nach der Pufferkonfiguration Ihres Buckets einige Minuten dauern kann, bis neue Objekte in Ihrem Bucket angezeigt werden.

  5. Wenn der Test abgeschlossen ist, wählen Sie Stop sending demo data, damit keine nutzungsabhängigen Gebühren mehr anfallen.

Testen Sie mit Amazon Redshift

Verwenden Sie das folgende Verfahren, um Ihren Firehose-Stream mit Amazon Redshift als Ziel zu testen.

So testen Sie einen Firehose-Stream mit Amazon Redshift

  1. Ihr Firehose-Stream erwartet, dass eine Tabelle in Ihrem Amazon Redshift Redshift-Cluster vorhanden ist. Stellen Sie über eine SQL Schnittstelle eine Connect zu Amazon Redshift her und führen Sie die folgende Anweisung aus, um eine Tabelle zu erstellen, die die Beispieldaten akzeptiert.

    create table firehose_test_table
(
	TICKER_SYMBOL varchar(4),
	SECTOR varchar(16),
	CHANGE float,
	PRICE float
);

  2. Öffnen Sie die Firehose-Konsole unter https://console.aws.amazon.com/firehose/.

  3. Wählen Sie einen aktiven Firehose-Stream. Der Firehose-Stream muss den Status Aktiv haben, bevor Sie mit dem Senden von Daten beginnen können.

  4. Bearbeiten Sie die Zieldetails für Ihren Firehose-Stream so, dass sie auf die neu erstellte firehose_test_table Tabelle verweisen.

  5. Wählen Sie unter Test with demo data die Option Start sending demo data, um Börsenticker-Beispieldaten zu generieren.

  6. Befolgen Sie die Anweisungen auf dem Bildschirm, um zu überprüfen, ob die Daten an Ihre Tabelle übermittelt werden. Beachten Sie, dass es je nach der Pufferkonfiguration einige Minuten dauern kann, bis neue Zeilen in Ihrer Tabelle angezeigt werden.

  7. Wenn der Test abgeschlossen ist, wählen Sie Stop sending demo data, damit keine nutzungsabhängigen Gebühren mehr anfallen.

  8. Bearbeiten Sie die Zieldetails für Ihren Firehose-Stream so, dass sie auf eine andere Tabelle verweisen.

  9. (Optional) Löschen Sie die firehose_test_table-Tabelle.

Testen Sie mit Service OpenSearch

Verwenden Sie das folgende Verfahren, um Ihren Firehose-Stream mit Amazon OpenSearch Service als Ziel zu testen.

Um einen Firehose-Stream mit OpenSearch Service zu testen

  1. Öffnen Sie die Firehose-Konsole unter https://console.aws.amazon.com/firehose/.

  2. Wählen Sie einen aktiven Firehose-Stream. Der Firehose-Stream muss den Status Aktiv haben, bevor Sie mit dem Senden von Daten beginnen können.

  3. Wählen Sie unter Test with demo data die Option Start sending demo data, um Börsenticker-Beispieldaten zu generieren.

  4. Folgen Sie den Anweisungen auf dem Bildschirm, um zu überprüfen, ob Daten an Ihre OpenSearch Service-Domain übermittelt werden. Weitere Informationen finden Sie unter Suchen nach Dokumenten in einer OpenSearch Service-Domain im Amazon OpenSearch Service Developer Guide.

  5. Wenn der Test abgeschlossen ist, wählen Sie Stop sending demo data, damit keine nutzungsabhängigen Gebühren mehr anfallen.

Testen Sie mit Splunk

Verwenden Sie das folgende Verfahren, um Ihren Firehose-Stream mit Splunk als Ziel zu testen.

So testen Sie einen Firehose-Stream mit Splunk

  1. Öffnen Sie die Firehose-Konsole unter https://console.aws.amazon.com/firehose/.

  2. Wählen Sie einen aktiven Firehose-Stream. Der Firehose-Stream muss den Status Aktiv haben, bevor Sie mit dem Senden von Daten beginnen können.

  3. Wählen Sie unter Test with demo data die Option Start sending demo data, um Börsenticker-Beispieldaten zu generieren.

  4. Überprüfen Sie, ob die Daten an Ihren Splunk-Index gesendet werden. Beispiel für Suchbegriffe in Splunk sind sourcetype="aws:firehose:json" und index="name-of-your-splunk-index". Weitere Informationen zum Suchen von Ereignissen in Splunk finden Sie unter Search Manual in der Splunk-Dokumentation.

    Wenn die Testdaten nicht in Ihrem Splunk-Index erscheinen, überprüfen Sie Ihren Amazon-S3-Bucket auf fehlgeschlagene Ereignisse. Lesen Sie auch unter Daten wurden nicht an Splunk bereitgestellt nach.

  5. Wenn Sie den Test abgeschlossen haben, wählen Sie Stop sending demo data, damit keine nutzungsabhängigen Gebühren mehr anfallen.

Testen Sie mit Apache Iceberg-Tabellen

Verwenden Sie das folgende Verfahren, um Ihren Firehose-Stream mit Apache Iceberg Tables als Ziel zu testen.

Um einen Firehose-Stream mit Apache Iceberg Tables zu testen

  1. Öffnen Sie die Firehose-Konsole unter https://console.aws.amazon.com/firehose/.

  2. Wählen Sie einen aktiven Firehose-Stream. Der Firehose-Stream muss den Status Aktiv haben, bevor Sie mit dem Senden von Daten beginnen können.

  3. Wählen Sie unter Test with demo data die Option Start sending demo data, um Börsenticker-Beispieldaten zu generieren.

  4. Folgen Sie den Anweisungen auf dem Bildschirm, um zu überprüfen, ob Daten an Ihre Apache Iceberg-Tabellen übertragen werden. Beachten Sie, dass es je nach Pufferkonfiguration einige Minuten dauern kann, bis neue Objekte in Ihrem Bucket erscheinen.

  5. Wenn die Testdaten nicht in Ihren Apache Iceberg-Tabellen erscheinen, überprüfen Sie Ihren Amazon S3 S3-Bucket auf fehlgeschlagene Ereignisse.

  6. Wenn Sie den Test abgeschlossen haben, wählen Sie Stop sending demo data, damit keine nutzungsabhängigen Gebühren mehr anfallen.