La distribuzione di stream Amazon Data Firehose ad Apache Iceberg Tables in Amazon S3 è in anteprima ed è soggetta a modifiche.
Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Test del flusso Firehose con dati di esempio
È possibile utilizzarli AWS Management Console per importare dati simulati sulle quotazioni azionarie. La console esegue uno script nel browser per inserire record di esempio nello stream Firehose. Ciò consente di testare la configurazione dello stream Firehose senza dover generare i propri dati di test.
Di seguito un esempio dei dati simulati:
{"TICKER_SYMBOL":"QXZ","SECTOR":"HEALTHCARE","CHANGE":-0.05,"PRICE":84.51}
Tieni presente che le tariffe standard di Amazon Data Firehose si applicano quando lo stream Firehose trasmette i dati, ma non è previsto alcun addebito quando i dati vengono generati. Per arrestare l'addebito di questi costi, puoi interrompere il flusso di esempio dalla console in qualsiasi momento.
Indice
Prerequisiti
Prima di iniziare, create uno stream Firehose. Per ulteriori informazioni, consulta Creare uno stream Firehose.
Esegui test con Amazon S3
Utilizza la seguente procedura per testare lo stream Firehose con Amazon Simple Storage Service (Amazon S3) come destinazione.
Per testare uno stream Firehose utilizzando Amazon S3
-
Aprire la console Firehose all'indirizzo. https://console.aws.amazon.com/firehose/
-
Scegliete uno stream Firehose attivo. Lo stream Firehose deve essere in stato Attivo prima di poter iniziare a inviare dati.
-
In Test with demo data (Test con dati di demo), selezionare Start sending demo data (Inizia l'invio di dati di demo) per generare dati su ticket di titoli di esempio.
-
Seguire le istruzioni sullo schermo per verificare che i dati vengano distribuiti sul bucket S3. Alcuni oggetti potrebbero impiegare qualche minuto per comparire nel bucket, in base alla configurazione di buffering del bucket.
-
Al termine del test, selezionare Stop sending demo data (Arresta l'invio di dati di demo) per interrompere l'addebito dei costi di utilizzo.
Esegui test con Amazon Redshift
Utilizza la seguente procedura per testare il tuo stream Firehose con Amazon Redshift come destinazione.
Per testare uno stream Firehose utilizzando Amazon Redshift
-
Lo stream Firehose prevede la presenza di una tabella nel cluster Amazon Redshift. Connect ad Amazon Redshift tramite un'SQLinterfaccia ed esegui la seguente istruzione per creare una tabella che accetti i dati di esempio.
create table firehose_test_table ( TICKER_SYMBOL varchar(4), SECTOR varchar(16), CHANGE float, PRICE float );
-
Aprire la console Firehose all'indirizzo. https://console.aws.amazon.com/firehose/
-
Scegliete uno stream Firehose attivo. Lo stream Firehose deve essere in stato Attivo prima di poter iniziare a inviare dati.
-
Modifica i dettagli della destinazione dello stream Firehose in modo che punti alla tabella appena creata
firehose_test_table
. -
In Test with demo data (Test con dati di demo), selezionare Start sending demo data (Inizia l'invio di dati di demo) per generare dati su ticket di titoli di esempio.
-
Seguire le istruzioni sullo schermo per verificare che i dati vengano distribuiti sulla tabella. Alcune righe potrebbero impiegare qualche minuto per comparire nella tabella in base alla configurazione di buffering.
-
Al termine del test, selezionare Stop sending demo data (Arresta l'invio di dati di demo) per interrompere l'addebito dei costi di utilizzo.
-
Modifica i dettagli della destinazione dello stream Firehose in modo che punti a un'altra tabella.
-
(Opzionale) Eliminare la tabella
firehose_test_table
.
Esegui il test con Service OpenSearch
Utilizza la seguente procedura per testare lo stream Firehose utilizzando Amazon OpenSearch Service come destinazione.
Per testare uno stream Firehose utilizzando Service OpenSearch
-
Aprire la console Firehose all'indirizzo. https://console.aws.amazon.com/firehose/
-
Scegliete uno stream Firehose attivo. Lo stream Firehose deve essere in stato Attivo prima di poter iniziare a inviare dati.
-
In Test with demo data (Test con dati di demo), selezionare Start sending demo data (Inizia l'invio di dati di demo) per generare dati su ticket di titoli di esempio.
-
Segui le istruzioni visualizzate sullo schermo per verificare che i dati vengano recapitati al tuo dominio di OpenSearch servizio. Per ulteriori informazioni, consulta Searching Documents in an OpenSearch Service Domain nella Amazon OpenSearch Service Developer Guide.
-
Al termine del test, selezionare Stop sending demo data (Arresta l'invio di dati di demo) per interrompere l'addebito dei costi di utilizzo.
Prova con Splunk
Usa la seguente procedura per testare lo stream Firehose usando Splunk come destinazione.
Per testare uno stream Firehose usando Splunk
-
Aprire la console Firehose all'indirizzo. https://console.aws.amazon.com/firehose/
-
Scegliete uno stream Firehose attivo. Lo stream Firehose deve essere in stato Attivo prima di poter iniziare a inviare dati.
-
In Test with demo data (Test con dati di demo), selezionare Start sending demo data (Inizia l'invio di dati di demo) per generare dati su ticket di titoli di esempio.
-
Controllare se i dati vengono distribuiti all'indice Splunk. Esempi di termini di ricerca in Splunk sono
sourcetype="aws:firehose:json"
eindex="
. Per ulteriori informazioni su come cercare eventi in Splunk, consulta l'argomento Ricerca manualename-of-your-splunk-index
"nella documentazione di Splunk. Se i dati di test non compaiono nell'indice Splunk, verifica nel bucket Amazon S3 gli eventi non andati a buon fine. Consulta anche Dati non distribuiti su Splunk.
-
Al termine del test, selezionare Stop sending demo data (Arresta l'invio di dati di demo) per interrompere l'addebito dei costi di utilizzo.
Prova con Apache Iceberg Tables
Utilizzate la seguente procedura per testare lo stream Firehose con Apache Iceberg Tables come destinazione.
Per testare uno stream Firehose utilizzando Apache Iceberg Tables
-
Aprire la console Firehose all'indirizzo. https://console.aws.amazon.com/firehose/
-
Scegliete uno stream Firehose attivo. Lo stream Firehose deve essere in stato Attivo prima di poter iniziare a inviare dati.
-
In Test with demo data (Test con dati di demo), selezionare Start sending demo data (Inizia l'invio di dati di demo) per generare dati su ticket di titoli di esempio.
-
Segui le istruzioni sullo schermo per verificare che i dati vengano consegnati alle tue tabelle Apache Iceberg. Tieni presente che potrebbero essere necessari alcuni minuti prima che nuovi oggetti appaiano nel bucket, in base alla sua configurazione di buffering.
-
Se i dati del test non vengono visualizzati nelle tabelle Apache Iceberg, verifica la presenza di eventi non riusciti nel bucket Amazon S3.
-
Al termine del test, selezionare Stop sending demo data (Arresta l'invio di dati di demo) per interrompere l'addebito dei costi di utilizzo.