Test du flux Firehose avec des exemples de données - Amazon Data Firehose
PrérequisTestez avec Amazon S3Testez avec Amazon RedshiftTester avec OpenSearch ServiceTestez avec SplunkTester avec les tables Apache Iceberg

La diffusion de flux Amazon Data Firehose vers les tables Apache Iceberg dans Amazon S3 est en version préliminaire et peut faire l'objet de modifications.

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Test du flux Firehose avec des exemples de données

Vous pouvez utiliser le AWS Management Console pour ingérer des données boursières simulées. La console exécute un script dans votre navigateur pour ajouter des exemples d'enregistrements à votre stream Firehose. Cela vous permet de tester la configuration de votre flux Firehose sans avoir à générer vos propres données de test.

Voici un exemple de simulation de données :

{"TICKER_SYMBOL":"QXZ","SECTOR":"HEALTHCARE","CHANGE":-0.05,"PRICE":84.51}

Notez que les frais standard d'Amazon Data Firehose s'appliquent lorsque votre flux Firehose transmet les données, mais qu'ils sont gratuits lorsque les données sont générées. Pour ne pas entraîner ces frais, vous pouvez arrêter à tout moment l'exemple de flux sur la console.

Prérequis

Avant de commencer, créez un stream Firehose. Pour plus d’informations, consultez Création d'un stream Firehose.

Testez avec Amazon S3

Utilisez la procédure suivante pour tester votre flux Firehose avec Amazon Simple Storage Service (Amazon S3) comme destination.

Pour tester un flux Firehose à l'aide d'Amazon S3

  1. Ouvrez la console Firehose à l'adresse. https://console.aws.amazon.com/firehose/

  2. Choisissez un stream Firehose actif. Le flux Firehose doit être actif pour que vous puissiez commencer à envoyer des données.

  3. Sous Test with demo data, choisissez Start sending demo data pour générer des exemples de données de symbole boursier.

  4. Suivez les instructions à l'écran pour vérifier que les données sont remises à votre compartiment S3. Notez que les nouveaux objets peuvent prendre quelques minutes à s'afficher dans votre compartiment, selon la configuration de la mise en mémoire tampon de votre compartiment.

  5. Une fois le test terminé, choisissez Stop sending demo data pour arrêter les frais d'utilisation.

Testez avec Amazon Redshift

Utilisez la procédure suivante pour tester votre flux Firehose avec Amazon Redshift comme destination.

Pour tester un flux Firehose à l'aide d'Amazon Redshift

  1. Votre stream Firehose s'attend à ce qu'une table soit présente dans votre cluster Amazon Redshift. Connectez-vous à Amazon Redshift via une SQL interface et exécutez l'instruction suivante pour créer une table qui accepte les exemples de données.

    create table firehose_test_table
(
	TICKER_SYMBOL varchar(4),
	SECTOR varchar(16),
	CHANGE float,
	PRICE float
);

  2. Ouvrez la console Firehose à l'adresse. https://console.aws.amazon.com/firehose/

  3. Choisissez un stream Firehose actif. Le flux Firehose doit être actif pour que vous puissiez commencer à envoyer des données.

  4. Modifiez les détails de destination de votre flux Firehose afin qu'il pointe vers la table nouvellement crééefirehose_test_table.

  5. Sous Test with demo data, choisissez Start sending demo data pour générer des exemples de données de symbole boursier.

  6. Suivez les instructions à l'écran pour vérifier que les données sont remises à votre table. Notez que les nouvelles lignes peuvent prendre quelques minutes à s'afficher dans votre table, selon la configuration de la mise en mémoire tampon.

  7. Une fois le test terminé, choisissez Stop sending demo data pour arrêter les frais d'utilisation.

  8. Modifiez les détails de destination de votre flux Firehose pour qu'il pointe vers une autre table.

  9. (Facultatif) Supprimez la table firehose_test_table.

Tester avec OpenSearch Service

Utilisez la procédure suivante pour tester votre flux Firehose en utilisant Amazon OpenSearch Service comme destination.

Pour tester un stream Firehose à l'aide du service OpenSearch

  1. Ouvrez la console Firehose à l'adresse. https://console.aws.amazon.com/firehose/

  2. Choisissez un stream Firehose actif. Le flux Firehose doit être actif pour que vous puissiez commencer à envoyer des données.

  3. Sous Test with demo data, choisissez Start sending demo data pour générer des exemples de données de symbole boursier.

  4. Suivez les instructions affichées à l'écran pour vérifier que les données sont transmises à votre domaine OpenSearch de service. Pour plus d'informations, consultez la section Rechercher des documents dans un domaine OpenSearch de service dans le manuel Amazon OpenSearch Service Developer Guide.

  5. Une fois le test terminé, choisissez Stop sending demo data pour arrêter les frais d'utilisation.

Testez avec Splunk

Utilisez la procédure suivante pour tester votre stream Firehose en utilisant Splunk comme destination.

Pour tester un stream Firehose à l'aide de Splunk

  1. Ouvrez la console Firehose à l'adresse. https://console.aws.amazon.com/firehose/

  2. Choisissez un stream Firehose actif. Le flux Firehose doit être actif pour que vous puissiez commencer à envoyer des données.

  3. Sous Test with demo data, choisissez Start sending demo data pour générer des exemples de données de symbole boursier.

  4. Vérifiez si les données sont bien remises à votre index Splunk. Voici des exemples de termes recherche dans Splunk : sourcetype="aws:firehose:json" et index="name-of-your-splunk-index". Pour savoir comment rechercher des événements dans Splunk, consultez le manuel Search Manual dans la documentation Splunk.

    Si les données de test n'apparaissent pas dans votre index Splunk, vérifiez si votre compartiment Amazon S3 contient des événements en échec. Consultez également Données non diffusées à Splunk.

  5. Une fois le test terminé, choisissez Stop sending demo data pour cesser de supporter des coûts d'utilisation.

Tester avec les tables Apache Iceberg

Utilisez la procédure suivante pour tester votre flux Firehose avec les tables Apache Iceberg comme destination.

Pour tester un flux Firehose à l'aide des tables Apache Iceberg

  1. Ouvrez la console Firehose à l'adresse. https://console.aws.amazon.com/firehose/

  2. Choisissez un stream Firehose actif. Le flux Firehose doit être actif pour que vous puissiez commencer à envoyer des données.

  3. Sous Test with demo data, choisissez Start sending demo data pour générer des exemples de données de symbole boursier.

  4. Suivez les instructions affichées à l'écran pour vérifier que les données sont transmises à vos tables Apache Iceberg. Notez que l'apparition de nouveaux objets dans votre bucket peut prendre quelques minutes, en fonction de sa configuration de mise en mémoire tampon.

  5. Si les données de test n'apparaissent pas dans vos tables Apache Iceberg, vérifiez la présence d'événements ayant échoué dans votre compartiment Amazon S3.

  6. Une fois le test terminé, choisissez Stop sending demo data pour cesser de supporter des coûts d'utilisation.