Ingestion continue de fichiers depuis Amazon S3 (version préliminaire) - Amazon Redshift

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Ingestion continue de fichiers depuis Amazon S3 (version préliminaire)

Il s'agit de la documentation préliminaire pour l'autocopie (SQL COPY JOB), qui est en version préliminaire. La documentation et la fonction sont toutes deux sujettes à modification. Nous vous recommandons d’utiliser cette fonction uniquement dans des environnements de test et non dans des environnements de production. L'avant-première publique se terminera le 31 juillet 2024. La version préliminaire des clusters sera automatiquement supprimée deux semaines après la fin de la prévisualisation. Pour voir les conditions générales, consultez Beta and Previews (Bêtas et aperçus) dans les Conditions de service AWS.
Note

Vous pouvez créer un cluster Amazon Redshift dans Preview (Aperçu) pour tester les nouvelles fonctions d'Amazon Redshift. Vous ne pouvez pas utiliser ces fonctions en production ni déplacer votre cluster de Preview (Aperçu) vers un cluster de production ou un cluster sur une autre piste. Pour voir les conditions générales, consultez Beta and Previews (Bêtas et aperçus) dans les Conditions de service AWS.

Pour créer un cluster dans Preview (Aperçu)

  1. Connectez-vous à la console Amazon Redshift AWS Management Console et ouvrez-la à l'adresse https://console.aws.amazon.com/redshiftv2/.

  2. Dans le menu de navigation, choisissez Provisioned clusters dashboard (Tableau de bord des clusters provisionnés), puis choisissez Clusters. Les clusters associés à votre compte en cours Région AWS sont répertoriés. Un sous-ensemble des propriétés de chaque cluster s’affiche dans les colonnes de la liste.

  3. Une bannière s’affiche sur la page de la liste Clusters qui présente la version préliminaire. Cliquez sur le bouton Create preview cluster (Créer un cluster en version préliminaire) pour ouvrir la page de création d’un cluster.

  4. Saisissez les propriétés de votre cluster. Choisissez Preview track (Piste en version préliminaire) qui contient les fonctions que vous voulez tester. Nous vous recommandons de saisir un nom pour le cluster qui indique qu’il est sur une piste en version préliminaire. Choisissez les options pour votre cluster, y compris les options étiquetées -preview, pour les fonctions que vous souhaitez tester. Pour plus d’informations sur la création de clusters, consultez Création d’un cluster dans le Guide de gestion Amazon Redshift.

  5. Choisissez Créer un cluster pour créer un cluster en version préliminaire.

  6. Lorsque votre cluster en version préliminaire est disponible, utilisez votre client SQL pour charger et interroger des données.

Votre cluster doit être créé avec la piste en version préliminaire nommée : preview_2023. Utilisez un nouveau cluster pour les tests. La restauration d’un cluster dans cette piste n’est pas prise en charge. La fonction de copie automatique n’est pas disponible avec le groupe de travail Amazon Redshift sans serveur.

Cet aperçu est disponible dans les versions suivantes Régions AWS :

  • Région USA Est (Ohio) (us-east-2)

  • Région USA Est (Virginie du Nord) (us-east-1)

  • Région USA Ouest (Oregon) (us-west-2)

  • Région Asie-Pacifique (Tokyo) (ap-northeast-1)

  • Région Europe (Stockholm) (eu-north-1)

  • Région Europe (Irlande) (eu-west-1)

Vous pouvez utiliser un COPY JOB pour charger des données dans vos tables Amazon Redshift à partir de fichiers stockés dans Amazon S3. Amazon Redshift détecte lorsque de nouveaux fichiers Amazon S3 sont ajoutés au chemin spécifié dans votre commande COPY. Une commande COPY est ensuite automatiquement exécutée sans que vous ayez à créer un pipeline d’ingestion de données externe. Amazon Redshift suit les fichiers qui ont été chargés. Amazon Redshift détermine le nombre de fichiers regroupés par commande COPY. Vous pouvez voir les commandes COPY qui en résultent dans les vues système.

Vous définissez une COPY JOB une seule fois. Les mêmes paramètres sont utilisés pour les future exécutions.

Vous gérez les opérations de chargement à l’aide des options CREATE, LIST, SHOW, DROP, ALTER et RUN des tâches. Pour plus d’informations, consultez COPY JOB (version préliminaire).

Vous pouvez interroger les vues du système pour voir le statut et la progression de COPY JOB. Les vues sont fournies comme suit :

Pour obtenir la liste des fichiers chargés par une COPY JOB, exécutez l’exemple suivant en remplaçant <job_id> :

SELECT job_id, job_name, data_source, copy_query,filename,status, curtime
FROM sys_copy_job copyjob
JOIN stl_load_commits loadcommit
ON copyjob.job_id = loadcommit.copy_job_id
WHERE job_id = <job_id>;