COPY JOB (version préliminaire)

Il s'agit de la documentation préliminaire pour l'autocopie (SQL COPY JOB), qui est en version préliminaire. La documentation et la fonction sont toutes deux sujettes à modification. Nous vous recommandons d’utiliser cette fonction uniquement dans des environnements de test et non dans des environnements de production. L'avant-première publique se terminera le 31 juillet 2024. La version préliminaire des clusters sera automatiquement supprimée deux semaines après la fin de la prévisualisation. Pour voir les conditions générales, consultez Beta and Previews (Bêtas et aperçus) dans les Conditions de service AWS.

Pour plus d’informations sur l’utilisation de la compression en version préliminaire, consultez Ingestion continue de fichiers depuis Amazon S3 (version préliminaire).

Gère les commandes COPY qui chargent les données dans une table. La commande COPY JOB est une extension de la commande COPY et automatise le chargement des données à partir des compartiments Amazon S3. Lorsque vous créez une tâche COPY, Amazon Redshift détecte quand de nouveaux fichiers Amazon S3 sont créés dans un chemin spécifié, puis les charge automatiquement sans votre intervention. Les mêmes paramètres que ceux utilisés dans la commande COPY d’origine sont utilisés lors du chargement des données. Amazon Redshift assure le suivi des fichiers chargés afin de vérifier qu’ils ne sont chargés qu’une seule fois.

Note

Pour plus d’informations sur la commande COPY, notamment sur l’utilisation, les paramètres et les autorisations, consultez COPY.

Autorisation obligatoire

Pour exécuter la commande COPY d’une tâche COPY JOB, vous devez disposer du privilège INSERT sur la table en cours de chargement.

Le rôle IAM spécifié avec la commande COPY doit être autorisé à accéder aux données à charger. Pour plus d’informations, consultez Autorisations IAM pour les commandes COPY, UNLOAD et CREATE LIBRARY.

Syntaxe

Créez une tâche de copie. Les paramètres de la commande COPY sont enregistrés avec la tâche de copie.

COPY copy-command JOB CREATE job-name
[AUTO ON | OFF]

Modifiez la configuration d’une tâche de copie.

COPY JOB ALTER job-name
[AUTO ON | OFF]

Exécutez une tâche de copie. Les paramètres de la commande COPY stockés sont utilisés.

COPY JOB RUN job-name

Répertoriez toutes les tâches de copie.

COPY JOB LIST

Afficher les détails d’une tâche de copie.

COPY JOB SHOW job-name

Supprimez une tâche de copie.

COPY JOB DROP job-name

Paramètres

copy-command

Une commande COPY qui charge les données d’Amazon S3 vers Amazon Redshift. La clause contient des paramètres COPY qui définissent le compartiment Amazon S3, la table cible, le rôle IAM et d’autres paramètres utilisés lors du chargement des données. Tous les paramètres de commande COPY pour un chargement de données Amazon S3 sont pris en charge, à l’exception des suivants :

• La tâche COPY JOB n’ingère pas les fichiers préexistants dans le dossier pointé par la commande COPY. Seuls les fichiers créés après l’horodatage de création de COPY JOB sont ingérés.

• Vous ne pouvez pas spécifier de commande COPY avec les options MAXERROR ou IGNOREALLERRORS.

• Vous ne pouvez pas spécifier un fichier manifeste. COPY JOB nécessite un emplacement Amazon S3 désigné pour surveiller les fichiers nouvellement créés.

• Vous ne pouvez pas spécifier de commande COPY avec des types d’autorisation tels que des clés d’accès et des clés secrètes. Seules les commandes COPY qui utilisent le paramètre IAM_ROLE pour l’autorisation sont prises en charge. Pour plus d’informations, consultez Paramètres d’autorisation.

• COPY JOB ne prend pas en charge le rôle IAM par défaut associé au cluster. Vous devez spécifier le IAM_ROLE dans la commande COPY.

Pour plus d’informations, consultez Commande COPY depuis Amazon S3.

job-name

Nom de la tâche utilisé pour référencer la tâche COPY.

[AUTO ON | OFF]

Clause indiquant si les données Amazon S3 sont automatiquement chargées dans les tables Amazon Redshift.

• Sur ON, Amazon Redshift surveille le chemin Amazon S3 source pour les fichiers nouvellement créés et, s’il en trouve, une commande COPY est exécutée avec les paramètres COPY dans la définition de la tâche. Il s’agit de l’option par défaut.

• Sur OFF, Amazon Redshift n’exécute pas automatiquement COPY JOB.

Notes d’utilisation

Les options de la commande COPY ne sont validées qu’au moment de l’exécution. Par exemple, un IAM_ROLE ou une source de données Amazon S3 non valide entraîne des erreurs d’exécution lorsque COPY JOB démarre.

Si le cluster est suspendu, COPY JOBS ne sont pas exécutées.

Pour interroger les fichiers de commandes COPY chargés et les erreurs de chargement, consultez STL_LOAD_COMMITS, STL_LOAD_ERRORS et STL_LOADERROR_DETAIL. Pour plus d’informations, consultez Vérification que les données ont été chargées correctement.

Exemples

L’exemple suivant montre comment créer COPY JOB pour charger les données d’un compartiment Amazon S3.

COPY public.target_table
FROM 's3://DOC-EXAMPLE-BUCKET/staging-folder'
IAM_ROLE 'arn:aws:iam::123456789012:role/MyLoadRoleName' 
JOB CREATE my_copy_job_name
AUTO ON;