Connexion aux données dans les tâches Ray

Les tâches AWS Glue Ray peuvent utiliser un large éventail de packages Python conçus pour vous permettre d'intégrer rapidement des données. Nous fournissons un ensemble minimal de dépendances afin de ne pas encombrer votre environnement. Pour plus d'informations sur ce qui est inclus par défaut, consultez Modules fournis avec les tâches Ray.

Note

AWS Glueextract, transform, and load (ETL) fournit l' DynamicFrame abstraction nécessaire pour rationaliser les flux de travail ETL dans lesquels vous résolvez les différences de schéma entre les lignes de votre ensemble de données. AWS Glue fournit des fonctionnalités supplémentaires : signets de tâches et groupements des fichiers d'entrée. Actuellement, nous ne proposons pas de fonctionnalités correspondantes dans les tâches Ray.

AWS Glue pour Spark fournit une prise en charge directe de la connexion à certains formats de données, sources et récepteurs. Dans Ray, le kit AWS SDK pour Pandas et les bibliothèques tierces actuelles répondent en grande partie à ce besoin. Vous devrez consulter ces bibliothèques pour connaître les fonctionnalités disponibles.

L'intégration AWS Glue pour Ray avec Amazon VPC n'est pas disponible actuellement. Les ressources d'un Amazon VPC ne seront pas accessibles sans routage public. Pour plus d'informations sur l'utilisation de AWS Glue avec les Amazon VPC, consultez Configuration des VPC points de terminaison d'interface (AWS PrivateLink) pour AWS Glue (AWS PrivateLink).

Bibliothèques communes pour travailler avec des données dans Ray

Ray Data : Ray Data fournit des méthodes pour gérer les formats de données, les sources et les récepteurs courants. Pour plus d'informations sur les formats et les sources pris en charge dans Ray Data, consultez Input/Output dans la documentation Ray Data. Ray Data est une bibliothèque d'opinion, plutôt qu'une bibliothèque générale, destinée à manipuler des jeux de données.

Ray fournit des conseils sur les cas d'utilisation où Ray Data pourrait être la meilleure solution pour votre tâche. Pour plus d'informations, consultez les cas d'utilisation de Ray dans la documentation Ray.

AWSSDK pour pandas (awswrangler) — Le AWS SDK pour pandas est un AWS produit qui fournit des solutions propres et testées pour la lecture et l'écriture vers des AWS services lorsque vos transformations gèrent des données avec des pandas. DataFrames Pour plus d'informations sur les formats et les sources pris en charge dans le kit AWS SDK pour Pandas, consultez API Reference dans la documentation du kit AWS SDK pour Pandas.

Pour obtenir des exemples de lecture et d'écriture de données avec le kit AWS SDK pour Pandas, consultez le Quick Start dans la documentation du kit AWS SDK pour Pandas. Le kit AWS SDK pour Pandas ne fournit pas de transformations pour vos données. Il fournit uniquement une prise en charge pour la lecture et l'écriture à partir de sources.

Modin : Modin est une bibliothèque Python qui implémente les opérations Pandas courantes de manière distribuable. Pour plus d'informations sur Modin, consultez Modin documentation. Modin lui-même ne fournit pas de prise en charge de la lecture et de l'écriture à partir de sources. Il fournit des implémentations distribuées de transformations courantes. Modin est pris en charge par le kit AWS SDK pour Pandas.

Lorsque vous exécutez Modin et le kit AWS SDK pour Pandas ensemble dans un environnement Ray, vous pouvez effectuer des tâches ETL courantes avec des résultats performants. Pour plus d'informations sur l'utilisation de Modin avec le kit AWS SDK pour Pandas, consultez At scale dans la documentation du kit AWS SDK pour Pandas.

Autres frameworks — Pour plus d'informations sur les frameworks pris en charge par Ray, consultez The Ray Ecosystem dans la documentation Ray. Nous ne prenons pas en charge d'autres cadres dans AWS Glue pour Ray.

Connexion aux données via le catalogue de données

La gestion de vos données via le catalogue de données en conjonction avec les tâches Ray est prise en charge par le kit AWS SDK pour Pandas. Pour plus d'informations, consultez le Catalogue Glue sur le site Web du kit SDK AWS pour Pandas.