Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Si des bibliothèques supplémentaires sont requises par votre script utilisateur, vous avez la possibilité de créer un environnement virtuel pour stocker ces bibliothèques. Si vous n'avez pas besoin de bibliothèques supplémentaires, vous pouvez ignorer cette étape.
Lorsque vous travaillez avec des bibliothèques dotées d'extensions natives, gardez à l'esprit qu'elles AWS Clean Rooms fonctionnent PySpark sous Linux avec une ARM64 architecture.
La procédure suivante explique comment créer un environnement virtuel à l'aide d'une commande CLI de base.
Pour créer un environnement virtuel
-
Ouvrez un terminal ou une invite de commande.
-
Ajoutez le contenu suivant :
# create and activate a python virtual environment python3 -m venv pyspark_venvsource source pyspark_venvsource/bin/activate # install the python packages pip3 install pycrypto # add packages here # package the virtual environment into an archive pip3 install venv-pack venv-pack -f -o pyspark_venv.tar.gz # optionally, remove the virtual environment directory deactivate rm -fr pyspark_venvsource -
Vous êtes maintenant prêt à stocker cet environnement virtuel dans S3. Pour de plus amples informations, veuillez consulter Stockage d'un script utilisateur et d'un environnement virtuel dans S3.
Pour plus d'informations sur l'utilisation de Docker et Amazon ECR, consultez le guide Amazon ECRUser .
