Verwenden des Deep Learning-AMI mit Conda

Einführung in das Deep Learning AMI mit Conda

Conda ist ein Open-Source-Paket- und Umgebungsverwaltungssystem, das unter Windows, MacOS und Linux ausgeführt werden kann. Conda installiert, startet und aktualisiert Pakete und deren Abhängigkeiten. Conda erstellt, speichert, lädt und wechselt Umgebungen auf Ihrem lokalen Computer.

Das Deep Learning AMI mit Conda wurde so konfiguriert, dass Sie einfach zwischen Deep-Learning-Umgebungen wechseln können. Die folgenden Anweisungen zeigen Ihnen einige grundlegende Befehle in conda. Sie unterstützen Sie bei der Überprüfung der korrekten Funktionsweise des grundlegenden Imports des Frameworks und der Ausführung einiger einfacher Operationen. Sie können dann zu ausführlicheren Tutorials übergehen, die mit dem DLAMI bereitgestellt werden, oder zu den Frameworks-Beispielen, die Sie auf der Projektseite der einzelnen Frameworks finden.

Loggen Sie sich in Ihr DLAMI ein

Nachdem Sie sich an Ihrem Server angemeldet haben, sehen Sie eine Server-MOTD (Message Of The Day) mit verschiedenen Conda-Befehlen, mit denen Sie zwischen den verschiedenen Deep-Learning-Frameworks wechseln können. Unten folgt eine Beispiel-MOTD. Ihr spezifisches MOTD kann variieren, wenn neue Versionen des DLAMI veröffentlicht werden.

Anmerkung

Die Umgebungen CNTK, Caffe, Caffe2, Theano, Chainer und Keras Conda sind ab Version 28 nicht mehr enthalten. AWS Deep Learning AMI Frühere Versionen von, die AWS Deep Learning AMI diese Umgebungen enthalten, werden weiterhin verfügbar sein. Wir werden jedoch nur Updates für diese Umgebungen bereitstellen, wenn von der Open-Source-Community Sicherheitskorrekturen für diese Frameworks veröffentlicht werden.

=============================================================================
       __|  __|_  )
       _|  (     /   Deep Learning AMI (Ubuntu 18.04) Version 40.0
      ___|\___|___|
=============================================================================

Welcome to Ubuntu 18.04.5 LTS (GNU/Linux 5.4.0-1037-aws x86_64v)

Please use one of the following commands to start the required environment with the framework of your choice:
for AWS MX 1.7 (+Keras2) with Python3 (CUDA 10.1 and Intel MKL-DNN) _______________________________ source activate mxnet_p36
for AWS MX 1.8 (+Keras2) with Python3 (CUDA + and Intel MKL-DNN) ___________________________ source activate mxnet_latest_p37
for AWS MX(+AWS Neuron) with Python3 ___________________________________________________ source activate aws_neuron_mxnet_p36
for AWS MX(+Amazon Elastic Inference) with Python3 _______________________________________ source activate amazonei_mxnet_p36
for TensorFlow(+Keras2) with Python3 (CUDA + and Intel MKL-DNN) _____________________________ source activate tensorflow_p37
for Tensorflow(+AWS Neuron) with Python3 _________________________________________ source activate aws_neuron_tensorflow_p36
for TensorFlow 2(+Keras2) with Python3 (CUDA 10.1 and Intel MKL-DNN) _______________________ source activate tensorflow2_p36
for TensorFlow 2.3 with Python3.7 (CUDA + and Intel MKL-DNN) ________________________ source activate tensorflow2_latest_p37
for PyTorch 1.4 with Python3 (CUDA 10.1 and Intel MKL) _________________________________________ source activate pytorch_p36
for PyTorch 1.7.1 with Python3.7 (CUDA 11.0 and Intel MKL) ________________________________ source activate pytorch_latest_p37
for PyTorch (+AWS Neuron) with Python3 ______________________________________________ source activate aws_neuron_pytorch_p36
for base Python3 (CUDA 10.0) _______________________________________________________________________ source activate python3

Ein Conda-Befehl hat das folgende Muster:

source activate framework_python-version

Möglicherweise sehen Sie, was bedeutetfor MXNet(+Keras1) with Python3 (CUDA 10.1) _____________________ source activate mxnet_p36, dass die Umgebung MXNet, Keras 1, Python 3 und CUDA 10.1 enthält. Und um diese Umgebung zu aktivieren, lautet der Befehl:

$ source activate mxnet_p36

Starten Sie die Umgebung TensorFlow

Anmerkung

Wenn Sie Ihre erste Conda-Umgebung starten, haben Sie bitte etwas Geduld, während diese geladen wird. Das Deep Learning AMI mit Conda installiert bei der ersten Aktivierung des Frameworks automatisch die optimierteste Version des Frameworks für Ihre EC2-Instance. Es sollten keine weiteren Verzögerungen auftreten.

1. Aktivieren Sie die TensorFlow virtuelle Umgebung für Python 3.

   $ source activate tensorflow_p37

2. Starten Sie das iPython-Terminal.

   (tensorflow_37)$ ipython

3. Führen Sie ein schnelles TensorFlow Programm aus.

   
   import tensorflow as tf
   hello = tf.constant('Hello, TensorFlow!')
   sess = tf.Session()
   print(sess.run(hello))
   

Es sollte "Hello, Tensorflow!" angezeigt werden.

Nächstes Thema

Ausführen von Jupyter-Notebook-Tutorials

Wechseln Sie zur PyTorch Python-3-Umgebung

Wenn Sie sich noch in der IPython-Konsole befinden, verwenden Sie und bereiten Sie sich dann darauf vorquit(), die Umgebung zu wechseln.

• Aktivieren Sie die PyTorch virtuelle Umgebung für Python 3.

  $ source activate pytorch_p36

Testen Sie etwas PyTorch Code

Um Ihre Installation zu testen, verwenden Sie Python, um PyTorch Code zu schreiben, der ein Array erstellt und ausgibt.

1. Starten Sie das iPython-Terminal.

   (pytorch_p36)$ ipython

2. Importieren PyTorch.

   import torch

   Möglicherweise wird eine Warnmeldung zu einem Paket eines Drittanbieters angezeigt. Sie können sie ignorieren.

3. Erstellen Sie eine 5x3-Matrix mit zufällig initialisierten Elementen. Drucken Sie das Array.

   x = torch.rand(5, 3)
   print(x)

   Überprüfen Sie das Ergebnis.

   tensor([[0.3105, 0.5983, 0.5410],
           [0.0234, 0.0934, 0.0371],
           [0.9740, 0.1439, 0.3107],
           [0.6461, 0.9035, 0.5715],
           [0.4401, 0.7990, 0.8913]])

Wechseln Sie zur MXNet-Python-3-Umgebung

Wenn Sie sich noch in der IPython-Konsole befinden, verwenden Sie und bereiten Sie sich dann darauf vorquit(), die Umgebung zu wechseln.

• Aktivieren Sie die virtuelle MXNet-Umgebung für Python 3.

  $ source activate mxnet_p36

Testen Sie etwas MXNet-Code

Um Ihre Installation zu testen, schreiben Sie mit Python MXNet-Code, der mit der NDArray-API ein Array erstellt und anzeigt. Weitere Informationen finden Sie unter NDArray-API.

1. Starten Sie das iPython-Terminal.

   (mxnet_p36)$ ipython

2. MXNet importieren.

   import mxnet as mx

   Möglicherweise wird eine Warnmeldung zu einem Paket eines Drittanbieters angezeigt. Sie können sie ignorieren.

3. Erstellen Sie eine 5x5-Matrix (eine Instance von NDArray) mit Elementen, die mit 0 initialisiert sind. Drucken Sie das Array.

   mx.ndarray.zeros((5,5)).asnumpy()

   Überprüfen Sie das Ergebnis.

   array([[ 0.,  0.,  0.,  0.,  0.],
          [ 0.,  0.,  0.,  0.,  0.],
          [ 0.,  0.,  0.,  0.,  0.],
          [ 0.,  0.,  0.,  0.,  0.],
          [ 0.,  0.,  0.,  0.,  0.]], dtype=float32)

   Weitere Beispiele zu MXNet finden Sie im Abschnitt "MXNet-Tutorials".

Entfernen von Umgebungen

Wenn Ihnen der Speicherplatz auf dem DLAMI ausgeht, können Sie Conda-Pakete, die Sie nicht verwenden, deinstallieren:

conda env list
conda env remove –-name <env_name>