Installieren externer Bibliotheken und Kernel in Notebook-Instances

Bei Amazon SageMaker Notebook-Instances sind bereits mehrere Umgebungen installiert. Diese Umgebungen enthalten Jupyter-Kernel und Python-Pakete, darunter: scikit, Pandas NumPy TensorFlow, und MXNet. Diese Umgebungen und alle Dateien im Ordner sample-notebooks werden aktualisiert, wenn Sie eine Notebook-Instance starten und beenden. Sie können auch Ihre eigenen Umgebungen mit Paketen und Kernel Ihrer Wahl installieren.

Die verschiedenen Jupyter-Kernel in SageMaker Amazon-Notebook-Instances sind separate Conda-Umgebungen. Weitere Informationen zu Conda-Umgebungen finden Sie unter Managing environments (Verwalten von Umgebungen) in der Conda-Dokumentation.

Installieren Sie benutzerdefinierte Umgebungen und Kernel auf dem Amazon-EBS-Volume der Notebook-Instance. Dadurch wird sichergestellt, dass sie bestehen bleiben, wenn Sie die Notebook-Instance beenden und neu starten, und dass alle externen Bibliotheken, die Sie installieren, nicht von aktualisiert werden SageMaker. Verwenden Sie dazu eine Lebenszykluskonfiguration, die sowohl ein Skript enthält, das beim Erstellen der Notebook-Instanz ausgeführt wird (on-create)als auch ein Skript, das bei jedem Neustart der Notebook-Instanz ausgeführt wird (on-start). Weitere Informationen zur Verwendung von Lebenszykluskonfigurationen für Notebook-Instances finden Sie unterAnpassen einer Notebook-Instances mithilfe eines Lifecycle-Konfigurationsskripts. Unter SageMakerNotebook Instance Lifecycle Config Samples gibt es ein GitHub Repository mit Beispielskripten für die Lebenszykluskonfiguration.

Die Beispiele unter https://github.com/aws-samples/amazon-sagemaker-notebook-instance -lifecycle-config-samples /blob/master/scripts/persistent-conda-ebs /on-create.sh und https://github.com/aws-samples/amazon-sagemaker-notebook-instance -lifecycle-config-samples /blob/master/scripts/persistent-conda-ebs /on-start.sh zeigen die bewährte Methode für die Installation von Umgebungen und Kerneln auf einer Notebook-Instance. Dason-create Skript installiert dieipykernel Bibliothek, um benutzerdefinierte Umgebungen als Jupyter-Kernelconda install zu erstellen,pip install und verwendet und installiert dann Bibliotheken. Sie können das Skript anpassen, um benutzerdefinierte Umgebungen zu erstellen und die gewünschten Bibliotheken zu installieren. SageMaker aktualisiert diese Bibliotheken nicht, wenn Sie die Notebook-Instance beenden und neu starten, sodass Sie sicherstellen können, dass Ihre benutzerdefinierte Umgebung über bestimmte Versionen von Bibliotheken verfügt, die Sie benötigen. Dason-start Skript installiert alle benutzerdefinierten Umgebungen, die Sie als Jupyter-Kernel erstellen, sodass sie in der Dropdown-Liste im Menü Jupyter New erscheinen.

Tools zur Paketinstallation

SageMaker Notebooks unterstützen die folgenden Tools zur Paketinstallation:

• Conda installieren

• Pip installieren

Sie können Pakete mithilfe der folgenden Methoden installieren:

• Lebenszykluskonfigurationsskripte.

  Beispiele für Skripts finden Sie unter SageMakerNotebook Instance Lifecycle Config Samples. Weitere Informationen zur Lebenszykluskonfiguration finden Sie unter Anpassen einer Notebook-Instance mithilfe eines Lebenszykluskonfigurationsskripts.

• Notebooks — Die folgenden Befehle werden unterstützt.

  • %conda install

  • %pip install

• Das Jupyter-Terminal — Sie können Pakete direkt mit Pip und Conda installieren.

In einem Notizbuch können Sie die Systembefehlssyntax verwenden (Zeilen, die mit! beginnen) um Pakete zu installieren, zum Beispiel,!pip install und!conda install. In jüngerer Zeit wurden IPython um neue Befehle erweitert:%pip und%conda. Diese Befehle sind die empfohlene Methode, um Pakete von einem Notebook aus zu installieren, da sie die aktive Umgebung oder den verwendeten Interpreter korrekt berücksichtigen. Weitere Informationen finden Sie unter Hinzufügen der magischen Funktionen %pip und %conda.

Conda

Conda ist ein Open-Source-Paketverwaltungssystem und Umweltmanagementsystem, das Pakete und ihre Abhängigkeiten installieren kann. SageMaker unterstützt die Verwendung von Conda mit einem der beiden Hauptkanäle, dem Standardkanal und dem Conda-Forge-Kanal. Weitere Informationen finden Sie unter Conda-Kanäle. Der Conda-Forge-Kanal ist ein Community-Kanal, auf dem Mitwirkende Pakete hochladen können.

Anmerkung

Aufgrund der Art und Weise, wie Conda das Abhängigkeitsdiagramm auflöst, kann die Installation von Paketen von conda-forge erheblich länger dauern (im schlimmsten Fall mehr als 10 Minuten).

Das Deep Learning AMI wird mit vielen Conda-Umgebungen und vielen vorinstallierten Paketen geliefert. Aufgrund der Anzahl der vorinstallierten Pakete ist es schwierig, eine Reihe von Paketen zu finden, die garantiert kompatibel sind. Möglicherweise wird die Warnung „Die Umgebung ist inkonsistent, bitte überprüfen Sie den Paketplan sorgfältig“. Stellt trotz dieser Warnung SageMaker sicher, dass alle SageMaker bereitgestellten Umgebungen korrekt sind. SageMaker kann nicht garantieren, dass alle vom Benutzer installierten Pakete korrekt funktionieren.

Conda hat zwei Methoden zur Aktivierung von Umgebungen: Conda aktivieren/deaktivieren und Quelle aktivieren/deaktivieren. Weitere Informationen finden Sie unter Sollte ich unter Linux „Conda Activate“ oder „Source Activate“ verwenden.

SageMaker unterstützt das Verschieben von Conda-Umgebungen auf das Amazon EBS-Volume, das beibehalten wird, wenn die Instance gestoppt wird. Die Umgebungen werden nicht beibehalten, wenn die Umgebungen auf dem Root-Volume installiert werden, was das Standardverhalten ist. Ein Beispiel für ein Lebenszyklusskript finden Sie unter persistent-conda-ebs.

Unterstützte Conda-Operationen (siehe Hinweis am Ende dieses Themas)

• Conda-Installation eines Pakets in einer einzigen Umgebung

• Conda-Installation eines Pakets in allen Umgebungen

• Conda-Installation eines R-Pakets in der R-Umgebung

• Installation eines Pakets aus dem Conda-Hauptrepository

• Ein Paket von conda-forge installieren

• Änderung des Conda-Installationsverzeichnisses zur Verwendung von EBS

• Unterstützt sowohl Conda Activate als auch Source Activate

Pip

Pip ist das De-facto-Tool für die Installation und Verwaltung von Python-Paketen. Pip sucht standardmäßig nach Paketen im PyPI (PyPI). Im Gegensatz zu Conda verfügt Pip nicht über eine integrierte Umgebungsunterstützung und ist nicht so gründlich wie Conda, wenn es um Pakete mit nativen oder Systembibliotheksabhängigkeiten geht. Pip kann verwendet werden, um Pakete in Conda-Umgebungen zu installieren.

Sie können alternative Paket-Repositorys mit Pip anstelle von PyPI verwenden. Ein Beispiel für ein Lebenszyklusskript finden Sie unter on-start.sh.

Unterstützte Pip-Operationen (siehe Hinweis am Ende dieses Themas)

• Verwenden von pip, um ein Paket ohne aktive Conda-Umgebung zu installieren (Pakete systemweit installieren)

• Verwenden von pip, um ein Paket in einer Conda-Umgebung zu installieren

• Verwenden von pip, um ein Paket in allen Conda-Umgebungen zu installieren

• Ändern des Pip-Installationsorts zur Verwendung von EBS

• Verwenden eines alternativen Repositorys, um Pakete mit pip zu installieren

Nicht unterstützt

SageMaker zielt darauf ab, so viele Paketinstallationsvorgänge wie möglich zu unterstützen. Wenn die Pakete jedoch von SageMaker oder DLAMI installiert wurden und Sie die folgenden Operationen für diese Pakete verwenden, könnte Ihre Notebook-Instanz dadurch instabil werden:

• Deinstallieren

• Herabstufung

• Upgrading

Wir bieten keine Unterstützung für die Installation von Paketen über yum install oder die Installation von R-Paketen von CRAN.

Aufgrund möglicher Probleme mit den Netzwerkbedingungen oder Konfigurationen oder der Verfügbarkeit von Conda oder können wir nicht garantieren PyPi, dass Pakete in einer festen oder bestimmten Zeit installiert werden.

Anmerkung

Wir können nicht garantieren, dass eine Paketinstallation erfolgreich ist. Der Versuch, ein Paket in einer Umgebung mit inkompatiblen Abhängigkeiten zu installieren, kann zu einem Fehler führen. In einem solchen Fall sollten Sie sich an den Bibliotheksbetreuer wenden, um zu erfahren, ob es möglich ist, die Paketabhängigkeiten zu aktualisieren. Alternativ können Sie versuchen, die Umgebung so zu ändern, dass die Installation möglich ist. Diese Änderung wird jedoch wahrscheinlich das Entfernen oder Aktualisieren vorhandener Pakete bedeuten, was bedeutet, dass wir die Stabilität dieser Umgebung nicht mehr garantieren können.