IP Insights - Amazon SageMaker

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

IP Insights

Amazon SageMaker IP Insights ist ein unüberwachter Lernalgorithmus, der die Nutzungsmuster für IPv4-Adressen lernt. Er wurde entwickelt, um Zuordnungen zwischen IPv4-Adressen und verschiedenen Entitys, wie beispielsweise Benutzer-IDs oder Kontonummern, zu erfassen. Sie können ihn z. B. zum Identifizieren eines Benutzers verwenden, der versucht, sich von einer anormalen IP-Adresse bei einem Web-Service anzumelden. Sie können ihn auch verwenden, um ein Konto zu identifizieren, das versucht, Datenverarbeitungsressourcen von einer ungewöhnlichen IP-Adresse aus zu erstellen. Trainierte IP Insight-Modelle können an einem Endpunkt für Echtzeit-Prognosen gehostet oder zum Verarbeiten von Stapeltransformationen verwendet werden.

IP-Erkenntnisse von SageMaker erfassen historische Daten (Entity, IPv4-Adresse) als Paare und lernen die IP-Nutzungsmuster der einzelnen Entitys kennen. Bei der Abfrage mit einem Ereignis (Entity, IPv4-Adresse) gibt ein SageMaker IP Insights-Modell eine Punktzahl zurück, die ableitet, wie anormal das Muster des Ereignisses ist. Wenn ein Benutzer z. B. versucht, sich von einer IP-Adresse anzumelden, und die IP Insights-Punktzahl hoch genug ist, entscheidet ein Web-Login-Server möglicherweise ein Multifaktor-Authentifizierungssystem auszulösen. In erweiterten Lösungen können Sie die IP Insights-Punktzahl in ein anderes Machine Learning-Modell einspeisen. Sie können z. B. die IP Insights-Punktzahl mit anderen Funktionen kombinieren, um die Ergebnisse eines anderen Sicherheitssystems, wie die von Amazon GuardDuty, zu gewichten.

Der SageMaker IP Insights-Algorithmus kann auch Vektorrepräsentationen von IP-Adressen lernen, die alsEinbettungenaus. Sie können vektorcodierte Einbettungen als Funktionen in nachgelagerten Machine Learning-Aufgaben verwenden, die die in den IP-Adressen erkannten Informationen nutzen. Beispielsweise können Sie sie in Aufgaben wie Messen von Gemeinsamkeiten zwischen IP-Adressen in Cluster- und Visualisierungsaufgaben verwenden.

E/A-Schnittstelle für den IP Insights-Algorithmus

Training und Validierung

Der SageMaker IP Insights-Algorithmus unterstützt Trainings- und Validierungsdatenkanäle Er verwendet den optionalen Validierungskanal zum Berechnen einer Area-under-curve (AUC)-Punktzahl in einer vordefinierten negativen Sampling-Strategie. Die AUC-Metrik validiert, wie gut das Modell zwischen positiven und negativen Stichproben unterscheidet. Trainings- und Validierungsdaten müssen im text/csv-Format vorliegen. Die erste Spalte der CSV-Daten besteht aus einer opaken Zeichenfolge, die eine eindeutige ID für die Entity angibt. Die zweite Spalte ist eine IPv4-Adresse in Dezimalpunkt-Notation. IP Insights wird derzeit nur im Dateimodus unterstützt. Weitere Informationen und Beispiele finden Sie unter IP Insights – Datenformate für das Training.

Inferenz

Für die Inferenz unterstützt IP Insights die Eingabedaten-Inhaltstypen text/csv, application/json und application/jsonlines. Weitere Informationen zu gängigen Datenformaten für die von SageMaker bereitgestellte Inferenz finden Sie unterGängige Datenformate für die Inferenzaus. Die IP Insights-Inferenz gibt eine als application/json oder application/jsonlines formatierte Ausgabe zurück. Jeder Datensatz in den Ausgabedaten enthält das entsprechende dot_product (oder eine Kompatibilitätspunktzahl) für die einzelnen Eingabedatenpunkte. Weitere Informationen und Beispiele finden Sie unter IP Insights-Inferenzdatenformate.

EC2-Instance-Empfehlung für den IP Insights-Algorithmus

Der SageMaker IP Insights-Algorithmus kann sowohl auf GPU- als auch CPU-Instances ausgeführt Für Trainingsaufgaben empfehlen wir die Verwendung von GPU-Instances. Für bestimmte Workloads mit großen Trainingsdatasets lassen sich die Trainingskosten möglicherweise durch verteilte CPU-Instances reduzieren. Für die Inferenz empfehlen wir die Verwendung von CPU-Instances.

GPU-Instances für den IP Insights-Algorithmus

IP Insights unterstützt alle verfügbaren GPUs. Wenn Sie das Training beschleunigen müssen, empfehlen wir mit einer einzigen GPU-Instance, wie z. B. ml.p3.2xlarge, zu beginnen und dann zu einer Multi-GPU-Umgebung, wie ml.p3.8xlarge und ml.p3.16xlarge, überzugehen. Multi-GPUs teilen automatisch kleine Stapel Trainingsdaten unter einander auf. Wenn Sie von einer einzigen GPU auf mehrere GPUs umstellen, wird die mini_batch_size zu gleichen Teilen auf die Anzahl der verwendeten GPUs aufgeteilt. Als Ausgleich können Sie den Wert der mini_batch_size erhöhen.

CPU-Instances für den IP Insights-Algorithmus

Welchen Typ der CPU-Instance wir empfehlen, hängt vor allem vom verfügbaren Arbeitsspeicher der Instance und der Modellgröße ab. Die Modellgröße wird durch zwei Hyperparameter bestimmt: vector_dim und num_entity_vectors. Die maximale, unterstützte Modellgröße 8 GB. Die folgende Tabelle listet typische EC2-Instance-Typen auf, die Sie auf der Grundlage dieser Eingabeparameter für verschiedene Modellgrößen bereitstellen würden. In Tabelle 1 reicht der Wert für vector_dim in der ersten Spalte von 32 bis 2048 und die Werte für num_entity_vectors in der ersten Zeile reichen von 10 000 bis 50 000 000.

vector_dim \ num_entity_vectors. 10.000 50 000 100 000 500,000 1 000 000 5,000,000 10,000,000 50,000,000
32

ml.m5.large

ml.m5.large ml.m5.large ml.m5.large ml.m5.large ml.m5.xlarge ml.m5.2xlarge ml.m5.4xlarge

64

ml.m5.large

ml.m5.large ml.m5.large ml.m5.large ml.m5.large ml.m5.2xlarge ml.m5.2xlarge

128

ml.m5.large

ml.m5.large ml.m5.large ml.m5.large ml.m5.large ml.m5.2xlarge ml.m5.4xlarge

256

ml.m5.large

ml.m5.large ml.m5.large ml.m5.large ml.m5.xlarge ml.m5.4xlarge

512

ml.m5.large

ml.m5.large ml.m5.large ml.m5.large ml.m5.2xlarge

1024

ml.m5.large

ml.m5.large ml.m5.large ml.m5.xlarge ml.m5.4xlarge

2048

ml.m5.large

ml.m5.large ml.m5.xlarge ml.m5.xlarge

Die Werte für die Hyperparameter mini_batch_size, num_ip_encoder_layers, random_negative_sampling_rate und shuffled_negative_sampling_rate wirken sich auch auf die Größe des erforderlichen Arbeitsspeichers aus. Wenn diese Werte groß sind, müssen Sie möglicherweise einen größeren Instance-Typ als normal verwenden.

Beispiel-Notebooks für IP Insights

Ein Beispiel-Notebook, das zeigt, wie der SageMaker IP Insights-Algorithmus trainiert und damit Inferenzen ausgeführt werden, finden Sie unterEinführung in den SageMakerip Insights-Algorithmusaus. Anweisungen zum Erstellen von und Zugreifen auf Jupyter-Notebook-Instances, die Sie verwenden können, um das Beispiel in SageMaker auszuführen, finden Sie unter.Verwenden von Amazon SageMaker Notebook-Instancesaus. Nach dem Erstellen einer Notebook-Instance wählen Sie die OptionSageMaker Beispielefinden Sie eine Liste aller SageMaker Beispiele. Zum Öffnen eines Notebooks wählen Sie die Registerkarte Use (Verwenden) und dann Create copy (Kopie erstellen) aus.