Inferenz-Pipeline-Protokolle und -Metriken - Amazon SageMaker

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Inferenz-Pipeline-Protokolle und -Metriken

Überwachung ist wichtig, um die Zuverlässigkeit, Verfügbarkeit und Leistung von Amazon aufrechtzuerhalten SageMaker Ressourcen schätzen. Verwenden Sie Amazon, um die Leistung von Inferenz-Pipelines zu überwachen und zu beheben CloudWatch Protokolle und Fehlermeldungen. Weitere Informationen zu den Überwachungstools, die SageMaker bereitstellt, finden Sie unterÜberwachung von Amazon SageMakeraus.

Verwenden von Metriken zum Überwachen von Multicontainer-Modellen

Verwenden Sie Amazon CloudWatch, um die Modelle mit mehreren Containern in Inference Pipelines zu überwachen. CloudWatch sammelt Rohdaten und verarbeitet sie zu lesbaren Metriken, die nahezu in Echtzeit erfolgen. SageMakerSchreiben von Trainingsaufträgen und -Endpunkten CloudWatch Metriken und -Protokolle imAWS/SageMaker Namensraumaus.

Die folgenden Tabellen listen die Metriken und Dimensionen für Folgendes auf:

  • Endpunkt-Aufrufe

  • Schulungsaufträge, Stapeltransformationsaufträge und Endpunkt-Instances

Eine Dimension ist ein Name-Wert-Paar, durch das eine Metrik eindeutig identifiziert wird. Sie können einer Metrik bis zu 10 Dimensionen zuweisen. Weitere Informationen zur Überwachung mit CloudWatch finden Sie unterÜberwachen von Amazon SageMaker mit Amazon CloudWatchaus.

Endpoint Invocation Metrics (Metriken für Endpunktaufrufe)

Die AWS/SageMakerDer -Namespace enthält die folgendenAnfordern von Metriken von -AufrufenInvokeEndpointaus.

Metriken werden in Intervallen von einer Minute gemeldet.

Metrik Beschreibung
Invocation4XXErrors

Die Anzahl der InvokeEndpoint-Anforderungen, bei denen das Modell den HTTP-Antwortcode 4xx zurückgegeben hat. Für jeden4xxresponse, SageMaker sendet eine1aus.

Einheiten: Keine

Gültige Statistiken:Average,Sum

Invocation5XXErrors

Die Anzahl der InvokeEndpoint-Anforderungen, bei denen das Modell den HTTP-Antwortcode 5xx zurückgegeben hat. Für jeden5xxresponse, SageMaker sendet eine1aus.

Einheiten: Keine

Gültige Statistiken: Average, Sum

Invocations

Die an einen Modellendpunkt gesendeten number of InvokeEndpoint-Anforderungen.

Mit der Sum-Statistik können Sie die Gesamtanzahl der an einen Modellendpunkt gesendeten Anforderungen abrufen.

Einheiten: Keine

Gültige Statistiken: Sum, Sample Count

InvocationsPerInstance

Die Anzahl der an ein Modell gesendeten EndpunktaufrufeNormalisiert durchInstanceCountin jedemProductionVariantaus. SageMaker sendet 1/numberOfInstancesals Wert für jede Anfrage, wonumberOfInstancesist die Anzahl der aktiven Instances für dieProductionVariantam Endpunkt zum Zeitpunkt der Anfrage.

Einheiten: Keine

Gültige Statistiken: Sum

ModelLatency Die Zeit, die das/die Modell(e) für die Antwort gebraucht hat/haben. Dies umfasst die Zeit, die zum Senden der Anforderung, zum Abrufen der Antwort vom Modell-Container und zum Abschluss der Inferenz in dem Container benötigt wurde. ModelLatency ist die Gesamtzeit von allen Containern in einer Inferenz-Pipeline.

Einheiten: Mikrosekunden

Gültige Statistiken: Average,Sum,Min,Max, Beispielanzahl

OverheadLatency

Die Zeit, die zu der Zeit für die Reaktion auf eine Client-Anforderung von SageMaker Für Overhead.OverheadLatencywird ab dem Zeitpunkt gemessen, an dem SageMaker erhält die Anfrage, bis sie eine Antwort an den Client zurückgibt, abzüglich derModelLatencyaus. Die Overhead-Latenz kann in Abhängigkeit von mehreren Faktoren variieren. Diese Faktoren sind beispielsweise die Größe der Nutzlast für Anfragen und Antworten, die Häufigkeit von Anfragen und die Authentifizierung oder Autorisierung der Anfrage.

Einheiten: Mikrosekunden

Gültige Statistiken: Average, Sum, Min, Max, Sample Count

ContainerLatency Die Zeit, die ein Container von Inferenz-Pipelines benötigt, um zu antwortenwie von SageMaker angesehenaus.ContainerLatencyenthält die Zeit, die zum Senden der Anforderung, zum Abrufen der Antwort aus dem Container des Modells und zum Abschluss der Inferenz im Container benötigt wird.

Einheiten: Mikrosekunden

Gültige Statistiken: Average, Sum, Min, Max, Sample Count

Dimensions for Endpoint Invocation Metrics (Dimensionen der Metriken für Endpunktaufrufe)

Dimension Beschreibung
EndpointName, VariantName, ContainerName

Filtert Metriken für den Endpunktaufruf einerProductionVariantam angegebenen Endpunktund für die angegebene Variante.

Für einen Endpunkt der Inferenz-Pipeline CloudWatch listet Latenzmetriken pro Container in Ihrem Konto auf alsMetriken für Endpunktcontainerund-Endpunktvarianten MetrikenimSageMakerNamespace wie folgt. Die ContainerLatency-Metrik wird nur für Inferenz-Pipelines angezeigt.


                    Die CloudWatch -Dashboard für eine Inferenz-Pipeline führt Latenzmetriken für jeden Endpunkt fürjeder Containeraus.

Für jeden Endpunkt und jeden Container zeigen Latenzmetriken Namen fürDer Container, der Endpunkt, die Variante und die Metrik.


                    Die Latenzmetriken foder einen -Endpunkt.

Schulungsauftrag-, Stapeltransformationsauftrag- und Endpunkt-Instance-Metriken

Die Namespaces /aws/sagemaker/TrainingJobs, /aws/sagemaker/TransformJobs und /aws/sagemaker/Endpoints beinhalten die folgenden Metriken für die Schulungsaufträge und Endpunkt-Instances.

Metriken werden in Intervallen von einer Minute gemeldet.

Metrik Beschreibung
CPUUtilization

Der Prozentsatz der CPU-Einheiten, die von den Containern auf einer Instance verwendet werden. Der Wert reicht von 0 % bis 100 % und wird mit der Anzahl der CPUs multipliziert. Wenn beispielsweise vier CPUs genutzt werden, kann CPUUtilization zwischen 0 % und 400 % liegen.

Bei Schulungsaufträgen ist CPUUtilization die CPU-Auslastung des Algorithmus-Containers auf der Instance.

Bei Stapeltransformationsaufträgen ist CPUUtilization die CPU-Auslastung des Transformationscontainers auf der Instance.

Bei Multi-Container-Modellen ist CPUUtilization die Summe der CPU-Auslastung für alle Container, die auf der Instance ausgeführt werden.

Für-Endpunktvarianten, CPUUtilizationist die Summe der CPU-Auslastung für alle Container, die auf der Instance ausgeführt werden.

Einheiten: Prozent

MemoryUtilization

Der Prozentsatz des Speichers, der von den Containern auf einer Instance belegt wird. Dieser Wert reicht von 0 bis 100 %.

Bei Schulungsaufträgen ist MemoryUtilization der vom Algorithmus-Container auf der Instance verwendete Speicher.

Bei Stapeltransformationsaufträgen ist MemoryUtilization ist der vom Transformationscontainer auf der Instance verwendete Speicher.

Bei Multi-Container-Modellen ist MemoryUtilization ist die Summe des Speichers für alle Container, die auf der Instance ausgeführt werden.

Bei Endpunkt-Varianten ist MemoryUtilization die Summe des Speichers für alle Container, die auf der Instance ausgeführt werden.

Einheiten: Prozent

GPUUtilization

Der Prozentsatz der GPU-Einheiten, die von den Containern verwendet werden, die auf einer Instance ausgeführt werden. GPUUtilization reicht von 0 % bis 100 % und wird mit der Anzahl der GPUs multipliziert. Wenn beispielsweise vier GPUs genutzt werden, kann GPUUtilization zwischen 0 % und 400 % liegen.

Bei Schulungsaufträgen ist GPUUtilization der GPU-Anteil, den der Algorithmus-Container auf der Instance verwendet.

Bei Stapeltransformationsaufträgen ist GPUUtilization der GPU-Anteil, den der Transformationscontainer auf der Instance verwendet.

Bei Multi-Container-Modellen ist GPUUtilization die GPU-Summe für alle Container auf der Instance.

Bei Endpunkt-Varianten ist GPUUtilization die GPU-Summe für alle Container auf der Instance.

Einheiten: Prozent

GPUMemoryUtilization

Der Prozentsatz des GPU-Speichers, der von den Containern auf einer Instance belegt wird. GPUMemoryUtilization reicht von 0 % bis 100 % und wird mit der Anzahl der GPUs multipliziert. Wenn beispielsweise vier GPUs genutzt werden, kann GPUMemoryUtilization zwischen 0 % und 400 % liegen.

Bei Schulungsaufträgen ist GPUMemoryUtilization der GPU-Speicher, den der Algorithmus-Container auf der Instance belegt.

Bei Stapeltransformationsaufträgen ist GPUMemoryUtilization der GPU-Arbeitsspeicher, den der Transformationscontainer auf der Instance belegt.

Bei Multi-Container-Modellen ist GPUMemoryUtilization die GPU-Summe, die von allen Containern auf der Instance verwendet wird.

Bei Endpunkt-Varianten ist GPUMemoryUtilization die Summe des GPU-Speichers, die von allen Containern auf der Instance verwendet wird.

Einheiten: Prozent

DiskUtilization

Der Prozentsatz des Speicherplatzes, der von den Containern auf einer Instance verwendet wird. DiskUtilization reicht von 0% bis 100%. Diese Metrik wird für Stapeltransformationsaufträge nicht unterstützt.

Bei Schulungsaufträgen ist DiskUtilization der Speicherplatz, den der Algorithmus-Container auf der Instance verwendet.

Für -EndpunktvariantenDiskUtilizationist die Summe des Speicherplatzes für alle bereitgestellten Container auf der Instance.

Einheiten: Prozent

Dimensions for Training Job, Batch Transform Job, and Endpoint Instance Metrics (Dimensionen für Instance-Metriken für Schulungsaufträge, Stapeltransformationsaufträge und Endpunkte)

Dimension Beschreibung
Host

Bei Schulungsaufträgen hat Host das Format [training-job-name]/algo-[instance-number-in-cluster]. Mit dieser Dimension können Sie Instance-Metriken für den angegebenen Schulungsauftrag und die Instance filtern. Dieses Dimensionsformat ist nur im Namespace /aws/sagemaker/TrainingJobs vorhanden.

Bei Stapeltransformationsaufträgen hat Host das Format [transform-job-name]/[instance-id]. Mit dieser Dimension können Sie Instance-Metriken für den angegebenen Stapeltransformationsauftrag und die Instance filtern. Dieses Dimensionsformat ist nur im Namespace /aws/sagemaker/TransformJobs vorhanden.

Bei Endpunkten hat Host das Format [endpoint-name]/[ production-variant-name ]/[instance-id]. Mit dieser Dimension können Sie Instance-Metriken für den angegebenen Endpunkt sowie die Variante und die Instance filtern. Dieses Dimensionsformat ist nur im Namespace /aws/sagemaker/Endpoints vorhanden.

Damit Sie Ihre Schulungsaufträge, Endpunkte und Lebenszykluskonfigurationen von Notebook-Instances leichter debuggen können, SageMaker sendet alles, was von einem Algorithmus-Container, einem Modell-Container oder der Lebenszykluskonfiguration einer Notebook-Instance an gesendet wirdstdoutoderstderrnach Amazon CloudWatch Protokolle. Sie können diese Informationen zum Debugging und zur Fortschrittanalyse verwenden.

Verwenden von Protokollen zum Überwachen einer Inferenz-Pipeline

Die folgende Tabelle gibt die Protokollgruppen und Protokollstreams auf SageMaker.sendet an Amazon CloudWatch

Ein Protokollstream ist eine Abfolge von Protokollereignissen, die dieselbe Quelle nutzen. Jede separate Quelle für Protokolle in CloudWatch bildet einen separaten Protokollstream. Eine Protokollgruppe ist eine Gruppe von Protokollstreams, die dieselben Einstellungen für die Aufbewahrung, Überwachung und Zugriffskontrolle besitzen.

Protokolle

Protokollgruppenname Protokollstreamname
/aws/sagemaker/TrainingJobs

[training-job-name]/algo-[instance-number-in-cluster]-[epoch_timestamp]

/aws/sagemaker/Endpoints/[EndpointName]

[production-variant-name]/[instance-id]

[production-variant-name]/[instance-id]

[production-variant-name]/[instance-id]/[container-name provided in the SageMaker model] (For Inference Pipelines) Für Inferenz-Pipelines-Protokollewenn Sie keine Containernamen angeben,CloudWatch verwendet**container-1, container-2** und so weiter, in der Reihenfolge, in der Container im Modell bereitgestellt werden.

/aws/sagemaker/NotebookInstances

[notebook-instance-name]/[LifecycleConfigHook]

/aws/sagemaker/TransformJobs

[transform-job-name]/[instance-id]-[epoch_timestamp]

[transform-job-name]/[instance-id]-[epoch_timestamp]/data-log

[transform-job-name]/[instance-id]-[epoch_timestamp]/[container-name provided in the SageMaker model] (For Inference Pipelines) Für Inferenz-Pipelines-Protokollewenn Sie keine Containernamen angeben,CloudWatch verwendet**container-1, container-2** und so weiter, in der Reihenfolge, in der Container im Modell bereitgestellt werden.

Anmerkung

SageMaker erstellt das/aws/sagemaker/NotebookInstances-Protokollgruppe, wenn Sie eine Notebook-Instance mit einer Lebenszykluskonfiguration erstellen. Weitere Informationen finden Sie unter Anpassen einer Notebook-Instances mithilfe eines Lifecycle-Konfigurationsskripts .

Weitere Informationen zu SageMaker protokollieren, sieheAmazon-SageMaker-Ereignisse mit Amazon CloudWatch protokollierenaus.