Lasttest Ihrer Auto -Scaling-Konfiguration

Führen Sie Lasttests durch, um eine Skalierungskonfiguration auszuwählen, die Ihren Wünschen entspricht.

Bei den folgenden Richtlinien für Lasttests wird davon ausgegangen, dass Sie eine Skalierungsrichtlinie verwenden, die die vordefinierte Zielmetrik verwendetSageMakerVariantInvocationsPerInstance.

Bestimmen der Leistungseigenschaften

Führen Sie Lasttests durch, um die höchste Auslastung InvocationsPerInstance, die Ihre Produktionsvariante Ihres Modells verarbeiten kann, und die Latenz der Anfragen, während die Nebenläufigkeit zunimmt, zu finden.

Dieser Wert hängt vom ausgewählten Instance-Typ, von den Nutzlasten, die Kunden in der Regel an Ihr Modell senden sowie von der Performance der externen Abhängigkeiten Ihres Modells ab.

Um den Spitzenwert requests-per-second (RPS) zu ermitteln, den die Produktionsvariante Ihres Modells bewältigen kann, und die Latenz von Anfragen

1. Richten Sie mithilfe einer einzigen Instance einen Endpunkt für Ihr Modell ein. Informationen zum Einrichten eines Endpunkts finden Sie unter Stellen Sie das Modell für SageMaker Hosting-Services bereit.

2. Verwenden Sie ein Tool für Lasttests, um eine steigende Anzahl von Parallelanforderungen zu generieren und die Anfragen pro Sekunde (RPS) sowie das Latenzmodell im Ausgang des Tools für Lasttests zu überwachen.

   Anmerkung

   Sie können requests-per-minute anstelle von RPS auch eine Überwachung durchführen. In diesem Fall multiplizieren Sie in der Gleichung nicht mit 60, um SageMakerVariantInvocationsPerInstance, wie unten veranschaulicht, zu berechnen.

   Steigt die Modelllatenz oder verringert sich der Anteil erfolgreicher Transaktionen, dann ist das die Höchstzahl der Anfragen pro Sekunde (RPS), die Ihr Modell verarbeiten kann.

Berechnen der Ziellast

Nachdem Sie die Leistungsmerkmale der Variante gefunden haben, können Sie die Höchstzahl der Anfragen pro Sekunde (RPS) bestimmen, die wir an eine Instance senden sollen. Die Schwellenwert, der für die Skalierung verwendet wurde, muss kleiner sein als dieser Maximalwert. Verwenden Sie die folgende Gleichung in Kombination mit Lasttests, um den richtigen Wert für die SageMakerVariantInvocationsPerInstance Zielmetrik in Ihrer Skalierungskonfiguration zu ermitteln.

SageMakerVariantInvocationsPerInstance = (MAX_RPS * SAFETY_FACTOR) * 60

Wo MAX_RPS die maximale, durch Sie zuvor festgelegte Anzahl der Anfragen pro Sekunde (RPS) darstellt, und SAFETY_FACTOR der Sicherheitsfaktor ist, den Sie gewählt haben, um sicherzustellen, dass Ihre Kunden die Höchstzahl der Anfragen (RPS) nicht überschreiten. Multiplizieren Sie mit 60, um von RPS in die CloudWatch Metrik pro Minute umzurechnen, die für die Implementierung von Auto Scaling SageMaker verwendet wird (Sie müssen dies nicht tun, wenn Sie requests-per-minute stattdessen gemessen haben). invocations-per-minute requests-per-second

Anmerkung

SageMaker empfiehlt, den Test mit einem Wert SAFETY_FACTOR von 0,5 zu beginnen. Testen Sie Ihre Skalierungskonfiguration, um sicherzustellen, dass sie so funktioniert, wie Sie es von Ihrem Modell erwarten, um den Kundenverkehr auf Ihrem Endpunkt sowohl zu erhöhen als auch zu verringern.