Stellen Sie mit der JumpStartModel Klasse öffentlich verfügbare Foundation-Modelle bereit

Sie können einen integrierten Algorithmus oder ein vortrainiertes Modell mit nur wenigen Codezeilen auf einem SageMaker Endpunkt bereitstellen, indem Sie den SageMaker Python SDK.

1. Suchen Sie zunächst die Modell-ID für das Modell Ihrer Wahl in der Tabelle Integrierte Algorithmen mit vortrainiertem Modell.

2. Definieren Sie Ihr Modell anhand der Modell-ID als JumpStart Modell.

   from sagemaker.jumpstart.model import JumpStartModel
   
   model_id = "huggingface-text2text-flan-t5-xl"
   my_model = JumpStartModel(model_id=model_id)

3. Verwenden Sie deploy diese Methode, um Ihr Modell automatisch für Inferenzzwecke bereitzustellen. In diesem Beispiel verwenden wir das Modell FLAN -T5 XL von Hugging Face.

   predictor = my_model.deploy()

4. Anschließend können Sie mithilfe der Methode eine Inferenz mit dem bereitgestellten Modell ausführen. predict

   question = "What is Southern California often abbreviated as?"
   response = predictor.predict(question)
   print(response)

Anmerkung

In diesem Beispiel wird das Basismodell FLAN -T5 XL verwendet, das für eine Vielzahl von Anwendungsfällen zur Textgenerierung geeignet ist, darunter die Beantwortung von Fragen, die Zusammenfassung, die Erstellung von Chatbots und mehr. Weitere Informationen zu Modellanwendungsfällen finden Sie unter. Verfügbare Fundamentmodelle

Weitere Hinweise zur JumpStartModel Klasse und ihren Parametern finden Sie unter JumpStartModel.

Überprüfen Sie die Standard-Instanztypen

Sie können optional bestimmte Modellversionen oder Instanztypen einbeziehen, wenn Sie ein vortrainiertes Modell mithilfe der JumpStartModel Klasse bereitstellen. Alle JumpStart Modelle haben einen Standard-Instanztyp. Rufen Sie den Standard-Instanztyp für die Bereitstellung mithilfe des folgenden Codes ab:

from sagemaker import instance_types

instance_type = instance_types.retrieve_default(
    model_id=model_id,
    model_version=model_version,
    scope="inference")
print(instance_type)

Mit der instance_types.retrieve() Methode werden alle unterstützten Instanztypen für ein bestimmtes JumpStart Modell angezeigt.

Verwenden Sie Inferenzkomponenten, um mehrere Modelle auf einem gemeinsamen Endpunkt bereitzustellen

Eine Inferenzkomponente ist ein SageMaker Hosting-Objekt, mit dem Sie ein oder mehrere Modelle auf einem Endpunkt bereitstellen können, um die Flexibilität und Skalierbarkeit zu erhöhen. Sie müssen das ändern, endpoint_type damit Ihr JumpStart Modell inference-component-based nicht der standardmäßige modellbasierte Endpunkt ist.

predictor = my_model.deploy(
    endpoint_name = 'jumpstart-model-id-123456789012', 
    endpoint_type = EndpointType.INFERENCE_COMPONENT_BASED
)

Weitere Informationen zum Erstellen von Endpunkten mit Inferenzkomponenten und zum Bereitstellen von SageMaker Modellen finden Sie unter. Gemeinsame Ressourcennutzung mit mehreren Modellen

Überprüfen Sie die gültigen Eingabe- und Ausgabeinferenzformate

Um gültige Dateneingabe- und -ausgabeformate auf Inferenz zu überprüfen, können Sie die retrieve_options() Methode aus den Klassen Serializers und Deserializers verwenden.

print(sagemaker.serializers.retrieve_options(model_id=model_id, model_version=model_version))
print(sagemaker.deserializers.retrieve_options(model_id=model_id, model_version=model_version))

Überprüfen Sie die unterstützten Inhalte und akzeptieren Sie Typen

Auf ähnliche Weise können Sie die retrieve_options() Methode verwenden, um die unterstützten Inhalte zu überprüfen und Typen für ein Modell zu akzeptieren.

print(sagemaker.content_types.retrieve_options(model_id=model_id, model_version=model_version))
print(sagemaker.accept_types.retrieve_options(model_id=model_id, model_version=model_version))

Weitere Informationen zu Dienstprogrammen finden Sie unter Hilfsprogramme APIs.