Amazon SageMaker で抱き合わせ顔を使用する - Amazon SageMaker

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon SageMaker で抱き合わせ顔を使用する

Amazon SageMaker では、お客様は SageMaker の自然言語処理(NLP)のハギングフェイスモデルを使用して、トレーニング、微調整、推論を実行できます。トレーニングと推論の両方に [ハギングフェイス] を使用できます。この機能は、ハグフェイスの開発によって利用可能ですAWS深層学習コンテナ。これらのコンテナには、Hugging Face Transformer、Tokenizer、およびデータセットライブラリが含まれており、これらのリソースをトレーニングや推論のジョブに使用することができます。使用可能なDeep Learning Containers イメージのリストについては、「」を参照してください。使用可能なDeep Learning Containers イメージ。これらのDeep Learning Containers イメージは維持され、セキュリティパッチで定期的に更新されます。

Hugging Face Deep Learning Containers を SageMaker Python SDK で使用してトレーニングを行うには、抱っこ顔SageMaker 見積もり。抱き合わせ面見積もりでは、他の SageMaker 見積もりと同様に、抱き合わせ面モデルを使用できます。ただし、SageMaker Python SDK の使用はオプションです。また、Hugging Face Deep Learning Containers の使用を調整するには、AWS CLIおよびAWS SDK for Python (Boto3)。

Hugging Face とその中で利用可能なモデルの詳細については、Hugging Face ドキュメント

Training

トレーニングを実行するには、Hugging Face で利用可能な数千のモデルのいずれかを使用し、追加のトレーニングで特定のユースケースに合わせて微調整できます。SageMaker では、標準トレーニングを使用するか、SageMaker 分散データとモデル並列トレーニング。カスタムコードを使用する他のSageMakerトレーニングジョブと同様に、SageMaker Python SDKにメトリック定義を渡すことによって、独自のメトリックを取得できます。トレーニングメトリクスの定義 (SageMaker Python SDK)。キャプチャされたメトリックスはCloudWatchそしてパンダとしてDataFrame経由の例トレーニングジョブアナリティクスメソッドを使用します。モデルがトレーニングされ、微調整されると、他のモデルと同様にモデルを使用して推論ジョブを実行できます。

Hugging Face Estimatorでトレーニングを実行する方法

SageMaker Python SDK を使用して、トレーニングジョブに抱擁顔推定器を実装できます。SageMaker Python SDKは、SSageMaker Maker上で機械学習モデルをトレーニングおよび展開するためのオープンソースライブラリです。Huging Face Estimatorの詳細については、「」を参照してください。SageMaker Python SDK のドキュメントです。

SageMaker Python SDK を使用すると、次の環境で、抱き顔推定器を使用してトレーニングジョブを実行できます。

  • SageMaker Studio: Amazon SageMaker Studio は、機械学習 (ML) 用の最初の完全統合開発環境 (IDE) です。SageMaker Studio は、モデルの準備、ビルド、トレーニング、調整、デプロイ、管理に必要なすべての ML 開発手順を実行できる 1 つの Web ベースのビジュアルインターフェイスを提供します。Studio での Jupyter ノートブックの使用方法については、「」を参照してください。Amazon SageMaker Studio ノートブックを使用する

  • SageMaker ノートブックのインスタンス: Amazon SageMaker ノートブックインスタンスは、Jupyter ノートブックアプリを実行している機械学習 (ML) コンピューティングインスタンスです。このアプリでは、デバッガ、モデル監視、および Web ベースの IDE などの SageMaker Studio の機能を使用せずに、データの準備と処理、モデルのトレーニング用コードの作成、およびテストまたは検証を行うことができます。

  • ローカル: 接続性がある場合AWSと適切なSageMaker 権限を持っている場合、SageMaker Python SDKをローカルで使用して、SageMakerでHugging Faceのリモートトレーニングと推論ジョブをAWS。これはローカルマシンだけでなく、他のAWSサービスに、接続された SageMaker Python SDK と適切な権限を付与します。

Inference

推論には、トレーニング済みの Hugging Face モデルまたは事前訓練済みの Hugging Face モデルのいずれかを使用して、SageMaker で推論ジョブを展開できます。このコラボレーションでは、SageMaker でトレーニングされたモデルと事前トレーニングされたモデルの両方を展開するのに必要なコードが 1 行だけです。また、カスタム推論コードを記述する必要なく推論ジョブを実行することもできます。カスタム推論コードを使用すると、独自の Python スクリプトを提供することで、推論ロジックをカスタマイズできます。

Hugging Face Deep Learning Containers を使用して推論ジョブを展開する方法

SageMaker で推論を実行するには、以下の 2 つのオプションがあります。トレーニングしたモデルを使用して推論を実行することも、事前にトレーニングした Hugging Face モデルを展開することもできます。

  • トレーニングされたモデルで推論を実行する: あなた自身の訓練されたモデルで推論を実行するための2つのオプションがあります。SageMaker Hugging Face Deep Learning Containers で既存の Hugging Face モデルを使用してトレーニングしたモデルで推論を実行することも、独自の既存のHugging Face モデルを持ち込み、SageMaker を使用して展開することもできます。SageMaker Hugging Face Estimator でトレーニングしたモデルで推論を実行する場合、トレーニングの完了直後にモデルをデプロイするか、トレーニングしたモデルを Amazon S3 バケットにアップロードして、後で推論を実行するときに取り込むことができます。独自の既存の Hugging Face モデルを持ち込む場合は、トレーニングされたモデルを Amazon S3 バケットにアップロードし、推論の実行時にそのバケットを取り込む必要があります(を参照)。推論例のために、あなたの抱き合わせフェイストランスフォーマーを配備する

  • 事前に訓練されたHuggingFaceモデルで推論を実行する:事前に訓練された何千ものHugging Faceモデルの1つを使用して、追加のトレーニングを必要とせず、推論ジョブを実行できます。推論を実行するには、事前に訓練されたモデルをHugging Face モデルで概説されているように事前訓練された抱き顔のトランスフォーマーを推論例のために配備する

何をしたいですか?

Hugging Face ノートブックリポジトリにある次の Jupyter ノートブックは、さまざまなユースケースで SageMaker で Hugging Face Deep Learning Containers を使用する方法を示しています。

私はPyTorchでSageMaker でHugging Faceを使用してテキスト分類モデルを訓練して展開したい。

サンプルの Jupyter ノートブックについては、PyTorch 開始デモ

私はTTensorFlow でSageMaker でHugging Faceを使用してテキスト分類モデルを訓練して展開したいと思います。

サンプルの Jupyter ノートブックについては、TensorFlow の使用開始

私は、Hugging FaceとSageMaker 分散を使用して、データ並列性を持つ分散トレーニングを実行したい。

サンプルの Jupyter ノートブックについては、分散トレーニングの例

私は、Hugging FaceとSageMaker 分散を使用して、モデルの並列性を持つ分散トレーニングを実行したい。

サンプルの Jupyter ノートブックについては、モデルの並列処理の例

SageMaker で Hugging Face を使用してモデルをトレーニングおよびデプロイするために、スポットインスタンスを使用します。

サンプルの Jupyter ノートブックについては、スポットインスタンスの例

カスタムメトリックをキャプチャし、SageMaker でHugging Faceを使用してテキスト分類モデルをトレーニングするときにSageMakerチェックポイントを使用します。

サンプルの Jupyter ノートブックについては、カスタムメトリクスを使用したトレーニング例

私は、SSageMaker 抱擁フェイスを使用して、分散された質問回答のTensorFlow モデルを訓練したいと思います。

サンプルの Jupyter ノートブックについては、分散TensorFlow トレーニング例

SageMaker で Hugging Face を使って分散集約モデルをトレーニングしたいと思います。

サンプルの Jupyter ノートブックについては、分散要約トレーニングの例

SageMaker でHugging Faceを使って画像分類モデルを訓練したい

サンプルの Jupyter ノートブックについては、ビジョントランスフォーマートレーニングの例

トレーニングを受けたHugging FaceモデルをSageMaker に展開したい。

サンプルの Jupyter ノートブックについては、推論例のために、あなたの抱き合わせフェイストランスフォーマーを配備する

私はSageMaker で事前に訓練されたHugging Faceモデルを展開したい。

サンプルの Jupyter ノートブックについては、事前訓練された抱き顔のトランスフォーマーを推論例のために配備する