調教データのテスト

モデルを調教した後、Amazon Comprehend はカスタム分類子モデルをテストします。テストデータセットを指定しないと、Amazon Comprehend は調教データの 90% を使用してモデルを調教します。調教データの 10% はテスト用に確保されます。テストデータセットを与える場合、テストデータには調教データセット内の固有のラベルごとに少なくとも 1 つの例が含まれている必要があります。

モデルをテストすると、モデルの精度推定に使用できる指標が得られます。コンソールの分類子の詳細ページの分類子パフォーマンスセクションに指標が表示されます。これらは、 DescribeDocumentClassifierオペレーションによって返されるMetricsフィールドにも返されます。

次の調教データ例では、 DOCUMENTARY、DOCUMENTARY、SCIENCE_FICTION、DOCUMENTARY、ROMANTIC_COMEDY の 5 つのラベルがあります。DOCUMENTARY、SCIENCE_FICTION、ROMANTIC_COMEDY の 3 つの固有クラスがあります。

列 1	列 2
DOCUMENTARY	文書テキスト 1
DOCUMENTARY	文書テキスト 2
SCIENCE_FICTION	文書テキスト 3
DOCUMENTARY	文書テキスト 4
ROMANTIC_COMEDY	文書テキスト 5

自動分割（Amazon Comprehend が調教データの 10% をテスト用に確保）では、調教データに含まれている特定のラベルが限られていると、テストデータセットにはそのラベルの例が全くないという結果になり得ます。たとえば、調教データセットに DOCUMENTARY クラスのインスタンスが 1000 個、SCIENCE_FICTION のインスタンスが 900 個、ROMANTIC_COMEDY クラスのインスタンスが 1 つしかない場合、テストデータセットには 100 個のドキュメンタリーインスタンスと 90 個の SCIENCE_FICTION インスタンスが含まれていても、ROMANTIC_COMEDY インスタンスはゼロになる可能性があります。

モデルの調教が終わると、調教指標で得られる情報から、モデルがニーズに十分合っているかどうかを判断できます。