LDA モデルを調整する

自動モデル調整は、ハイパーパラメータ調整とも呼ばれ、データセットのさまざまなハイパーパラメータをテストする多数のジョブを実行して、モデルの最適なバージョンを見つけます。調整可能なハイパーパラメータ、それぞれの値の範囲、および目標メトリクスを選択します。アルゴリズムが計算するメトリクスから目標メトリクスを選択します。自動モデル調整は、選択されたハイパーパラメータを検索して、目標メトリクスを最適化するモデルになる値の組み合わせを見つけます。

LDA は、一連の観測 (ドキュメント) を異なるのカテゴリ (トピック) の混在として記述しようとする、親なしトピックモデリングアルゴリズムです。「単語ごとの対数尤度」 (PWLL) メトリクスは、学習したトピックのセット (LDA モデル) がテストドキュメントデータセットを正確に記述している可能性を測定します。PWLL の値が大きいほど、テストデータが LDA モデルによって記述される可能性が高いことを示します。

モデル調整の詳細については、「を使用した自動モデル調整 SageMaker」を参照してください。

LDA アルゴリズムによって計算されたメトリクス

LDA アルゴリズムは、トレーニング中に単一のメトリクス test:pwll について報告します。モデルを調整するときに、このメトリクスを目標メトリクスとして選択します。

メトリクス名	説明	最適化の方向
test:pwll	テストデータセットの単語ごとの対数尤度。テストデータセットが学習済み LDA モデルによって正確に記述されている可能性。	最大化

調整可能な LDA ハイパーパラメータ

LDA アルゴリズムの以下のハイパーパラメータを調整できます。ハイパーパラメータ alpha0 と num_topics はどちらも、LDA 目標メトリクス (test:pwll) に影響を与える可能性があります。単語ごとの対数尤度を最大化し、正確な LDA モデルを生成する、これらのハイパーパラメータの最適値がまだわからない場合は、自動モデル調整で見つけることができます。

Parameter Name	パラメータタイプ	推奨範囲
alpha0	ContinuousParameterRanges	MinValue: 0.1、:10 MaxValue
num_topics	IntegerParameterRanges	MinValue: 1, MaxValue: 150