TabTransformer モデルを調整する

自動モデル調整は、ハイパーパラメータ調整とも呼ばれ、データセットのトレーニングと検証でさまざまなハイパーパラメータをテストする多数のジョブを実行して、モデルの最適なバージョンを見つけます。モデル調整は、次のハイパーパラメータに重点を置いています。

注記

学習の目標関数と評価指標は、ラベル列の一意の整数の数によって決まる分類タスクの種類に基づいて自動的に割り当てられます。詳細については、「TabTransformer のハイパーパラメータ」を参照してください。

• モデルトレーニング中に最適化する学習の目標関数

• 検証中にモデルのパフォーマンスを評価するための評価指標

• モデルの自動調整時に使用する一連のハイパーパラメータとそれぞれの値の範囲

自動モデル調整は、選択されたハイパーパラメータを検索して、評価メトリクスを最適化するモデルになる値の組み合わせを見つけます。

注記

TabTransformer の自動モデル調整はAmazon SageMaker AI SDKs からのみ使用でき、SageMaker AI コンソールからは使用できません。

モデル調整の詳細については、「SageMaker AI による自動モデル調整」を参照してください。

TabTransformer アルゴリズムで計算される評価メトリクス

SageMaker AI TabTransformer アルゴリズムは、モデルの検証に使用する以下のメトリクスを計算します。評価メトリクスは、ラベル列の一意の整数の数によって決定される分類タスクの種類に基づいて自動的に割り当てられます。

メトリクス名	説明	最適化の方向	正規表現パターン
r2	R の二乗	最大化	"metrics={'r2': (\\S+)}"
f1_score	二項交差エントロピー	最大化	"metrics={'f1': (\\S+)}"
accuracy_score	マルチクラス交差エントロピー	最大化	"metrics={'accuracy': (\\S+)}"

調整可能な TabTransformer のハイパーパラメータ

以下のハイパーパラメータを使用して TabTransformer モデルを調整します。TabTransformer の評価指標の最適化に最も影響を与えるハイパーパラメータは、learning_rate、input_dim、n_blocks、attn_dropout、mlp_dropout、および frac_shared_embed です。すべての TabTransformer ハイパーパラメータのリストについては、「TabTransformer のハイパーパラメータ」を参照してください。

パラメータ名	パラメータタイプ	推奨範囲
learning_rate	ContinuousParameterRanges	MinValue: 0.001、MaxValue: 0.01
input_dim	CategoricalParameterRanges	[16, 32, 64, 128, 256, 512]
n_blocks	IntegerParameterRanges	MinValue: 1、MaxValue: 12
attn_dropout	ContinuousParameterRanges	MinValue: 0.0、MaxValue: 0.8
mlp_dropout	ContinuousParameterRanges	MinValue: 0.0、MaxValue: 0.8
frac_shared_embed	ContinuousParameterRanges	MinValue: 0.0、MaxValue: 0.5