のリスト デバッガー 組み込みルール - Amazon SageMaker

英語の翻訳が提供されている場合で、内容が矛盾する場合には、英語版がオリジナルとして取り扱われます。翻訳は機械翻訳により提供されています。

のリスト デバッガー 組み込みルール

_を使用 デバッガー 組み込みルールは、 Amazon SageMaker Debugger モデルのトレーニング中に放射されるテンソルを分析します。は デバッガー 組み込みのルールは、トレーニングジョブの成功に不可欠なさまざまな共通条件を監視します。組み込みのルールを呼び出すには、 Amazon SageMaker Python SDKまたはローレベル SageMaker API操作。選択したディープラーニングフレームワークに応じて、次の表に示すように、組み込み型ルールには4つの妥当性の範囲があります。

の有効範囲 デバッガー 組み込みルール
有効範囲 組み込みルール(SageMaker Python SDKフォーマット) 組み込みルール(SageMaker API形式)
ディープラーニングフレームワーク (TensorFlow、Apache MXNet、および PyTorch)
ディープラーニングフレームワーク (TensorFlow、MXNet、および PyTorch) および XGBoost アルゴリズム
ディープラーニングアプリケーション
XGBoost アルゴリズム

DeadRelu

このルールは、トライアルにおける正規化線形ユニット (ReLU) 活性化関数の割合が、活性化アクティビティがしきい値を下回ったために死状態と見なされるかどうかを検出します。レイヤ内の非アクティブな ReLU の割合が非アクティブな ReLU threshold_layer の値より大きい場合、ルールは True を返します。

DeadRelu ルールのパラメータの説明
パラメータ名 説明:
base_trial

このルールを使用したトライアル。このルールは、このトライアルから収集されたテンソルを検査します。

必須

有効な値 文字列

tensor_regex

この比較を特定のスカラー値テンソルに限定するために使用する正規表現パターンのリスト。このルールは、リストで指定された正規表現パターンに一致するテンソルのみを検査します。パターンが渡されない場合、デフォルト設定により、トライアルで収集されたすべてのテンソルが比較されます。スカラー値テンソルのみを照合できます。

: オプション。

有効な値 文字列のリストまたはコンマ区切りの文字列

デフォルト値: None

threshold_inactivity

ReLU が死状態と見なされるアクティビティのレベルを定義します。ReLU は、トライアルの開始時にアクティブになり、その後、トレーニングプロセス中にゆっくりと死状態になる場合があります。ReLU が threshold_inactivity よりもアクティブでない場合、死状態とみなされます。

: オプション。

有効な値 Float

デフォルト値: 1.0

threshold_layer

レイヤ内の非アクティブな ReLU の割合が threshold_layer より大きい場合、True を返します。

レイヤ内の非アクティブな ReLU の割合が threshold_layer より小さい場合、False を返します。

: オプション。

有効な値 Float

デフォルト値: 50.0

組み込みルールを設定およびデプロイする例については、「使用 デバッガー トレーニングジョブ分析の組み込みルール」を参照してください。

注記

このルールはXGBoostアルゴリズムでは使用できません。

ExplodingTensor

このルールは、トレーニング中に放出されたテンソルが無限または NaN (非数) のいずれかの非有限値を持つかどうかを検出します。非有限値が検出された場合、ルールは True を返します。

ExplodingTensor ルールのパラメータの説明
パラメータ名 説明:
base_trial

このルールを使用したトライアル。このルールは、このトライアルから収集されたテンソルを検査します。

必須

有効な値 文字列

collection_names

ルールが検査するテンソルのコレクション名のリスト。

: オプション。

有効な値 文字列のリストまたはコンマ区切りの文字列

デフォルト値: None

tensor_regex

この比較を特定のスカラー値テンソルに限定するために使用する正規表現パターンのリスト。このルールは、リストで指定された正規表現パターンに一致するテンソルのみを検査します。パターンが渡されない場合、デフォルト設定により、トライアルで収集されたすべてのテンソルが比較されます。スカラー値テンソルのみを照合できます。

: オプション。

有効な値 文字列のリストまたはコンマ区切りの文字列

デフォルト値: None

only_nan

True の場合、NaN に対してのみbase_trial テンソル値を監視し、無限については監視しません。

False の場合、NaN と無限の両方を分解値として扱い、両方を監視します。

: オプション。

有効な値: False

組み込みルールを設定およびデプロイする例については、「使用 デバッガー トレーニングジョブ分析の組み込みルール」を参照してください。

注記

このルールはXGBoostアルゴリズムでは使用できません。

PoorWeightInitialization

このルールは、モデルパラメータの初期化が不十分であるかどうかを検出します。

適切な初期化を行うことで、ニューラルネットワークの重みと勾配の対称性が崩れ、レイヤー間で相応の活性化分散が維持されます。さもなければ、ニューラルネットワークは効果的に学習しません。Xavier のようなイニシャライザは、アクティベーション間で分散を一定に保つことを目的としています。これは、非常に深いニューラルネットのトレーニングに特に関連しています。初期化が小さすぎると、勾配が消失する可能性があります。初期化が大きすぎると、勾配が爆発する可能性があります。このルールは、レイヤー間のアクティベーション入力の分散、勾配の分布、および初期ステップの損失収束をチェックし、ニューラルネットワークの初期化が不十分であるかどうかを判断します。

PoorWeightInitialization ルールのパラメータの説明
パラメータ名 説明:
base_trial

このルールを使用したトライアル。このルールは、このトライアルから収集されたテンソルを検査します。

必須

有効な値 文字列

activation_inputs_regex

この比較を特定のスカラー値テンソルに限定するために使用する正規表現パターンのリスト。このルールは、リストで指定された正規表現パターンに一致するテンソルのみを検査します。パターンが渡されない場合、デフォルト設定により、トライアルで収集されたすべてのテンソルが比較されます。スカラー値テンソルのみを照合できます。

: オプション。

有効な値 文字列のリストまたはコンマ区切りの文字列

デフォルト値: ".*relu_input"

threshold

レイヤごとの重みの最小分散と最大分散の比率が、あるステップで threshold を超えた場合、ルールは True を返します。

: オプション。

有効な値 Float

デフォルト値: 10.0

distribution_range

勾配分布の 5 パーセンタイルと 95 パーセンタイルの最小差がdistribution_range より小さい場合、ルールは True を返します。

: オプション。

有効な値 Float

デフォルト値: 0.001

patience

損失が減少しなくなったと見なされるまで待機するステップの数。

: オプション。

有効な値 Integer

デフォルト値: 5

steps

このルールが分析するステップの数。通常は、最初の数回のイテレーションのみをチェックする必要があります。

: オプション。

有効な値 Float

デフォルト値: 10

組み込みルールを設定およびデプロイする例については、「使用 デバッガー トレーニングジョブ分析の組み込みルール」を参照してください。

注記

このルールはXGBoostアルゴリズムでは使用できません。

SaturatedActivation

このルールは、タンとシグモイド活性化層が飽和状態になっているかどうかを検出します。活性化層は、レイヤの入力が活性化関数の最大値または最小値に近づくと飽和します。タンおよびシグモイド活性化関数の最小値と最大値は、それぞれの min_threshold および max_thresholds 値によって定義されます。ノードのアクティビティが threshold_inactivity の割合を下回ると、そのノードは飽和していると見なされます。ノードの threshold_layer パーセント以上が飽和している場合、ルールは True を返します。

SaturatedActivation ルールのパラメータの説明
パラメータ名 説明:
base_trial

このルールを使用したトライアル。このルールは、このトライアルから収集されたテンソルを検査します。

必須

有効な値 文字列

collection_names

ルールが検査するテンソルのコレクション名のリスト。

: オプション。

有効な値 文字列のリストまたはコンマ区切りの文字列

デフォルト値 なし。

tensor_regex

この比較を特定のスカラー値テンソルに限定するために使用する正規表現パターンのリスト。このルールは、リストで指定された正規表現パターンに一致するテンソルのみを検査します。パターンが渡されない場合、デフォルト設定により、トライアルで収集されたすべてのテンソルが比較されます。スカラー値テンソルのみを照合できます。

: オプション。

有効な値 文字列のリストまたはコンマ区切りの文字列

デフォルト値: ".*tanh_input, .*sigmoid_input".

threshold_tanh

タン活性化関数の入力の極値を定義する最小しきい値と最大しきい値は、 のように定義されます。(min_threshold, max_threshold)。 デフォルト値は、0.0000001 の消滅勾配しきい値に基づいて決定されます。

: オプション。

有効な値 Float

デフォルト値: (-9.4999, 9.4999)

threshold_sigmoid

シグモイド活性化関数の入力の極値を定義する最小しきい値と最大しきい値は、 のように定義されます。(min_threshold, max_threshold)。 デフォルト値は、0.0000001 の消滅勾配しきい値に基づいて決定されます。

: オプション。

有効な値 Float

デフォルト値: (-23, 16.99999)

threshold_inactivity

活性化層が飽和していると見なされる非アクティブの割合。活性化は、トライアルの開始時にアクティブになり、その後、トレーニングプロセス中に徐々にアクティブでなくなる場合があります。

: オプション。

有効な値 Float

デフォルト値: 1.0

threshold_layer

レイヤー内の飽和活性化の数が、threshold_layer の割合より大きい場合に True を返します。

レイヤー内の飽和活性化の数が、threshold_layer の割合より少ない場合に False を返します。

: オプション。

有効な値 Float

デフォルト値: 50.0

組み込みルールを設定およびデプロイする例については、「使用 デバッガー トレーニングジョブ分析の組み込みルール」を参照してください。

注記

このルールはXGBoostアルゴリズムでは使用できません。

VanishingGradient

このルールは、トライアルの勾配が極端に小さくなるか、またはゼロになっていないかどうかを検出します。勾配の絶対値の平均が指定された threshold を下回ると、ルールは True を返します。

VanishingGradient ルールのパラメータの説明
パラメータ名 説明:
base_trial

このルールを使用したトライアル。このルールは、このトライアルから収集されたテンソルを検査します。

必須

有効な値 文字列

threshold 勾配が消失していると判断される値。

: オプション。

有効な値 Float

デフォルト値 0.0000001.

組み込みルールを設定およびデプロイする例については、「使用 デバッガー トレーニングジョブ分析の組み込みルール」を参照してください。

注記

このルールはXGBoostアルゴリズムでは使用できません。

WeightUpdateRatio

このルールは、トレーニング中に重みに対する更新の比率を追跡し、その比率が大きくなりすぎたり小さくなりすぎたりしていないかどうかを検出します。重みに対する更新の比率が large_threshold value より大きい場合、またはこの比率が small_threshold より小さい場合、ルールは True を返します。

トレーニングの条件は、更新が勾配に比例している場合に最適です。更新が大きすぎると、重みが最適値から遠ざかり、更新が小さすぎると収束が非常に遅くなります。このルールでは、2 つの連続するステップで重みを使用できるようにする必要があるため、save_interval を 1 に設定する必要があります。

WeightUpdateRatio ルールのパラメータの説明
パラメータ名 説明:
base_trial

このルールを使用したトライアル。このルールは、このトライアルから収集されたテンソルを検査します。

必須

有効な値 文字列

num_steps

テンソルが変更されたかどうかを判断するためにルールがチェックするステップの数。

重量比を比較するステップの数。値を渡さない場合、ルールはデフォルトで現在のステップと直前に保存したステップに対して実行されます。このパラメータ値を渡してデフォルトをオーバーライドすると、ステップ s の重みと > = s - num_steps のステップで比較が行われます。

: オプション。

有効な値 Integer

デフォルト値: None

large_threshold

ルールが True を返す前に、重みに対する更新の比率が取ることのできる最大値。

: オプション。

有効な値 Float

デフォルト値: 10.0

small_threshold

重みに対する更新の比率が取ることのできる最小値。この値を下回ると、ルールは True を返します。

: オプション。

有効な値 Float

デフォルト値: 0.00000001

epsilon

重みの更新比率を計算する際、デバッガー がゼロで除算されないことを保証するために使用される小さな定数です。

: オプション。

有効な値 Float

デフォルト値: 0.000000001

注記

トレーニング中に TRAIN モードをオンにしてテンソルを保存した場合、ルールは TRAIN モードのステップでのみ実行されます。それ以外の場合は、GLOBAL モードのステップでデフォルトで実行されます。

組み込みルールを設定およびデプロイする例については、「使用 デバッガー トレーニングジョブ分析の組み込みルール」を参照してください。

注記

このルールはXGBoostアルゴリズムでは使用できません。

AllZero

このルールは、テンソル内の値のすべてまたは指定された割合がゼロかどうかを検出します。

このルールは、サポートされているディープラーニングフレームワーク (TensorFlow、MXNet、PyTorch) のいずれか、または XGBoost アルゴリズムに適用できます。collection_names または tensor_regex パラメータを指定する必要があります。両方のパラメータが指定されている場合、ルールは両方のセットのテンソルの和集合を検査します。

組み込みルールを設定およびデプロイする例については、「使用 デバッガー トレーニングジョブ分析の組み込みルール」を参照してください。

AllZero ルールのパラメータの説明
パラメータ名 説明:
base_trial

このルールを使用したトライアル。このルールは、このトライアルから収集されたテンソルを検査します。

必須

有効な値 文字列

collection_names

ルールが検査するテンソルのコレクション名のリスト。

: オプション。

有効な値 文字列のリストまたはコンマ区切りの文字列

デフォルト値: None

tensor_regex

この比較を特定のスカラー値テンソルに限定するために使用する正規表現パターンのリスト。このルールは、リストで指定された正規表現パターンに一致するテンソルのみを検査します。パターンが渡されない場合、デフォルト設定により、トライアルで収集されたすべてのテンソルが比較されます。スカラー値テンソルのみを照合できます。

: オプション。

有効な値 文字列のリストまたはコンマ区切りの文字列

デフォルト値: None

threshold

このルールが呼び出されるためにゼロにする必要があるテンソル内の値の割合を指定します。

: オプション。

有効な値 Float

デフォルト値 -100

ClassImbalance

このルールは、クラス間のサンプリングの不均衡を測定し、不均衡がしきい値を超えた場合、または不均衡の結果として過度に多くの誤予測が発生した場合にエラーをスローします。

分類モデルには、トレーニングデータセット内のバランスの取れたクラスや、トレーニング中の適切な重み付けやサンプリングが必要です。ルールは次のチェックを実行します。

  • これは、クラスごとの発生をカウントします。最小クラスと最大クラスの間のサンプル数の比率が threshold_imbalance より大きい場合、エラーがスローされます。

  • クラスごとの予測精度をチェックします。リサンプリングまたは重み付けが正しく適用されていない場合、トレーニングサンプルが多いクラスの精度は高くなりますが、トレーニングサンプルが少ないクラスの精度は低くなります。特定のクラスの誤予測の一部が threshold_misprediction を超える場合は、エラーがスローされます。

このルールは、サポートされているディープラーニングフレームワーク (TensorFlow、MXNet、PyTorch) のいずれか、または XGBoost アルゴリズムに適用できます。

組み込みルールを設定およびデプロイする例については、「使用 デバッガー トレーニングジョブ分析の組み込みルール」を参照してください。

ClassImbalance ルールのパラメータの説明
パラメータ名 説明:
base_trial

このルールを使用したトライアル。このルールは、このトライアルから収集されたテンソルを検査します。

必須

有効な値 文字列

threshold_imbalance

最小クラスと最大クラスのサンプル数の間の許容可能な不均衡。このしきい値を超えると、エラーがスローされます。

: オプション。

有効な値 Float

デフォルト値: 10

threshold_misprediction

各クラスに許容される誤予測の割合の制限。このしきいを超えると、エラーがスローされます。過小評価されているクラスは、このしきい値を超えるリスクが最も高くなります。

: オプション。

有効な値 Float

デフォルト値: 0.7

samples

不均衡が評価される前に処理する必要があるラベルの数。ルールは、いくつかのステップの十分なサンプルが確認されるまで、トリガーされないことがあります。データセットに含まれるクラスの数が多いほど、この sample 数は大きくなります。

: オプション。

有効な値 Integer

デフォルト値 500 (10クラスを持つMNISTのようなデータセットを想定)

argmax

True の場合、np.argmax は予測テンソルに適用されます。各クラスの確率ベクトルがある場合に必要です。最も高い確率を持っているクラスを決定するために使用されます。

条件付き。

有効な値 Boolean

デフォルト値: False

labels_regex

ラベルを含むテンソルの名前。

: オプション。

有効な値 文字列

デフォルト値: ".*labels"

predictions_regex

予測を含むテンソルの名前。

: オプション。

有効な値 文字列

デフォルト値: ".*predictions"

Confusion

このルールは、分類問題に対する混同行列の良さを評価します。

これは、サイズ category_no*category_no のマトリックスを作成し、(labelspredictions) ペアから来るデータを入力します。(labelspredictions) ペアごとに、confusion[labels][predictions] のカウント は 1 ずつ増加します。マトリックスが完全に入力されると、対角値と非対角値の比率は次のように評価されます。

  • 対角線上の要素の場合: confusion[i][i]/sum_j(confusion[j][j])>=min_diag

  • 非対角線上の要素の場合: confusion[j][i])/sum_j(confusion[j][i])<=max_off_diag

このルールは、サポートされているディープラーニングフレームワーク (TensorFlow、MXNet、PyTorch) のいずれか、または XGBoost アルゴリズムに適用できます。

組み込みルールを設定およびデプロイする例については、「使用 デバッガー トレーニングジョブ分析の組み込みルール」を参照してください。

Confusion ルールのパラメータの説明
パラメータ名 説明:
base_trial

このルールを使用したトライアル。このルールは、このトライアルから収集されたテンソルを検査します。

必須

有効な値 文字列

category_no

カテゴリの数。

: オプション。

有効な値 整数 ≥2

デフォルト値 のカテゴリ数が大きいほど、 labels および predictions.

labels

真ラベルの 1-d ベクトルのテンソル名。

: オプション。

有効な値 文字列

デフォルト値: "labels"

predictions

推定ラベルの 1-d ベクトルのテンソル名。

: オプション。

有効な値 文字列

デフォルト値: "predictions"

labels_collection

ルールは、labels についてこのコレクションのテンソルを検査します。

: オプション。

有効な値 文字列

デフォルト値: "labels"

predictions_collection

ルールは、predictions についてこのコレクションのテンソルを検査します。

: オプション。

有効な値 文字列

デフォルト値: "predictions"

min_diag

対角線上のデータの比率の最小値。

: オプション。

有効な値 0≤フロート≤1

デフォルト値: 0.9

max_off_diag

非対角線上のデータの比率の最大値。

: オプション。

有効な値 0≤フロート≤1

デフォルト値: 0.1

注記

このルールでは、オプションのパラメータ値が指定されていない場合、デフォルト値が推測されます。

LossNotDecreasing

このルールは、損失の値が適切な割合で減少していないことを検出します。これらの損失はスカラーでなければなりません。

このルールは、サポートされているディープラーニングフレームワーク (TensorFlow、MXNet、PyTorch) のいずれか、または XGBoost アルゴリズムに適用できます。collection_names または tensor_regex パラメータを指定する必要があります。両方のパラメータが指定されている場合、ルールは両方のセットのテンソルの和集合を検査します。

組み込みルールを設定およびデプロイする例については、「使用 デバッガー トレーニングジョブ分析の組み込みルール」を参照してください。

LossNotDecreasing ルールのパラメータの説明
パラメータ名 説明:
base_trial

このルールを使用したトライアル。このルールは、このトライアルから収集されたテンソルを検査します。

必須

有効な値 文字列

collection_names

ルールが検査するテンソルのコレクション名のリスト。

: オプション。

有効な値 文字列のリストまたはコンマ区切りの文字列

デフォルト値 なし。

tensor_regex

この比較を特定のスカラー値テンソルに限定するために使用される正規表現パターンのリスト。このルールは、リストで指定された正規表現パターンに一致するテンソルのみを検査します。パターンが渡されない場合、デフォルト設定により、トライアルで収集されたすべてのテンソルが比較されます。スカラー値テンソルのみを照合できます。

: オプション。

有効な値 文字列のリストまたはコンマ区切りの文字列

デフォルト値 なし。

use_losses_collection

True に設定すると、コレクションが存在する場合に「losses」という名前のコレクションの損失が検索されます。

: オプション。

有効な値 Boolean

デフォルト値: True

num_steps

損失が減少しているかどうかをルールがチェックするまでの最小ステップ数。ルール評価は、 num_steps。 このルールは、このステップの損失を、少なくとも num_steps 現在のステップの後ろにあります。例えば、損失を 3 ステップごとに保存し、num_steps を 10 に設定するとします。ステップ 21 では、ステップ 21 の損失がステップ 9 の損失と比較されます。損失がチェックされる次のステップはステップ 33 です。これは、ステップ 21 の 10 ステップ後はステップ 31 であり、ステップ 31 とステップ 32 では損失が保存されないためです。

: オプション。

有効な値 Integer

デフォルト値: 10

diff_percent

num_steps の間で損失が減少する最小パーセント差。

: オプション。

有効な値 0.0 < フロート < 100

デフォルト値 損失が減少しているかどうかをチェックします num_steps.

mode

ルールチェックのためにテンソル値を照会する デバッガー モードの名前。このパラメータを渡さない場合、ルールはデフォルトで mode.EVALmode.TRAINmode.GLOBAL の順にチェックします。

: オプション。

有効な値 文字列(EVALTRAIN、または GLOBAL)

デフォルト値: None

Overfit

このルールは、検証とトレーニングの損失を比較することにより、モデルがトレーニングデータにオーバーフィットしているかどうかを検出します。

このルールは、サポートされているディープラーニングフレームワーク (TensorFlow、MXNet、PyTorch) のいずれか、または XGBoost アルゴリズムに適用できます。

組み込みルールを設定およびデプロイする例については、「使用 デバッガー トレーニングジョブ分析の組み込みルール」を参照してください。

注記

オーバーフィットを防ぐ標準的な方法は、モデルを正規化することです。

Overfit ルールのパラメータの説明
パラメータ名 説明:
base_trial

このルールを使用したトライアル。このルールは、このトライアルから収集されたテンソルを検査します。

必須

有効な値 文字列

tensor_regex

この比較を特定のスカラー値テンソルに限定するために使用する正規表現パターンのリスト。このルールは、リストで指定された正規表現パターンに一致するテンソルのみを検査します。パターンが渡されない場合、デフォルト設定により、トライアルで収集されたすべてのテンソルが比較されます。スカラー値テンソルのみを照合できます。

: オプション。

有効な値 文字列のリストまたはコンマ区切りの文字列

デフォルト値 なし。

start_step

検証とトレーニング損失の比較を開始するステップ。

: オプション。

有効な値 Integer

デフォルト値: 0

patience

モデルが過適合であるとみなされる前に、ratio_threshold が設定された値を超えることを許可されるステップの数。

: オプション。

有効な値 Integer

デフォルト値: 1

ratio_threshold

平均検証損失と平均トレーニング損失の間の差と平均トレーニング損失の最大比。patience 数のステップでこのしきい値を超えた場合、モデルはオーバーフィットし、ルールは True を返します。

: オプション。

有効な値 Float

デフォルト値: 0.1

Overtraining

このルールは、モデルがオーバートレーニングされているかどうかを検出します。

このルールは、サポートされているディープラーニングフレームワーク (TensorFlow、MXNet、PyTorch) のいずれか、または XGBoost アルゴリズムに適用できます。

組み込みルールを設定およびデプロイする例については、「使用 デバッガー トレーニングジョブ分析の組み込みルール」を参照してください。

注記

Overtraining は、早期停止によって回避することができます。早期停止の詳細については、「トレーニングジョブを早期停止する」を参照してください。デバッガー でスポットトレーニングを使用する方法を示す例については、「Amazon SageMaker Debuggerでスポットトレーニングを有効にする」を参照してください。

Overtraining ルールのパラメータの説明
パラメータ名 説明:
base_trial

このルールを使用したトライアル。このルールは、このトライアルから収集されたテンソルを検査します。

必須

有効な値 文字列

patience_train

トレーニング損失が改善していないとみなされる前に待機するステップ数。

: オプション。

有効な値 Integer

デフォルト値: 5

patience_validation 検証の損失が改善していないとみなされる前に待機するステップ数。

: オプション。

有効な値 Integer

デフォルト値: 10

delta

エラーが新しい最適要件として見なされる前にどの程度改善すべきかを示す最小しきい値。

: オプション。

有効な値 Float

デフォルト値: 0.1

次の Python の例は、このルールを実装する方法を示しています。

rules_specification = [ { "RuleName": "Overtraining", "InstanceType": "ml.c5.4xlarge", "RuntimeConfigurations": { "patience_train" : "10", "patience_validation": "20" } } ]

SimilarAcrossRuns

このルールは、基本トライアルから収集されたテンソルと、別のトライアルからのテンソルを比較します。

このルールは、サポートされているディープラーニングフレームワーク (TensorFlow、MXNet、PyTorch) のいずれか、または XGBoost アルゴリズムに適用できます。

組み込みルールを設定およびデプロイする例については、「使用 デバッガー トレーニングジョブ分析の組み込みルール」を参照してください。

SimilarAcrossRuns ルールのパラメータの説明
パラメータ名 説明:
base_trial

このルールを使用したトライアル。このルールは、このトライアルから収集されたテンソルを検査します。

必須

有効な値 文字列

other_trial

base_trial から収集したテンソルと比較したいテンソルを持つトライアル。

必須

有効な値 文字列

collection_names

ルールが検査するテンソルのコレクション名のリスト。

: オプション。

有効な値 文字列のリストまたはコンマ区切りの文字列

デフォルト値 なし。

tensor_regex

この比較を特定のスカラー値テンソルに限定するために使用する正規表現パターンのリスト。このルールは、リストで指定された正規表現パターンに一致するテンソルのみを検査します。パターンが渡されない場合、デフォルト設定により、トライアルで収集されたすべてのテンソルが比較されます。スカラー値テンソルのみを照合できます。

: オプション。

有効な値 文字列のリストまたはコンマ区切りの文字列

デフォルト値 なし。

StalledTrainingRule

StalledTrainingRuleは、トレーニングジョブに進捗がないかどうかを検出し、ルールが発動するとトレーニングジョブを停止します。このルールは、 threshold パラメータ。このルールは、新しいテンソルの監視を継続し、しきい値間隔ルールが発動するまで新しいテンソルが放出されない場合は、監視を継続します。

CheckInputImages ルールのパラメータの説明
パラメータ名 説明:
base_trial

このルールを使用したトライアル。このルールは、このトライアルから収集されたテンソルを検査します。

必須

有効な値 文字列

threshold

ルールが停滞したトレーニング問題が発生するまで、何秒でテンソル出力を待つかを定義する閾値。デフォルト値は 1800 秒です。

: オプション。

有効な値 Integer

デフォルト値: 1800

stop_training_on_fire

に設定した場合 True、ベーストレーニングジョブが"threshold"秒。

: オプション。

有効な値 Boolean

デフォルト値: False

training_job_name_prefix

ベース トレーニング ジョブ名のプレフィックス。次の場合: stop_training_on_fire が true の場合、ルールは SageMaker 同じアカウントにこのプレフィックスを持つトレーニングジョブ。非アクティブが検出された場合、ルールは StopTrainingJob アクション。同じプレフィックスを持つ複数のジョブが見つかった場合、ルールは終了をスキップします。プレフィックスはトレーニングジョブごとに一意に設定することが重要です。

: オプション。

有効な値 文字列

TensorVariance

このルールは、テンソルの非常に高いまたは低い分散を検出します。テンソルの非常に高いまたは低い分散は、ニューロンの飽和につながり、ニューラルネットワークの学習能力を低下させる可能性があります。テンソルの分散が非常に高いと、最終的にテンソルの爆発につながる可能性があります。このルールを使用すると、このような問題を早期に検出できます。

このルールは、サポートされているディープラーニングフレームワーク (TensorFlow、MXNet、PyTorch) のいずれか、または XGBoost アルゴリズムに適用できます。collection_names または tensor_regex パラメータを指定する必要があります。両方のパラメータが指定されている場合、ルールは両方のセットのテンソルの和集合を検査します。

組み込みルールを設定およびデプロイする例については、「使用 デバッガー トレーニングジョブ分析の組み込みルール」を参照してください。

TensorVariance ルールのパラメータの説明
パラメータ名 説明:
base_trial

このルールを使用したトライアル。このルールは、このトライアルから収集されたテンソルを検査します。

必須

有効な値 文字列

collection_names

ルールが検査するテンソルのコレクション名のリスト。

: オプション。

有効な値 文字列のリストまたはコンマ区切りの文字列

デフォルト値 なし。

tensor_regex

この比較を特定のスカラー値テンソルに限定するために使用する正規表現パターンのリスト。このルールは、リストで指定された正規表現パターンに一致するテンソルのみを検査します。パターンが渡されない場合、デフォルト設定により、トライアルで収集されたすべてのテンソルが比較されます。スカラー値テンソルのみを照合できます。

: オプション。

有効な値 文字列のリストまたはコンマ区切りの文字列

デフォルト値 なし。

max_threshold

テンソル分散の上限のしきい値。

: オプション。

有効な値 Float

デフォルト値 なし。

min_threshold

テンソル分散の下限のしきい値。

: オプション。

有効な値 Float

デフォルト値 なし。

UnchangedTensor

このルールは、テンソルがステップ間で変化していないことを検出します。

このルールは、 numpy.allclose(numpy.allclose) テンソルが変わらないことを確認する方法。

このルールは、サポートされているディープラーニングフレームワーク (TensorFlow、MXNet、PyTorch) のいずれか、または XGBoost アルゴリズムに適用できます。collection_names または tensor_regex パラメータを指定する必要があります。両方のパラメータが指定されている場合、ルールは両方のセットのテンソルの和集合を検査します。

組み込みルールを設定およびデプロイする例については、「使用 デバッガー トレーニングジョブ分析の組み込みルール」を参照してください。

UnchangedTensor ルールのパラメータの説明
パラメータ名 説明:
base_trial

このルールを使用したトライアル。このルールは、このトライアルから収集されたテンソルを検査します。

必須

有効な値 文字列

collection_names

ルールが検査するテンソルのコレクション名のリスト。

: オプション。

有効な値 文字列のリストまたはコンマ区切りの文字列

デフォルト値 なし。

tensor_regex

この比較を特定のスカラー値テンソルに限定するために使用する正規表現パターンのリスト。このルールは、リストで指定された正規表現パターンに一致するテンソルのみを検査します。パターンが渡されない場合、デフォルト設定により、トライアルで収集されたすべてのテンソルが比較されます。スカラー値テンソルのみを照合できます。

: オプション。

有効な値 文字列のリストまたはコンマ区切りの文字列

デフォルト値 なし。

num_steps

テンソルが変更されたかどうかを判断するためにルールがチェックするステップの数。

これにより、使用可能な最後の num_steps がチェックされます。ステップの数は連続している必要はありません。num_steps が 2 の場合、ステップ s では必ずしも s-1 と s をチェックするとは限りません。s-1 がない場合は、最後の使用可能なステップが s とともにチェックされます。この場合、使用可能な最後のステップが現在のステップでチェックされます。

: オプション。

有効な値 Integer

デフォルト値: 3

rtol

numpy.allclose メソッドに渡される相対許容誤差のパラメータ。

: オプション。

有効な値 Float

デフォルト値: 1e-05

atol

numpy.allclose メソッドに渡される絶対許容誤差のパラメータ。

: オプション。

有効な値 Float

デフォルト値: 1e-08

equal_nan

NaN を等しいものとして比較するかどうかについて。True の場合、入力配列 a 内の NaN は、出力配列の入力配列 b の NaN に等しいと見なされます。このパラメータは、numpy.allclose メソッドに渡されます。

: オプション。

有効な値 Boolean

デフォルト値: False

CheckInputImages

このルールは、入力イメージが正しく正規化されているかどうかをチェックします。具体的には、サンプルデータの平均がゼロからのしきい値よりも大きく異なるかどうかを検出します。多くのコンピュータビジョンモデルでは、入力データの平均と単位分散がゼロである必要があります。

このルールは、ディープラーニングアプリケーションに適用できます。

組み込みルールを設定およびデプロイする例については、「使用 デバッガー トレーニングジョブ分析の組み込みルール」を参照してください。

CheckInputImages ルールのパラメータの説明
パラメータ名 説明:
base_trial

このルールを使用したトライアル。このルールは、このトライアルから収集されたテンソルを検査します。

必須

有効な値 文字列

threshold_mean

入力データの平均値が 0 からどれだけ異なるかを定義するしきい値。

: オプション。

有効な値 Float

デフォルト値: 0.2

threshold_samples

エラーがスローされる前にサンプリングする必要があるイメージの数。値が低すぎると、データセット平均の推定値が不正確になります。

: オプション。

有効な値 Integer

デフォルト値: 500

regex

入力データテンソルの名前。

: オプション。

有効な値 文字列

デフォルト値 ".*hybridsequential0_input_0" (HybridSequentialを使用したApache MXNetモデルの入力テンソルの名前)

channel

のポジション カラーチャネル 入力テンソル内にあります。

: オプション。

有効な値 Integer

デフォルト値 1 (たとえば、MXNetは(batch_size、channel、height、width)の入力データを求めています)

NLPSequenceRatio

このルールは、パフォーマンスの最適化に役立つ入力シーケンスの残りの部分を考慮して、特定のトークンの比率を計算します。たとえば、入力シーケンスの文末 (EOS) トークンのパディングの割合を計算できます。EOS トークンの数が多すぎる場合は、代替バケット方針を実行する必要があります。また、入力シーケンス内の未知のトークンの割合を計算することもできます。未知語の数が多すぎる場合は、代替語彙を使用することができます。

このルールは、ディープラーニングアプリケーションに適用できます。

組み込みルールを設定およびデプロイする例については、「使用 デバッガー トレーニングジョブ分析の組み込みルール」を参照してください。

NLPSequenceRatio ルールのパラメータの説明
パラメータ名 説明:
base_trial

このルールを使用したトライアル。このルールは、このトライアルから収集されたテンソルを検査します。

必須

有効な値 文字列

tensor_regex

この比較を特定のスカラー値テンソルに限定するために使用する正規表現パターンのリスト。このルールは、リストで指定された正規表現パターンに一致するテンソルのみを検査します。パターンが渡されない場合、デフォルト設定により、トライアルで収集されたすべてのテンソルが比較されます。スカラー値テンソルのみを照合できます。

: オプション。

有効な値 文字列のリストまたはコンマ区切りの文字列

デフォルト値 ".*embedding0_input_0" (埋め込みをネットワークの初期レイヤーとして想定)

token_values

トークンの数値のリストの文字列。たとえば、「3、0」のように指定します。

: オプション。

有効な値 数値のコンマ区切り文字列

デフォルト値: 0

token_thresholds_percent

token_values。 たとえば、「50.0、50.0」などです。

: オプション。

有効な値 カンマ区切りのフロートの文字列

デフォルト値: "50,50

FeatureImportanceOverweight

このルールは、ステップごとに n の最大機能重要度値の重みを累積し、しきい値を超えないようにします。たとえば、上位 3 つの要素のしきい値を、モデルの合計重量の 80% を超えないように設定できます。

このルールは、XGBoost アルゴリズムに対してのみ有効です。

組み込みルールを設定およびデプロイする例については、「使用 デバッガー トレーニングジョブ分析の組み込みルール」を参照してください。

TreeDepth ルールのパラメータの説明
パラメータ名 説明:
base_trial

このルールを使用したトライアル。このルールは、このトライアルから収集されたテンソルを検査します。

必須

有効な値 文字列

threshold

の累積合計の割合の閾値を定義します n 最大の機能。番号 n は、 nfeatures パラメータ。

: オプション。

有効な値 Float

デフォルト値: 0.8

nfeatures

最大の要素の数。

: オプション。

有効な値 Integer

デフォルト値: 3

tensor_regex

テンソルの正規表現(regex)は、分析するルールの名前を示します。

: オプション。

有効な値 文字列

デフォルト値: ".*feature_importance/weight"

TreeDepth

このルールは、XGBoost モデルのツリーの深さを測定します。XGBoostは、損失を改善しない場合、分割を拒否します。これにより、トレーニングが正規化されます。その結果、ツリーは、 depth パラメータ。

このルールは、XGBoost アルゴリズムに対してのみ有効です。

組み込みルールを設定およびデプロイする例については、「使用 デバッガー トレーニングジョブ分析の組み込みルール」を参照してください。

TreeDepth ルールのパラメータの説明
パラメータ名 説明:
base_trial

このルールを使用したトライアル。このルールは、このトライアルから収集されたテンソルを検査します。

必須

有効な値 文字列

depth

ツリーの深さ。ツリーの深さは、最大のノード ID の 2 対数を計算することによって得られます。

: オプション。

有効な値 Float

デフォルト値: 4