ランダムカットフォレスト (RCF) アルゴリズム - Amazon SageMaker
RCF アルゴリズムの入出力インターフェイスRCF アルゴリズムのインスタンスに関する推奨事項サンプルノートブック

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

ランダムカットフォレスト (RCF) アルゴリズム

Amazon SageMaker Random Cut Forest (RCF) は、データセット内の異常なデータポイントを検出するための教師なしアルゴリズムです。これらは、その他の高度に構造化された、またはパターン化されたデータとは異なる観測値です。異常は、時系列データにおける突然のスパイク、周期性の中断、分類できないデータポイントとして現れる場合があります。プロットで見ると「通常の」データと容易に区別できることが多いため、簡単に説明できます。「通常の」データは多くの場合に単純なモデルで記述できるため、これらの異常をデータセットに含めると、機械学習タスクの複雑さが大幅に増加する可能性があります。

各データポイントで、RCF は異常スコアを関連付けます。低スコア値であれば、データポイントは「通常」とみなされています。高い値は、データ内に異常があることを示します。「低」および「高」の定義はアプリケーションによって異なりますが、一般的な方法としては、平均スコアから 3 標準偏差を超えるスコアであれば、異常とみなされます。

交通量解析や音量スパイク検出など、異常検出アルゴリズムは 1 次元時系列データに広く応用されます。これに対し RCF は、任意の次元入力で機能するように設計されています。Amazon SageMaker RCF は、機能の数、データセットのサイズ、インスタンスの数に関して適切にスケーリングされます。

トピック

RCF アルゴリズムの入出力インターフェイス

Amazon SageMaker Random Cut Forest は、 trainおよび test データチャネルをサポートしています。オプションのテストチャネルは、正確性、精度、リコール、およびラベル付けされたデータの F1 スコアメトリクスを計算するために使用されます。トレーニングとテストデータコンテンツタイプは、application/x-recordio-protobuf または text/csv の形式です。テストデータについて、text/csv 形式を使用する場合に、コンテンツを text/csv;label_size=1 として指定する必要があります。各行の最初の列は異常ラベルを表します。異常データポイントの場合は「1」、通常のデータポイントの場合は「0」です。ファイルモードまたはパイプモードを使用すると、recordIO-wrapped-protobuf または CSV の形式のデータについて RCF モデルをトレーニングできます。

トレーニングチャネルは S3DataDistributionType=ShardedByS3Key のみがサポートされ、テストチャネルでは S3DataDistributionType=FullyReplicated のみがサポートされます。次の例では、Amazon Python SDK を使用してトレーニングチャネルの S3 ディストリビューションタイプを指定します。 SageMaker

注記

SageMaker Python SDK v2 sagemaker.inputs.TrainingInputで sagemaker.inputs.s3_inputメソッドの名前が に変更されました。

  import sagemaker
    
  # specify Random Cut Forest training job information and hyperparameters
  rcf = sagemaker.estimator.Estimator(...)
    
  # explicitly specify "ShardedByS3Key" distribution type
  train_data = sagemaker.inputs.TrainingInput(
       s3_data=s3_training_data_location,
       content_type='text/csv;label_size=0',
       distribution='ShardedByS3Key')
    
  # run the training job on input data stored in S3
  rcf.fit({'train': train_data})

実行ロールに関する一般的なエラーを回避するには、必要な実行ロール AmazonSageMakerFullAccess と AmazonEC2ContainerRegistryFullAccess があることを確認します。イメージが存在しない、またはアクセス権限が正しくないという一般的なエラーを回避するには、ECR イメージがトレーニングインスタンスに割り当てられたディスク容量より大きくないことを確認してください。これを回避するには、十分なディスク容量があるインスタンスでトレーニングジョブを実行します。さらに、ECR イメージが別の AWS アカウントの Elastic Container Service (ECS) リポジトリからのもので、アクセスを許可するリポジトリのアクセス許可を設定しない場合、エラーが発生します。リポジトリポリシーステートメントの設定の詳細については、「ECR repository permissions」(ECR リポジトリのアクセス許可) を参照してください。

S3 データソース属性のカスタマイズの詳細については、「S3DataSource」を参照してください。最後に、複数インスタンスのトレーニングの利点を活かすために、トレーニングデータは少なくともインスタンスと同じ数のファイルに分割されている必要があります。

RCF では、推論のために application/x-recordio-protobuf、text/csv、および application/json 入力データコンテンツタイプをサポートしています。詳細については、組み込みアルゴリズムの共通データ形式のドキュメントを参照してください。RCF 推論は、application/x-recordio-protobuf または application/json フォーマットされた出力を返します。これらの出力データの各レコードには、各入力データポイントの対応する異常スコアが含まれています。詳細については、一般的なデータ形式 - 推論を参照してください。

入出力ファイル形式の詳細については、RCF のレスポンス形式 (推論の場合) およびRCF サンプルノートブックを参照してください。

RCF アルゴリズムのインスタンスに関する推奨事項

トレーニングには、ml.m4、ml.c4、および ml.c5 インスタンスファミリーをお勧めします。推論には、最大限のパフォーマンスと使用時間当たりのコスト最小化のために、特に ml.c5.xl インスタンスタイプを使用することをお勧めします。このアルゴリズムは技術的には GPU インスタンスタイプで実行可能であるとはいえ、GPU ハードウェアを利用することはしません。

RCF サンプルノートブック

RCF モデルをトレーニングして推論を実行する方法の例については、「ランダム SageMaker カットフォレストの概要」ノートブックを参照してください。 SageMaker でサンプルの実行に使用できる Jupyter ノートブックインスタンスを作成してアクセスする方法については、「Amazon SageMaker ノートブックインスタンス」を参照してください。ノートブックインスタンスを作成して開いたら、SageMaker 「例」タブを選択して、すべての SageMaker サンプルのリストを表示します。ノートブックを開くには、その [Use (使用)] タブをクリックして [Create copy (コピーを作成)] を選択します。