パイプラインのログの表示

Amazon S3 の場所をコンソールで指定するか、SDK/CLI を使用してデフォルトオブジェクト内の pipelineLogUri で指定することによって、パイプライン作成時のログ記録がパイプラインレベルでサポートされます。その URI 内の各パイプラインのディレクトリ構造は次のようになります。

pipelineId
    -componentName
        -instanceId
            -attemptId

df-00123456ABC7DEF8HIJK というパイプラインのディレクトリ構造は次のようになります。

df-00123456ABC7DEF8HIJK
    -ActivityId_fXNzc
        -@ActivityId_fXNzc_2014-05-01T00:00:00
            -@ActivityId_fXNzc_2014-05-01T00:00:00_Attempt=1

ShellCommandActivity では、アクティビティに関連付けられた stderr および stdout のログは、各試行のディレクトリに保存されます。

EmrCluster などのリソースで emrLogUri が設定されている場合、その値が優先されます。それ以外の場合、リソース (そのリソースの TaskRunner ログを含む) には、上に示したパイプラインのログ記録構造が使用されます。各コンポーネントに関するこれらのログは、パイプラインの [Execution Details] ページで、コンポーネント詳細を表示し、ログのリンクをクリックすることで表示できます。

各試行のログを見ることもできます。たとえば、HadoopActivity のログを表示するには、アクティビティ用のパイプラインの [Attempts] タブをクリックします。Hadoop ログは、Hadoop のジョブによって作成されたログを表示します。