Managed Service for Apache Flink Python アプリケーションをモニタリングする

Managed Service for Apache Flink Python アプリケーションをモニタリングするには、アプリケーションの CloudWatch ログを使用します。

Apache Flink 用 Managed Service は Python アプリケーションの以下のメッセージをログに記録します。

• アプリケーションの main メソッドで print() を使用してコンソールに書き込まれるメッセージ。

• logging パッケージを使用してユーザー定義関数で送信されるメッセージ。次のコード例は、ユーザー定義関数からアプリケーションログへの書き込みを示しています。

  import logging
  
  @udf(input_types=[DataTypes.BIGINT()], result_type=DataTypes.BIGINT())
  def doNothingUdf(i):
      logging.info("Got {} in the doNothingUdf".format(str(i)))
      return i

• アプリケーションから返されるエラーメッセージ。

  アプリケーションが main 関数内で例外を投げると、その例外はアプリケーションのログに記録されます。

  次の例は、Python コードから発生した例外のログエントリを示しています。

  2021-03-15 16:21:20.000   --------------------------- Python Process Started --------------------------
  2021-03-15 16:21:21.000   Traceback (most recent call last):
  2021-03-15 16:21:21.000   "  File ""/tmp/flink-web-6118109b-1cd2-439c-9dcd-218874197fa9/flink-web-upload/4390b233-75cb-4205-a532-441a2de83db3_code/PythonKinesisSink/PythonUdfUndeclared.py"", line 101, in <module>"
  2021-03-15 16:21:21.000       main()
  2021-03-15 16:21:21.000   "  File ""/tmp/flink-web-6118109b-1cd2-439c-9dcd-218874197fa9/flink-web-upload/4390b233-75cb-4205-a532-441a2de83db3_code/PythonKinesisSink/PythonUdfUndeclared.py"", line 54, in main"
  2021-03-15 16:21:21.000   "    table_env.register_function(""doNothingUdf"", doNothingUdf)"
  2021-03-15 16:21:21.000   NameError: name 'doNothingUdf' is not defined
  2021-03-15 16:21:21.000   --------------------------- Python Process Exited ---------------------------
  2021-03-15 16:21:21.000   Run python process failed
  2021-03-15 16:21:21.000   Error occurred when trying to start the job
  

注記

パフォーマンス上の問題から、アプリケーション開発中はカスタムログメッセージのみを使用することをおすすめします。

CloudWatch Insights でログをクエリする

次の CloudWatch Insights クエリは、アプリケーションの主要関数の実行中に Python エントリポイントによって作成されたログを検索します。

fields @timestamp, message
| sort @timestamp asc
| filter logger like /PythonDriver/
| limit 1000