Amazon CloudWatch에서 Airflow 로그 보기 - Amazon Managed Workflows for Apache Airflow
요금시작하기 전 준비 사항로그 유형Apache Airflow 로그 활성화Apache Airflow 로그 보기스케줄러 로그 예제다음 단계

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon CloudWatch에서 Airflow 로그 보기

Amazon MWAA는 Apache Airflow 로그를 Amazon CloudWatch로 전송할 수 있습니다. 타사 도구를 사용하지 않고도 단일 위치에서 여러 환경의 로그를 확인하여 Apache Airflow 작업 지연 또는 워크플로 오류를 쉽게 식별할 수 있습니다. Amazon Managed Workflows for Apache Airflow 콘솔에서 Apache Airflow Word DAG 처리, 작업, 웹 서버, Worker Logs in CloudWatch를 보려면 Apache Airflow 로그를 활성화해야 합니다.

요금

  • Standard CloudWatch Logs 요금이 적용됩니다. 자세한 내용은 CloudWatch 요금을 참조하세요.

시작하기 전 준비 사항

  • CloudWatch에서 로그를 볼 수 있는 역할이 있어야 합니다. 자세한 내용은 Amazon MWAA 환경에 액세스 단원을 참조하십시오.

로그 유형

Amazon MWAA는 활성화하는 각 Airflow 로깅 옵션에 대한 로그 그룹을 생성하고 환경과 연결된 CloudWatch 로그 그룹에 로그를 푸시합니다. 로그 그룹의 이름은 다음 형식으로 명명됩니다: YourEnvironmentName-LogType. 예를 들어, 환경 이름이 Airflow-v202-Public으로 명명되면 Apache Airflow 작업 로그가 Airflow-v202-Public-Task로 전송됩니다.

로그 유형 설명

YourEnvironmentName-DAGProcessing

DAG 프로세서 관리자(DAG 파일을 처리하는 스케줄러의 일부)의 로그입니다.

YourEnvironmentName-Scheduler

Airflow 스케줄러가 생성하는 로그입니다.

YourEnvironmentName-Task

DAG가 생성하는 태스크 로그입니다.

YourEnvironmentName-WebServer

Airflow 웹 인터페이스가 생성하는 로그입니다.

YourEnvironmentName-Worker

워크플로 및 DAG 실행의 일부로 생성된 로그입니다.

Apache Airflow 로그 활성화

INFO, WARNING, ERROR, 또는 CRITICAL 수준에서 Apache Airflow 로그를 활성화할 수 있습니다. 로그 수준을 선택하면 Amazon MWAA는 해당 수준 및 더 높은 수준의 심각도에 대한 로그를 전송합니다. 예를 들어 INFO 수준에서 로그를 활성화하면 Amazon MWAA는 INFO 로그 및 WARNING, ERROR및 CRITICAL 로그 수준을 CloudWatch 로그로 전송합니다.

  1. Amazon MWAA 콘솔에서 환경 페이지를 엽니다.

  2. 환경을 선택합니다.

  3. 편집을 선택합니다.

  4. Next(다음)를 선택합니다.

  5. 다음 로깅 옵션 중 하나 이상을 선택합니다.

    1. 모니터링 창에서 Airflow 스케줄러 로그 그룹을 선택합니다.

    2. 모니터링 창에서 Airflow 웹 서버 로그 그룹을 선택합니다.

    3. 모니터링 창에서 Airflow 작업자 로그 그룹을 선택합니다.

    4. 모니터링 창에서 Airflow DAG 처리 로그 그룹을 선택합니다.

    5. 모니터링 창에서 Airflow 작업 로그 그룹을 선택합니다.

    6. 로그 수준에서 로깅 수준을 선택합니다.

  6. Next(다음)를 선택합니다.

  7. 저장(Save)을 선택합니다.

Apache Airflow 로그 보기

다음 섹션에서는 CloudWatch 콘솔에서 Apache Airflow 로그를 보는 방법을 설명합니다.

  1. Amazon MWAA 콘솔에서 환경 페이지를 엽니다.

  2. 환경을 선택합니다.

  3. 모니터링 창에서 로그 그룹을 선택합니다.

  4. 로그 스트림을 선택합니다.

스케줄러 로그 예제

워크플로우를 예약하고 dags 폴더를 구문 분석하는 스케줄러에 대한 Apache Airflow 로그를 볼 수 있습니다. 다음 단계에서는 Amazon MWAA 콘솔에서 스케줄러의 로그 그룹을 열고 CloudWatch Logs 콘솔에서 Apache Airflow 로그를 보는 방법을 설명합니다.

requirements.txt에 대한 로그를 보려면

  1. Amazon MWAA 콘솔에서 환경 페이지를 엽니다.

  2. 환경을 선택합니다.

  3. 모니터링 창에서 Airflow 스케줄러 로그 그룹을 선택합니다.

  4. 로그 스트림에서 requirements_install_ip 로그를 선택합니다.

  5. /usr/local/airflow/.local/bin에서 환경에 설치된 패키지 목록을 볼 수 있습니다. 예제:

    Collecting appdirs==1.4.4 (from -r /usr/local/airflow/.local/bin (line 1))
Downloading https://files.pythonhosted.org/packages/3b/00/2344469e2084fb28kjdsfiuyweb47389789vxbmnbjhsdgf5463acd6cf5e3db69324/appdirs-1.4.4-py2.py3-none-any.whl  
Collecting astroid==2.4.2 (from -r /usr/local/airflow/.local/bin (line 2))

  6. 패키지 목록을 검토하고 설치 중에 오류가 발생했는지 여부를 검토합니다. 문제가 발생한 경우, 다음과 비슷한 오류가 표시될 수 있습니다.

    2021-03-05T14:34:42.731-07:00
No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4))
No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4))

다음 단계

  • Amazon CloudWatch 경보 사용에서 aWord 경보를 구성하는 방법을 알아봅니다. CloudWatch

  • Using CloudWatch 대시보드에서 a CloudWatch 대시보드를 생성하는 방법을 알아봅니다.