Amazon Managed Workflows for Apache Airflow 문제 해결

이 주제는 Amazon Managed Workflows for Apache Airflow에서 Apache Airflow를 사용할 때 발생할 수 있는 일반적인 문제 및 오류와 이러한 오류를 해결하기 위한 권장 단계를 설명합니다.

목차

• 문제 해결: Apache Airflow v2의 DAG, 연산자, 연결 및 기타 문제
  • 연결
    • Secrets Manager에 연결할 수 없음
    • 실행 역할 정책에서 secretsmanager:ResourceTag/<tag-key> 암호 관리자 조건 또는 리소스 제한을 구성하려면 어떻게 해야 합니까?
    • Snowflake에 연결할 수 없음
    • Airflow UI에서 내 연결이 보이지 않음
  • 웹 서버
    • 웹 서버에 액세스하는 중에 5xx 오류가 표시됨
    • '스케줄러가 실행되지 않는 것 같습니다' 오류가 표시됨
  • 작업
    • 작업이 중단되거나 완료되지 않은 것으로 보임
  • CLI
    • CLI에서 DAG를 트리거할 때 '503' 오류가 표시됨.
    • dags backfill Apache Airflow CLI 명령이 실패하는 이유는 무엇입니까? 해결 방법이 있나요?
  • 연산자
    • S3Transform 연산자를 사용할 때 PermissionError: [Errno 13] Permission denied 오류가 발생함
• 문제 해결: Apache Airflow v1의 DAG, 연산자, 연결 및 기타 문제
  • requirements.txt 업데이트
    • apache-airflow-providers-amazon 추가 시 환경이 실패함
  • Broken DAG
    • Amazon DynamoDB 연산자를 사용할 때 'Broken DAG' 오류가 발생했습니다.
    • 'Broken DAG: psycopg2라는 이름의 모듈이 없음' 오류가 발생함
    • Slack 연산자를 사용할 때 'Broken DAG' 오류가 발생함
    • Google/GCP/BigQuery를 설치하는 동안 여러 가지 오류가 발생함
    • 'Broken DAG: Cython이라는 이름의 모듈이 없음' 오류가 발생함
  • 연산자
    • BigQuery 연산자를 사용할 때 오류가 발생함.
  • 연결
    • Snowflake에 연결할 수 없음
    • Secrets Manager에 연결할 수 없음
    • '<DB-identifier-name>.cluster-id.<region>.rds.amazonaws.com'에서 내 MySQL 서버에 연결할 수 없음
  • 웹 서버
    • BigQuery Operator를 사용하고 있는데 이로 인해 웹 서버가 다운됨
    • 웹 서버에 액세스하는 중에 5xx 오류가 표시됨
    • '스케줄러가 실행되지 않는 것 같습니다' 오류가 표시됨
  • 작업
    • 작업이 중단되거나 완료되지 않은 것으로 보임
  • CLI
    • CLI에서 DAG를 트리거할 때 '503' 오류가 표시됨.
• 문제 해결: Amazon MWAA 환경 생성 및 업데이트
  • requirements.txt 업데이트
    • requirements.txt의 새 버전을 지정했는데 환경 업데이트에 20분 이상 소요됨
  • 플러그인
    • Amazon MWAA는 사용자 지정 UI 구현을 지원합니까?
    • 플러그인을 통해 Amazon MWAA 로컬 러너에서 사용자 지정 UI 변경을 구현할 수 있지만 Amazon MWAA에서 동일한 작업을 시도해도 변경 내용이나 오류가 표시되지 않습니다. 왜 이런 일이 발생합니까?
  • 버킷 생성
    • S3 퍼블릭 액세스 차단 설정 옵션을 선택할 수 없음
  • 환경 생성
    • 환경을 생성하려고 했지만 "생성 중" 상태에서 멈춤
    • 환경을 생성하려고 했지만 상태가 “생성 실패”로 표시됨
    • VPC를 선택하려고 했는데 “네트워크 장애” 오류가 발생함
    • 환경을 생성하려고 시도했지만 서비스, 파티션 또는 리소스가 "전달되어야 함" 오류가 발생함
    • 환경을 생성하려고 시도했는데 상태가 “사용 가능”으로 표시되지만 Airflow UI에 액세스하려고 하면 “서버에서 빈 응답” 또는 “502 Bad Gateway” 오류가 표시됨
    • 환경을 생성하려고 했는데 사용자 이름이 여러 개의 무작위 문자 이름임
  • 환경 업데이트
    • 환경 클래스를 변경하려고 시도했지만 업데이트에 실패함
  • 액세스 환경
    • Apache Airflow UI에 액세스할 수 없음
• 문제 해결: CloudWatch Log 및 CloudTrail 오류
  • 로그
    • 내 작업 로그를 볼 수 없거나 'Cloudwatch log_group에서 원격 로그를 읽는 중' 오류가 발생함
    • 로그 없이 작업이 실패함
    • CloudTrail에 'ResourceAlreadyExistsException' 오류가 표시됨
    • CloudTrail에 '잘못된 요청' 오류가 표시됨
    • Apache Airflow 로그에 '64비트 Oracle Client 라이브러리를 찾을 수 없습니다: “libclntsh.so: 공유 객체 파일을 열 수 없음: 해당 파일 또는 디렉터리가 없습니다'라는 메시지가 표시됨
    • 스케줄러 로그에 psycopg2 '서버가 예기치 않게 연결을 종료했습니다'라는 메시지가 표시됨
    • DAG 처리 로그에 ‘작업에 %라고 표시되지만 실행 프로그램이 작업 인스턴스 % 완료(%)라고 보고합니다'라고 표시됩니다.
    • 작업 로그에 'log_group에서 원격 로그를 읽을 수 없음: airway-*{*environmentName}-Task log_stream:* {*DAG_ID}/*{*TASK_ID}/*{*time}/*{*{*n.log.' 내 작업 로그에