문제 해결

Studio 또는 Studio Classic 노트북에서 Amazon EMR 클러스터를 사용할 때 연결 또는 사용 프로세스 중에 다양한 잠재적 문제나 문제가 발생할 수 있습니다. 이 섹션에서는 이러한 오류를 해결하고 해결하는 데 도움이 되도록 발생할 수 있는 일반적인 문제에 대한 지침을 제공합니다.

다음은 Studio 또는 Studio Classic 노트북에서 Amazon EMR 클러스터를 연결하거나 사용하는 동안 발생할 수 있는 일반적인 오류입니다.

Livy 연결이 중단 또는 실패하는 문제의 해결

다음은 스튜디오 또는 스튜디오 클래식 노트북에서 Amazon EMR 클러스터를 사용하는 동안 발생할 수 있는 Livy 연결 문제입니다.

• Amazon EMR 클러스터에서 오류가 발생했습니다. out-of-memory

  Livy 연결이 중단되거나 실패하는 이유는 Amazon EMR 클러스터에서 오류가 발생한 경우일 수 있습니다. sparkmagic out-of-memory

  기본적으로 Apache Spark 드라이버 spark.driver.defaultJavaOptions의 Java 구성 파라미터는 -XX:OnOutOfMemoryError='kill -9 %p'로 설정되어 있습니다. 즉, 드라이버 프로그램에서 OutOfMemoryError가 발생할 때 실행하는 기본 작업은 SIGKILL 신호를 전송하여 드라이버 프로그램을 종료하는 것입니다. Apache Spark 드라이버가 종료되면 해당 드라이버를 활용하는 sparkmagic을 통한 모든 Livy 연결이 중단되거나 실패합니다. 이는 Spark 드라이버가 태스크 예약 및 실행을 포함한 Spark 애플리케이션의 리소스 관리를 담당하기 때문입니다. 드라이버가 없으면 Spark 애플리케이션이 작동하지 않으며 이와 상호 작용하려는 모든 시도가 실패합니다.

  Spark 클러스터에 메모리 문제가 발생한 것으로 의심되는 경우 Amazon EMR 로그를 확인하면 됩니다. out-of-memory 오류로 인해 중단된 컨테이너는 일반적으로 코드가 1인 상태로 종료됩니다. 137 이러한 경우 Spark 애플리케이션을 다시 시작하고 새 Livy 연결을 설정하여 Spark 클러스터와의 상호 작용을 재개해야 합니다.

  Amazon EMR의 Spark에서 “컨테이너가 메모리 제한을 초과하여 YARN에 의해 종료됨” 오류를 해결하려면 기술 자료 문서를 참조하십시오. 계속해서 AWS re:Post 문제를 해결하는 데 사용할 수 있는 다양한 전략과 파라미터에 대해 알아보십시오. out-of-memory

  Amazon EMR 모범 사례 안내서를 통해 Amazon EMR 클러스터에서 Apache Spark 워크로드를 실행하는 모범 사례와 조정 지침을 검토하는 것이 좋습니다.

• 처음으로 Amazon EMR 클러스터에 연결할 때는 Livy 세션 제한 시간이 초과됩니다.

  Apache Livy를 사용하여 sagemaker-studio-analytics-extensionSparkMagic라이브러리를 통해 원격 Spark (Amazon EMR) 클러스터에 연결할 수 있게 하는 를 사용하여 Amazon EMR 클러스터에 처음 연결할 때 연결 시간 초과 오류가 발생할 수 있습니다.

  An error was encountered: Session 0 did not start up in 60 seconds.

  연결 설정 시 Amazon EMR 클러스터에서 Spark 애플리케이션을 초기화해야 하는 경우 연결 제한 시간 초과 오류가 발생할 가능성이 높아집니다.

  분석 확장 프로그램인 sagemaker-studio-analytics-extension 버전 0.0.19 이상을 통해 Livy를 사용하여 Amazon EMR 클러스터에 연결할 때 제한 시간 초과가 발생할 가능성을 줄이려면 기본 서버 세션 제한 시간을 sparkmagic의 기본값인 60초 대신 120초로 재정의합니다.

  다음 업그레이드 명령을 실행하여 확장 프로그램 0.0.18을 더 빠르게 업그레이드하는 것이 좋습니다.

  pip install --upgrade sagemaker-studio-analytics-extension

  sparkmagic에서 사용자 지정 제한 시간 구성을 제공할 경우 sagemaker-studio-analytics-extension에 재정의가 적용됩니다. 하지만 세션 제한 시간을 60초로 설정하면 sagemaker-studio-analytics-extension에서 기본 서버 세션 제한 시간인 120초마다 자동으로 트리거됩니다.