시작하기 – AWS Glue on Ray
| AWS Glue on Ray는 현재 AWS Glue의 미리 보기 릴리스이므로 변경될 수 있습니다. |
AWS Glue ETL과 함께 AWS Glue on Ray와 상호 작용할 때와 동일한 AWS Glue 기능, 작업 및 대화형 세션을 사용합니다. AWS Glue 작업은 동일한 스크립트를 반복적으로 실행하도록 설계된 반면, 대화형 세션은 프로비저닝된 동일한 리소스에 대해 순차적으로 코드 조각을 실행할 수 있도록 설계되었습니다. AWS Glue ETL과 Ray는 기본적으로 다르므로 스크립트에서 다른 도구, 기능 및 구성에 액세스할 수 있습니다. AWS Glue에서 관리하는 새로운 계산 프레임워크인 Ray는 아키텍처가 다르며 해당 기능을 설명하기 위해 다양한 어휘를 사용합니다. 자세한 내용은 Ray 설명서의 아키텍처 백서
AWS Glue Studio 콘솔의 Ray 작업
AWS Glue Studio 콘솔의 Jobs(작업) 페이지의 AWS Glue Studio - Ray 스크립트 편집기에서 작업을 생성할 때 새로운 옵션을 선택할 수 있습니다. 콘솔에서 Ray 작업을 생성하려면 이 옵션을 선택합니다. 작업에 대한 자세한 내용과 작업을 사용하는 방법은 AWS Glue의 작업 작성 섹션을 참조하세요.
AWS Glue Studio 콘솔의 Ray 대화형 세션
AWS Glue Studio 콘솔의 Jobs(작업) 페이지에서 기존 Jupyter Notebook 옵션을 선택합니다. 그러면 Kernel(커널)을 선택할 수 있는 Notebook setup(노트북 설정) 페이지가 열립니다. Ray 커널을 선택하여 Ray 대화형 세션을 시작합니다. 대화형 세션에 대한 자세한 내용과 대화형 세션을 사용하는 방법은 AWS Glue 대화형 세션 시작하기 섹션을 참조하세요.
Jupyter 커널을 사용하는 Ray 대화형 세션
AWS Glue Studio 콘솔 외부에서 Ray 커널을 사용하려면 PyPI에 게시되는 aws-glue-sessions 패키지를 설치해야 합니다. 커널 패키지 사용에 대한 자세한 내용은 AWS Glue 대화형 세션 시작하기 설명서를 참조하세요.
커널을 업데이트하거나 설치하려면 pip install --upgrade aws-glue-sessions을 실행합니다. Ray 커널을 사용하려면 .37 이상 버전이 필요합니다.
Ray 대화형 세션 제한 시간 기본값
세션의 제한 시간 기본값은 8시간입니다.
유휴 제한 시간 기본값은 1시간입니다.
AWS Glue Ray 대화형 세션에서 지원되는 매직
Ray 대화형 세션을 구동하는 AWS Glue Jupyter 커널의 매직은 Spark 세션의 매직과 비슷합니다. 자세한 내용은 Jupyter 및 AWS Glue Studio 노트북용 AWS Glue 대화형 세션 구성 섹션을 참조하세요.
세션 매직
세션 매직은 AWS Glue on Ray 미리 보기 이전 버전과 거의 동일합니다. 이 평가판 이외의 세션 매직에 대한 자세한 내용은 Jupyter용 AWS Glue 대화형 세션에서 지원되는 매직 섹션을 참조하세요. 세션 유형을AWS Glue on Ray로 설정하는 새로운 매직을 소개합니다.
| 이름 | 유형 | 설명 |
|---|---|---|
%glue_ray
|
문자열 | 세션 유형을 AWS Glue on Ray로 변경합니다. |
AWS Glue 구성 마법
대화형 세션에서 AWS Glue를 구성하는 매직은 세션 유형에 따라 다를 수 있습니다. 현재는 AWS Glue on Ray를 사용할 때 기존 매직 중 이 하위 세트만 지원됩니다.
| 이름 | 유형 | 설명 |
|---|---|---|
%%configure
|
딕셔너리 | 세션에 대한 모든 구성 파라미터로 구성된 JSON 포맷 딕셔너리를 지정합니다. 각 파라미터는 여기서 지정하거나 개별 매직을 통해 지정할 수 있습니다. |
%iam_role |
문자열 | 세션을 실행하는 데 사용할 IAM 역할 ARN을 지정합니다. 기본값은 ~/.aws/configure에 있습니다. |
%number_of_workers |
int | 작업이 실행될 때 할당되는 정의된 worker_type의 작업자 수입니다. worker_type도 설정해야 합니다. |
%worker_type |
문자열 | AWS Glue on Ray 미리 보기에서 지원되는 유일한 작업자 유형은 Z.2X입니다. |
%additional_python_modules |
목록 | 클러스터에 포함할 추가 Python 모듈의 쉼표로 구분된 목록입니다(Pypi 또는 S3에서 가져올 수 있음). |
작업 매직
AWS Glue Ray 세션은 작업 매직을 지원하지 않습니다.
AWS CLI 및 SDK의 Ray 작업
AWS CLI의 Ray 작업은 다른 작업과 동일한 SDK 작업 및 파라미터를 사용합니다. AWS Glue on Ray 평가판에는 특정 파라미터의 새 값이 도입됩니다. 작업 API에 대한 자세한 내용은 작업 섹션을 참조하세요.
--command (JobCommand)- Ray 작업에서는Nameglueray를 사용하며PythonVersion3.9만 지원합니다.-
--glue-version (GlueVersion)- Ray 작업은 AWS Glue 4.0에서 지원됩니다. 이는4.0값으로 표시됩니다. -
--worker-type (WorkerType)- Ray 작업은 새로운 AWS Graviton 기반 인스턴스 유형으로 지원됩니다. 이는Z.2X값으로 표시됩니다.Z.2X작업자 유형의 경우, 각 작업자가 2 DPU(vCPU 8개, 64GB 메모리, 128GB 디스크)에 매핑되고, autoscaler를 기반으로 최대 8명의 Ray 작업자(vCPU당 1명)를 제공합니다. -
--number-of-workers (NumberOfWorkers)- AWS Glue on Ray 미리 보기에서 계정은 새 서비스 할당량으로 제한됩니다. 기본값인 50 DPU(25명의 Z.2X 작업자)에 액세스할 수 있습니다. 최소값: 2 -
작업 실행의
DefaultArguments,NonOverridableArguments또는Arguments인수 - AWS Glue on Ray는 새 작업 인수 세트를 지원합니다. 자세한 내용은 Ray 작업에서 작업 파라미터 사용 섹션을 참조하세요.
