대화형 세션 API - AWS Glue

대화형 세션 API

대화형 세션 API는 AWS Glue 대화형 세션을 사용하여 데이터 통합을 위한 추출, 변환, 로드 스크립트를 빌드하고 테스트하는 것과 관련된 AWS Glue API를 설명합니다.

데이터 유형

세션 구조

원격 Spark 런타임 환경이 실행되는 기간입니다.

필드
  • IdSingle-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

    세션의 ID입니다.

  • CreatedOn – 타임스탬프입니다.

    세션이 생성된 시간 및 날짜입니다.

  • Status – UTF-8 문자열입니다(유효 값: PROVISIONING | READY | FAILED | TIMEOUT | STOPPING | STOPPED).

    세션 상태입니다.

  • ErrorMessageURI address multi-line string pattern과(와) 일치하는 2,048바이트 이하 길이의 설명 문자열입니다.

    세션 중 표시되는 오류 메시지입니다.

  • DescriptionURI address multi-line string pattern과(와) 일치하는 2,048바이트 이하 길이의 설명 문자열입니다.

    세션에 대한 설명입니다.

  • RoleCustom string pattern #20과 일치하는 UTF-8 문자열입니다(20~2,048바이트).

    세션과 연결된 IAM 역할의 이름 또는 Amazon 리소스 이름(ARN)입니다.

  • CommandSessionCommand 객체입니다.

    명령 객체입니다. SessionCommand를 참조하세요.

  • DefaultArguments – 75개 이하의 페어로 구성된 키-값 페어의 맵 배열입니다.

    각 키는 Custom string pattern #21과(와) 일치하는 1~128바이트 길이의 UTF-8 문자열입니다.

    각 값은 URI address multi-line string pattern와 일치하는 UTF-8 문자열(4,096바이트 이하)입니다.

    키-값 페어의 맵 배열입니다. 최대 75페어입니다.

  • ConnectionsConnectionsList 객체입니다.

    세션에 사용되는 연결 수입니다.

  • Progress - 숫자(double)입니다.

    세션의 코드 실행 진행률입니다.

  • MaxCapacity - 숫자(double)입니다.

    작업이 실행될 때 할당할 수 있는 AWS Glue 데이터 처리 단위(DPU) 수입니다. DPU는 4 vCPU의 컴퓨팅 용량과 16GB 메모리로 구성된 프로세싱 파워의 상대적 측정값입니다.

  • SecurityConfigurationSingle-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

    세션과 함께 사용할 SecurityConfiguration 구조의 이름입니다.

  • GlueVersionCustom string pattern #15과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

    AWS Glue 버전은 AWS Glue가 지원하는 Apache Spark 및 Python 버전을 결정합니다. GlueVersion은 2.0보다 커야 합니다.

  • DataAccessId – UTF-8 문자열입니다(1~36바이트 이하)

    세션의 데이터 액세스 ID입니다.

  • PartitionId – UTF-8 문자열입니다(1~36바이트 이하)

    세션의 파티션 ID입니다.

SessionCommand 구조

작업을 실행하는 SessionCommand입니다.

필드
  • NameSingle-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

    SessionCommand의 이름을 지정합니다. 'glueetl' 또는 'gluestreaming'일 수 있습니다.

  • PythonVersionCustom string pattern #16과(와) 일치하는 UTF-8 문자열입니다.

    Python 버전을 지정합니다. Python의 버전으로 Spark 유형의 작업에 대해 지원되는 버전을 확인할 수 있습니다.

명령문 구조

세션에서 발생할 특정 작업에 대한 명령문 또는 요청입니다.

필드
  • Id - 숫자(정수)입니다.

    문의 ID입니다.

  • Code – UTF-8 문자열입니다.

    문의 실행 코드입니다.

  • State – UTF-8 문자열입니다(유효 값: WAITING | RUNNING | AVAILABLE | CANCELLING | CANCELLED | ERROR).

    요청이 실행되는 동안의 상태입니다.

  • OutputStatementOutput 객체입니다.

    JSON의 출력입니다.

  • Progress - 숫자(double)입니다.

    코드 실행 진행률입니다.

  • StartedOn - 숫자(정수)입니다.

    작업 정의가 시작된 Unix 시간 및 날짜입니다.

  • CompletedOn - 숫자(정수)입니다.

    작업 정의가 완료된 Unix 시간 및 날짜입니다.

StatementOutput 구조

JSON 형식의 코드 실행 출력입니다.

필드
  • DataStatementOutputData 객체입니다.

    코드 실행 출력입니다.

  • ExecutionCount - 숫자(정수)입니다.

    출력의 실행 수입니다.

  • Status – UTF-8 문자열입니다(유효 값: WAITING | RUNNING | AVAILABLE | CANCELLING | CANCELLED | ERROR).

    코드 실행 출력의 상태입니다.

  • ErrorName – UTF-8 문자열입니다.

    출력의 오류 이름입니다.

  • ErrorValue – UTF-8 문자열입니다.

    출력의 오류 값입니다.

  • Traceback – UTF-8 문자열의 배열입니다.

    출력의 트레이스백입니다.

StatementOutputData 구조

JSON 형식의 코드 실행 출력입니다.

필드
  • TextPlain – UTF-8 문자열입니다.

    텍스트 형식의 코드 실행 출력입니다.

작업

CreateSession 작업(Python: create_session)

새 세션을 생성합니다.

요청

새 세션 생성을 요청합니다.

  • Id필수(Required): Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

    세션 요청의 ID입니다.

  • DescriptionURI address multi-line string pattern과(와) 일치하는 2,048바이트 이하 길이의 설명 문자열입니다.

    세션에 대한 설명입니다.

  • Role필수: Custom string pattern #20과 일치하는 UTF-8 문자열입니다(20~2,048바이트).

    IAM 역할 ARN

  • Command필수(Required): SessionCommand 객체입니다.

    작업을 실행하는 SessionCommand입니다.

  • Timeout – 1 이상의 숫자(정수)입니다.

    요청 시간이 초과되기까지의 시간(초)입니다.

  • IdleTimeout – 1 이상의 숫자(정수)입니다.

    요청 시간이 초과되기까지 유휴 상태의 시간(초)입니다.

  • DefaultArguments – 75개 이하의 페어로 구성된 키-값 페어의 맵 배열입니다.

    각 키는 Custom string pattern #21과(와) 일치하는 1~128바이트 길이의 UTF-8 문자열입니다.

    각 값은 URI address multi-line string pattern와 일치하는 UTF-8 문자열(4,096바이트 이하)입니다.

    키-값 페어의 맵 배열입니다. 최대 75페어입니다.

  • ConnectionsConnectionsList 객체입니다.

    세션에 사용할 연결 수입니다.

  • MaxCapacity - 숫자(double)입니다.

    작업이 실행될 때 할당할 수 있는 AWS Glue 데이터 처리 단위(DPU) 수입니다. DPU는 4 vCPU의 컴퓨팅 용량과 16GB 메모리로 구성된 프로세싱 파워의 상대적 측정값입니다.

  • NumberOfWorkers - 숫자(정수)입니다.

    세션에 사용할 정의된 WorkerType의 작업자 수입니다.

  • WorkerType – UTF-8 문자열입니다(유효한 값: Standard="" | G.1X="" | G.2X="" | G.025X="").

    세션에 사용하도록 할당된 사전 정의된 작업자의 유형입니다. 표준(Standard), G.1X, G.2X 또는 G.025X 값을 허용합니다.

    • Standard 작업자 유형의 경우, 각 작업자가 4vCPU, 16GB 메모리 및 50GB 디스크와, 작업자당 실행기 2개를 제공합니다.

    • G.1X 작업자 유형의 경우, 각 작업자가 1DPU(4vCPU, 16GB 메모리, 64GB 디스크)에 매핑되고, 작업자당 실행기 1개를 제공합니다. 메모리 집약적인 작업의 경우 이 작업자 유형을 사용하는 것이 좋습니다.

    • G.2X 작업자 유형의 경우, 각 작업자가 2DPU(8vCPU, 32GB 메모리, 128GB 디스크)에 매핑되고, 작업자당 실행기 1개를 제공합니다. 메모리 집약적인 작업의 경우 이 작업자 유형을 사용하는 것이 좋습니다.

    • G.025X 작업자 유형의 경우, 각 작업자가 0.25 DPU(vCPU 2개, 4GB 메모리, 64GB 디스크)에 매핑되고, 작업자당 실행기 1개를 제공합니다. 볼륨이 낮은 스트리밍 작업에 이 작업자 유형을 사용하는 것이 좋습니다. 이 작업자 유형은 AWS Glue 버전 3.0 스트리밍 작업에만 사용할 수 있습니다.

  • SecurityConfigurationSingle-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

    세션과 함께 사용할 SecurityConfiguration 구조의 이름입니다.

  • GlueVersionCustom string pattern #15과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

    AWS Glue 버전은 AWS Glue가 지원하는 Apache Spark 및 Python 버전을 결정합니다. GlueVersion은 2.0보다 커야 합니다.

  • DataAccessId – UTF-8 문자열입니다(1~36바이트 이하)

    세션의 데이터 액세스 ID입니다.

  • PartitionId – UTF-8 문자열입니다(1~36바이트 이하)

    세션의 파티션 ID입니다.

  • Tags – 50개 이하의 페어로 구성된 키-값 페어의 맵 배열입니다.

    각 키는 길이가 1~128바이트인 UTF-8 문자열입니다.

    각 값은 256 바이트 이하 길이의 UTF-8 문자열입니다.

    세션에 속하는 키 값 페어(태그)의 맵입니다.

  • RequestOriginCustom string pattern #21과(와) 일치하는 1~128바이트 길이의 UTF-8 문자열입니다.

    요청의 오리진입니다.

응답
  • Session세션 객체입니다.

    응답으로 세션 객체를 반환합니다.

오류
  • AccessDeniedException

  • IdempotentParameterMismatchException

  • InternalServiceException

  • OperationTimeoutException

  • InvalidInputException

  • ValidationException

  • AlreadyExistsException

  • ResourceNumberLimitExceededException

StopSession 작업(Python: stop_session)

세션을 중지합니다.

요청
  • Id필수(Required): Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

    중지할 세션의 ID입니다.

  • RequestOriginCustom string pattern #21과(와) 일치하는 1~128바이트 길이의 UTF-8 문자열입니다.

    요청의 오리진입니다.

응답
  • IdSingle-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

    중지된 세션의 ID를 반환합니다.

오류
  • AccessDeniedException

  • InternalServiceException

  • OperationTimeoutException

  • InvalidInputException

  • IllegalSessionStateException

  • ConcurrentModificationException

DeleteSession 작업(Python: delete_session)

세션을 삭제합니다.

요청
  • Id필수(Required): Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

    삭제되는 세션의 ID입니다.

  • RequestOriginCustom string pattern #21과(와) 일치하는 1~128바이트 길이의 UTF-8 문자열입니다.

    세션 삭제 요청의 오리진 이름입니다.

응답
  • IdSingle-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

    삭제된 세션의 ID를 반환합니다.

오류
  • AccessDeniedException

  • InternalServiceException

  • OperationTimeoutException

  • InvalidInputException

  • IllegalSessionStateException

  • ConcurrentModificationException

GetSession 작업(Python: get_session)

세션을 검색합니다.

요청
  • Id필수(Required): Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

    세션의 ID입니다.

  • RequestOriginCustom string pattern #21과(와) 일치하는 1~128바이트 길이의 UTF-8 문자열입니다.

    요청의 오리진입니다.

응답
  • Session세션 객체입니다.

    세션 객체가 응답으로 반환됩니다.

오류
  • AccessDeniedException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

  • InvalidInputException

ListSessions 작업(Python: list_sessions)

세션 목록을 검색합니다.

요청
  • NextToken – 400,000바이트 이하 길이의 UTF-8 문자열입니다.

    다음 결과 세트를 가져오기 위한 토큰이지만 결과가 더 없는 경우에는 null 값을 갖습니다.

  • MaxResults – 1~1,000의 숫자(정수)입니다.

    최대 결과 수입니다.

  • Tags – 50개 이하의 페어로 구성된 키-값 페어의 맵 배열입니다.

    각 키는 길이가 1~128바이트인 UTF-8 문자열입니다.

    각 값은 256 바이트 이하 길이의 UTF-8 문자열입니다.

    세션에 속한 태그입니다.

  • RequestOriginCustom string pattern #21과(와) 일치하는 1~128바이트 길이의 UTF-8 문자열입니다.

    요청의 오리진입니다.

응답
  • Ids – UTF-8 문자열의 배열입니다.

    세션의 ID를 반환합니다.

  • Sessions세션 객체의 배열입니다.

    세션 객체를 반환합니다.

  • NextToken – 400,000바이트 이하 길이의 UTF-8 문자열입니다.

    다음 결과 세트를 가져오기 위한 토큰이지만 결과가 더 없는 경우에는 null 값을 갖습니다.

오류
  • AccessDeniedException

  • InvalidInputException

  • InternalServiceException

  • OperationTimeoutException

RunStatement 작업(Python: run_statement)

문을 실행합니다.

요청
  • SessionId필수(Required): Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

    실행할 문의 세션 ID입니다.

  • Code필수: UTF-8 문자열입니다(68,000바이트 이하).

    실행할 문 코드입니다.

  • RequestOriginCustom string pattern #21과(와) 일치하는 1~128바이트 길이의 UTF-8 문자열입니다.

    요청의 오리진입니다.

응답
  • Id - 숫자(정수)입니다.

    실행된 문의 ID를 반환합니다.

오류
  • EntityNotFoundException

  • AccessDeniedException

  • InternalServiceException

  • OperationTimeoutException

  • InvalidInputException

  • ValidationException

  • ResourceNumberLimitExceededException

  • IllegalSessionStateException

CancelStatement 작업(Python: cancel_statement)

문을 취소합니다.

요청
  • SessionId필수(Required): Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

    취소할 문의 세션 ID입니다.

  • Id필수(Required): 숫자(정수)입니다.

    취소할 문의 ID입니다.

  • RequestOriginCustom string pattern #21과(와) 일치하는 1~128바이트 길이의 UTF-8 문자열입니다.

    문 취소 요청의 오리진입니다.

응답
  • 무응답 파라미터.

오류
  • AccessDeniedException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

  • InvalidInputException

  • IllegalSessionStateException

GetStatement 작업(Python: get_statement)

문을 검색합니다.

요청
  • SessionId필수(Required): Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

    문의 세션 ID입니다.

  • Id필수(Required): 숫자(정수)입니다.

    문의 ID입니다.

  • RequestOriginCustom string pattern #21과(와) 일치하는 1~128바이트 길이의 UTF-8 문자열입니다.

    요청의 오리진입니다.

응답
  • Statement명령 객체입니다.

    문을 반환합니다.

오류
  • AccessDeniedException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

  • InvalidInputException

  • IllegalSessionStateException

ListStatements 작업(Python: list_statements)

세션에 대한 문을 나열합니다.

요청
  • SessionId필수(Required): Single-line string pattern과(와) 일치하는 1~255바이트 길이의 UTF-8 문자열입니다.

    문의 세션 ID입니다.

  • RequestOriginCustom string pattern #21과(와) 일치하는 1~128바이트 길이의 UTF-8 문자열입니다.

    문 나열 요청의 오리진입니다.

  • NextToken – 400,000바이트 이하 길이의 UTF-8 문자열입니다.

    이것이 지속적으로 호출되면 지속적인 토큰입니다.

응답
  • Statements명령 객체의 배열입니다.

    문 목록을 반환합니다.

  • NextToken – 400,000바이트 이하 길이의 UTF-8 문자열입니다.

    모든 문이 아직 반환되지 않은 경우의 지속 토큰입니다.

오류
  • AccessDeniedException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

  • InvalidInputException

  • IllegalSessionStateException