View a markdown version of this page

2단계: 내보내기 작업 실행 - Amazon Keyspaces(Apache Cassandra용)

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

2단계: 내보내기 작업 실행

이 단계에서는 이전 단계에서 생성된 AWS Glue 내보내기 작업을 실행합니다. 내보내기를 시작한 후 status 및 logs 명령을 사용하여 작업 진행 상황을 모니터링할 수 있습니다.

내보내기 작업을 실행하고 모니터링하려면

  1. 내보내기 명령을 실행합니다. 내보낼 키스페이스, 테이블 및 Amazon S3 버킷을 지정합니다. 이전 단계에서 부트스트랩 명령으로 생성된 버킷을 사용합니다. YOURACCOUNTID를 AWS 계정 ID로 바꿉니다.

    $ ./keyspaces-bulk-cli export --keyspace catalog --table book_awards \
    --s3-uri s3://amazon-keyspaces-bulk-cli-aksglue-YOURACCOUNTID

    • 내보내기를 실행할 때 추가 파라미터를 재정의할 수 있습니다. 다음 명령은 AWS Glue 작업자 수를 늘립니다. 기본값인 작업자 2개로 시작하고 테이블 크기 및 내보내기 기간에 따라 필요에 따라 늘립니다. status 명령을 사용하여 작업을 모니터링하고 내보내기가 예상보다 오래 걸리는 경우 스케일 업합니다.

      $ ./keyspaces-bulk-cli export --keyspace catalog --table book_awards \
    --s3-uri s3://amazon-keyspaces-bulk-cli-aksglue-YOURACCOUNTID --workers 8

  2. 내보내기 작업의 상태를 모니터링합니다. 현재 실행 상태를 확인하고 로그를 볼 수 있습니다.

    $ ./keyspaces-bulk-cli status export

    출력에는 작업 실행 세부 정보가 표시됩니다. State 필드에가 표시될 때까지 기다립니다SUCCEEDED.

             Job Run: jr_6f8de24d7131da54...
┏━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┓
┃ Field          ┃ Value                                      ┃
┡━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┩
│ Job Name       │ AmazonKeyspacesExportToS3-aksglue          │
│ State          │ SUCCEEDED                                  │
│ Started        │ 2025-01-30 14:54:22                        │
│ Completed      │ 2025-01-30 14:56:45                        │
│ Execution Time │ 143s                                       │
│ Workers        │ 2                                          │
│ Worker Type    │ G.2X                                       │
└────────────────┴────────────────────────────────────────────┘

    실행 중이거나 완료된 작업에 대한 로그를 보려면 다음 명령을 사용합니다.

    $ ./keyspaces-bulk-cli logs export

    오류 로그만 보려면 다음 명령을 사용합니다.

    $ ./keyspaces-bulk-cli logs export --log-type error

  3. Amazon S3 버킷 콘텐츠를 나열하여 내보내기가 완료되었는지 확인합니다. 테이블 크기에 따라 내보내기에 시간이 걸릴 수 있습니다. 내보내기 작업이 완료되면 버킷에서 다음 폴더를 볼 수 있습니다. YOURACCOUNTID를 AWS 계정 ID로 바꿉니다.

    $ aws s3 ls s3://amazon-keyspaces-bulk-cli-aksglue-YOURACCOUNTID

    출력에는 버킷의 다음 구조가 표시됩니다.

                               PRE conf/
                           PRE export/
                           PRE jars/
                           PRE scripts/
                           PRE spark-logs/

    내보낸 데이터 파일은 다음 폴더 구조에 있습니다(날짜 및 시간 값은 자체 내보내기 실행을 반영함).

    \------- export
            \----- catalog
                \----- book_awards
                   \----- snapshot
                       \----- year=2025
                           \----- month=01
                              \----- day=30
                                  \----- hour=14
                                      \----- minute=54
                                          \--- part-00000-*.snappy.parquet

방금 수동으로 실행한 AWS Glue 작업을 예약하려면 로 이동합니다3단계: (선택 사항) 내보내기 작업을 예약하는 트리거 생성.