Hive 메타스토어와 함께 AWS CLI 사용 - Amazon Athena
AWS CLI를 사용하여 Hive 메타스토어 카탈로그 관리DDL 및 DML 문 실행

Hive 메타스토어와 함께 AWS CLI 사용

aws athena CLI 명령을 사용하여 Athena에서 사용하는 Hive 메타스토어 데이터 카탈로그를 관리할 수 있습니다. Athena에서 사용할 카탈로그를 하나 이상 정의한 후에는 aws athena DDL 및 DML 명령에서 해당 카탈로그를 참조할 수 있습니다.

AWS CLI를 사용하여 Hive 메타스토어 카탈로그 관리

카탈로그 등록: Create-data-catalog

데이터 카탈로그를 등록하려면 create-data-catalog 명령을 사용합니다. name 파라미터를 사용하여 카탈로그에 사용할 이름을 지정합니다. Lambda 함수의 ARN을 parameters 인수의 metadata-function 옵션에 전달합니다. 새 카탈로그에 대한 태그를 만들려면 하나 이상의 공백으로 구분된 Key=key,Value=value 인수 페어와 함께 tags 파라미터를 사용합니다.

다음 예제에서는 hms-catalog-1이라는 Hive 메타스토어 카탈로그를 등록합니다. 명령은 가독성을 위해 형식이 지정되었습니다.

$ aws athena create-data-catalog 
 --name "hms-catalog-1" 
 --type "HIVE"
 --description "Hive Catalog 1"
 --parameters "metadata-function=arn:aws:lambda:us-east-1:111122223333:function:external-hms-service-v3,sdk-version=1.0" 
 --tags Key=MyKey,Value=MyValue
 --region us-east-1

카탈로그 세부 정보 표시: Get-data-catalog

카탈로그의 세부 정보를 표시하려면 다음 예제와 같이 카탈로그 이름을 get-data-catalog 명령에 전달합니다.

$ aws athena get-data-catalog --name "hms-catalog-1" --region us-east-1

다음 샘플 결과는 JSON 형식입니다.

{
    "DataCatalog": {
        "Name": "hms-catalog-1",
        "Description": "Hive Catalog 1",
        "Type": "HIVE",
        "Parameters": {
            "metadata-function": "arn:aws:lambda:us-east-1:111122223333:function:external-hms-service-v3",
            "sdk-version": "1.0"
        }
    }
}

등록된 카탈로그 나열: List-data-catalogs

등록된 카탈로그를 나열하려면 다음 예제와 같이 list-data-catalogs 명령을 사용하고 필요에 따라 리전을 지정합니다. 나열된 카탈로그에는 항상 AWS Glue가 포함되어 있습니다.

$ aws athena list-data-catalogs --region us-east-1

다음 샘플 결과는 JSON 형식입니다.

{
    "DataCatalogs": [
        {
            "CatalogName": "AwsDataCatalog",
            "Type": "GLUE"
        },
        {
            "CatalogName": "hms-catalog-1",
            "Type": "HIVE",
            "Parameters": {
                "metadata-function": "arn:aws:lambda:us-east-1:111122223333:function:external-hms-service-v3",
                "sdk-version": "1.0"
            }
        }
    ]
}

카탈로그 업데이트: Update-data-catalog

데이터 카탈로그를 업데이트하려면 다음 예제와 같이 update-data-catalog 명령을 사용합니다. 명령은 가독성을 위해 형식이 지정되었습니다.

$ aws athena update-data-catalog 
 --name "hms-catalog-1" 
 --type "HIVE"
 --description "My New Hive Catalog Description" 
 --parameters "metadata-function=arn:aws:lambda:us-east-1:111122223333:function:external-hms-service-new,sdk-version=1.0" 
 --region us-east-1

카탈로그 삭제: Delete-data-catalog

데이터 카탈로그를 삭제하려면 다음 예제와 같이 delete-data-catalog 명령을 사용합니다.

$ aws athena delete-data-catalog --name "hms-catalog-1" --region us-east-1

데이터베이스 세부 정보 표시: Get-database

데이터베이스의 세부 정보를 표시하려면 다음 예제와 같이 카탈로그 및 데이터베이스의 이름을 get-database 명령에 전달합니다.

$ aws athena get-database --catalog-name hms-catalog-1 --database-name mydb

다음 샘플 결과는 JSON 형식입니다.

{
    "Database": {
        "Name": "mydb",
        "Description": "My database",
        "Parameters": {
            "CreatedBy": "Athena",
            "EXTERNAL": "TRUE"
        }
    }
}

카탈로그의 데이터베이스 나열: List-databases

카탈로그의 데이터베이스를 나열하려면 다음 예제와 같이 list-databases 명령을 사용하고 필요에 따라 리전을 지정합니다.

$ aws athena list-databases --catalog-name AwsDataCatalog --region us-west-2

다음 샘플 결과는 JSON 형식입니다.

{
    "DatabaseList": [
        {
            "Name": "default"
        },
        {
            "Name": "mycrawlerdatabase"
        },
        {
            "Name": "mydatabase"
        },
        {
            "Name": "sampledb",
            "Description": "Sample database",
            "Parameters": {
                "CreatedBy": "Athena",
                "EXTERNAL": "TRUE"
            }
        },
        {
            "Name": "tpch100"
        }
    ]
}

테이블 세부 정보 표시: Get-table-metadata

열 이름 및 데이터 형식을 포함하여 테이블의 메타데이터를 표시하려면 다음 예제와 같이 카탈로그 이름, 데이터베이스 이름 및 테이블 이름을 get-table-metadata 명령에 전달합니다.

$ aws athena get-table-metadata --catalog-name AwsDataCatalog --database-name mydb --table-name cityuseragent

다음 샘플 결과는 JSON 형식입니다.

{
    "TableMetadata": {
        "Name": "cityuseragent",
            "CreateTime": 1586451276.0,
            "LastAccessTime": 0.0,
            "TableType": "EXTERNAL_TABLE",
            "Columns": [
                {
                    "Name": "city",
                    "Type": "string"
                },
                {
                    "Name": "useragent1",
                    "Type": "string"
                }
            ],
            "PartitionKeys": [],
            "Parameters": {
                "COLUMN_STATS_ACCURATE": "false",
                "EXTERNAL": "TRUE",
                "inputformat": "org.apache.hadoop.mapred.TextInputFormat",
                "last_modified_by": "hadoop",
                "last_modified_time": "1586454879",
                "location": "s3://athena-data/",
                "numFiles": "1",
                "numRows": "-1",
                "outputformat": "org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat",
                "rawDataSize": "-1",
                "serde.param.serialization.format": "1",
                "serde.serialization.lib": "org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe",
                "totalSize": "61"
            }
        }
}

데이터베이스의 모든 테이블에 대한 메타데이터 표시: List-table-metadata

데이터베이스의 모든 테이블에 대한 메타데이터를 표시하려면 카탈로그 이름 및 데이터베이스 이름을 list-table-metadata 명령에 전달합니다. list-table-metadata 명령은 테이블 이름을 지정하지 않는다는 점을 제외하면 get-table-metadata 명령과 유사합니다. 결과 수를 제한하려면 다음 예제와 같이 --max-results 옵션을 사용할 수 있습니다.

$ aws athena list-table-metadata --catalog-name AwsDataCatalog --database-name sampledb --region us-east-1 --max-results 2

다음 샘플 결과는 JSON 형식입니다.

{
    "TableMetadataList": [
        {
            "Name": "cityuseragent",
            "CreateTime": 1586451276.0,
            "LastAccessTime": 0.0,
            "TableType": "EXTERNAL_TABLE",
            "Columns": [
                {
                    "Name": "city",
                    "Type": "string"
                },
                {
                    "Name": "useragent1",
                    "Type": "string"
                }
            ],
            "PartitionKeys": [],
            "Parameters": {
                "COLUMN_STATS_ACCURATE": "false",
                "EXTERNAL": "TRUE",
                "inputformat": "org.apache.hadoop.mapred.TextInputFormat",
                "last_modified_by": "hadoop",
                "last_modified_time": "1586454879",
                "location": "s3://athena-data/",
                "numFiles": "1",
                "numRows": "-1",
                "outputformat": "org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat",
                "rawDataSize": "-1",
                "serde.param.serialization.format": "1",
                "serde.serialization.lib": "org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe",
                "totalSize": "61"
            }
        },
        {
            "Name": "clearinghouse_data",
            "CreateTime": 1589255544.0,
            "LastAccessTime": 0.0,
            "TableType": "EXTERNAL_TABLE",
            "Columns": [
                {
                    "Name": "location",
                    "Type": "string"
                },
                {
                    "Name": "stock_count",
                    "Type": "int"
                },
                {
                    "Name": "quantity_shipped",
                    "Type": "int"
                }
            ],
            "PartitionKeys": [],
            "Parameters": {
                "EXTERNAL": "TRUE",
                "inputformat": "org.apache.hadoop.mapred.TextInputFormat",
                "location": "s3://myjasondata/",
                "outputformat": "org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat",
                "serde.param.serialization.format": "1",
                "serde.serialization.lib": "org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe",
                "transient_lastDdlTime": "1589255544"
            }
        }
    ],
    "NextToken": "eyJsYXN0RXZhbHVhdGVkS2V5Ijp7IkhBU0hfS0VZIjp7InMiOiJ0Ljk0YWZjYjk1MjJjNTQ1YmU4Y2I5OWE5NTg0MjFjYTYzIn0sIlJBTkdFX0tFWSI6eyJzIjoiY2xlYXJpbmdob3VzZV9kYXRhIn19LCJleHBpcmF0aW9uIjp7InNlY29uZHMiOjE1ODkzNDIwMjIsIm5hbm9zIjo2NTUwMDAwMDB9fQ=="
}

DDL 및 DML 문 실행

AWS CLI를 사용하여 DDL 및 DML 문을 실행할 때 다음 두 가지 방법 중 하나로 Hive 메타스토어 카탈로그의 이름을 전달할 수 있습니다.

  • 이를 지원하는 문으로 직접 전달

  • --query-execution-context Catalog 파라미터를 사용하여 전달

DDL 문

다음 예제에서는 show create table DDL 문의 일부로 카탈로그 이름을 직접 전달합니다. 명령은 가독성을 위해 형식이 지정되었습니다.

$ aws athena start-query-execution 
 --query-string "show create table hms-catalog-1.hms_tpch_partitioned.lineitem" 
 --result-configuration "OutputLocation=s3://mybucket/lambda/results"

다음 예제 DDL show create table 문은 --query-execution-context의 Catalog 파라미터를 사용하여 Hive 메타스토어 카탈로그 이름 hms-catalog-1을 전달합니다. 명령은 가독성을 위해 형식이 지정되었습니다.

$ aws athena start-query-execution 
 --query-string "show create table lineitem" 
 --query-execution-context "Catalog=hms-catalog-1,Database=hms_tpch_partitioned" 
 --result-configuration "OutputLocation=s3://mybucket/lambda/results"

DML 문

다음 예제 DML select 문은 카탈로그 이름을 쿼리에 직접 전달합니다. 명령은 가독성을 위해 형식이 지정되었습니다.

$ aws athena start-query-execution
 --query-string "select * from hms-catalog-1.hms_tpch_partitioned.customer limit 100" 
 --result-configuration "OutputLocation=s3://mybucket/lambda/results"

다음 예제 DML select 문은 --query-execution-context의 Catalog 파라미터를 사용하여 Hive 메타스토어 카탈로그 이름 hms-catalog-1을 전달합니다. 명령은 가독성을 위해 형식이 지정되었습니다.

$ aws athena start-query-execution 
 --query-string "select * from customer limit 100" 
 --query-execution-context "Catalog=hms-catalog-1,Database=hms_tpch_partitioned" 
 --result-configuration "OutputLocation=s3://mybucket/lambda/results"