예: 스트림에서 핫스팟 감지(HOTSPOTS 함수)

Amazon Kinesis Data Analytics는 데이터에서 상대적으로 밀도가 높은 지역에 대한 정보를 찾아 반환할 수 있는 HOTSPOTS 함수를 제공합니다. 자세한 설명은 Amazon Managed Service for Apache Flink SQL 참조에서 핫스팟을 참조하십시오.

이 실습에서는 애플리케이션 코드를 작성해 애플리케이션의 스트리밍 소스에서 핫스팟을 찾습니다. 애플리케이션을 설정하려면 다음 단계를 수행합니다.

1. 스트리밍 소스 설정 – 다음과 같이 Kinesis 스트림을 설정하고 샘플 좌표 데이터를 작성합니다:

   {"x": 7.921782426109737, "y": 8.746265312709893, "is_hot": "N"}
   {"x": 0.722248626528026, "y": 4.648868803193405, "is_hot": "Y"}
   

   이 예에서는 Python 스크립트를 통해 스트림을 채우는 방법을 알아봅니다. x 및 y 값은 무작위로 생성되며, 특정 위치 주변에서 일부 기록이 클러스터링됩니다.

   is_hot 필드가 제공되어 스크립트가 의도적으로 핫스팟의 일부로서 값을 생성했는지 여부를 나타냅니다. 이는 핫스팟 감지 함수가 제대로 작동하고 있는지 평가하는 데 도움이 될 수 있습니다.

2. 애플리케이션 생성 – AWS Management Console를 사용하여 Kinesis Data Analytics 애플리케이션을 생성합니다. 스트리밍 소스를 애플리케이션 내 스트림(SOURCE_SQL_STREAM_001)으로 매핑하여 애플리케이션 입력을 구성합니다. 애플리케이션을 시작하면 Kinesis Data Analytics가 지속적으로 스트리밍 소스를 읽고 애플리케이션 내 스트림에 레코드를 삽입합니다.

   이 연습에서는 애플리케이션에 대해 다음 코드를 사용합니다.

   CREATE OR REPLACE STREAM "DESTINATION_SQL_STREAM" (
       "x" DOUBLE, 
       "y" DOUBLE, 
       "is_hot" VARCHAR(4),
       HOTSPOTS_RESULT VARCHAR(10000)
   ); 
   CREATE OR REPLACE PUMP "STREAM_PUMP" AS 
       INSERT INTO "DESTINATION_SQL_STREAM" 
       SELECT "x", "y", "is_hot", "HOTSPOTS_RESULT" 
       FROM TABLE (
           HOTSPOTS(   
               CURSOR(SELECT STREAM "x", "y", "is_hot" FROM "SOURCE_SQL_STREAM_001"), 
               1000, 
               0.2, 
               17)
       );
   
   

   코드가 SOURCE_SQL_STREAM_001에 있는 행을 읽고, 중요 핫스팟에 대해 이를 분석하고, 결과 데이터를 또 다른 애플리케이션 내 스트림(DESTINATION_SQL_STREAM)에 작성합니다. 펌프를 사용하여 행을 애플리케이션 내 스트림에 삽입합니다. 자세한 설명은 애플리케이션 내 스트림과 펌프 섹션을 참조하세요.

3. 출력 구성 – 애플리케이션이 외부 목적지인 또 다른 Kinesis 데이터 스트림으로 데이터를 보내도록 애플리케이션 출력을 구성합니다. 핫스팟 점수를 검토하고 어떤 점수가 핫스팟 발생(알림이 발생해야 함)을 나타내는지 판단합니다. AWS Lambda 함수를 사용하여 추가로 핫스팟 정보를 처리하고 알림을 구성할 수 있습니다.

4. 출력 확인 – 이 예에는 출력 스트림으로부터 데이터를 읽고 이를 그래픽으로 표현하는 JavaScript 애플리케이션이 포함되어 있습니다. 따라서 애플리케이션이 실시간으로 생성하는 핫스팟을 볼 수 있습니다.

이 연습에서는 미국 서부(오레곤)(us-west-2)을 사용하여 이러한 스트림과 애플리케이션을 생성합니다. 다른 지역을 사용하는 경우 그에 따라 코드를 업데이트합니다.

주제

• 1단계: 입력 및 출력 스트림 생성
• 2단계: Kinesis Data Analytics 애플리케이션 생성
• 3단계: 애플리케이션 출력 구성
• 4단계: 애플리케이션 출력 확인