Selecione suas preferências de cookies

Usamos cookies essenciais e ferramentas semelhantes que são necessárias para fornecer nosso site e serviços. Usamos cookies de desempenho para coletar estatísticas anônimas, para que possamos entender como os clientes usam nosso site e fazer as devidas melhorias. Cookies essenciais não podem ser desativados, mas você pode clicar em “Personalizar” ou “Recusar” para recusar cookies de desempenho.

Se você concordar, a AWS e terceiros aprovados também usarão cookies para fornecer recursos úteis do site, lembrar suas preferências e exibir conteúdo relevante, incluindo publicidade relevante. Para aceitar ou recusar todos os cookies não essenciais, clique em “Aceitar” ou “Recusar”. Para fazer escolhas mais detalhadas, clique em “Personalizar”.

Criação de um data lake do SDK do Amazon Chime

Modo de foco
Criação de um data lake do SDK do Amazon Chime - SDK do Amazon Chime

O data lake de análise de chamadas do SDK do Amazon Chime permite que você transmita os insights baseados em machine learning e todos os metadados do Amazon Kinesis Data Stream para o bucket do Amazon S3. Por exemplo, usar o data lake para acessar URLs de gravações. Para criar o data lake, implante um conjunto de modelos do AWS CloudFormation a partir do console do SDK do Amazon Chime ou programaticamente, usando a AWS CLI. O data lake permite consultar metadados de chamadas e dados de análise de voz fazendo referência às tabelas de dados do AWS Glue no Amazon Athena.

Pré-requisitos

Você deve ter os seguintes itens para criar um lake do SDK do Amazon Chime:

Terminologia e conceitos de data lake

Use os termos e conceitos a seguir para entender como funciona o data lake.

Amazon Kinesis Data Firehose

Um serviço de extração, transformação e carregamento (ETL) que captura, transforma e fornece dados de streaming de forma confiável para data lakes, data stores e serviços de análise. Para obter mais informações, consulte O que é o Amazon Kinesis Data Firehose?

Amazon Athena

O Amazon Athena é um serviço de consulta interativa que permite analisar dados no Amazon S3 usando o SQL padrão. Como o Athena é uma tecnologia sem servidor, não há infraestrutura para ser gerenciada e você paga apenas pelas consultas que executar. Para usar o Athena, aponte para seus dados no Amazon S3, defina o esquema e use consultas SQL padrão. Você também pode usar grupos de trabalho para agrupar usuários e controlar os recursos aos quais eles têm acesso quando executam consultas. Os grupos de trabalho permitem gerenciar a simultaneidade de consultas e priorizar a execução de consultas em diferentes grupos de usuários e workloads.

Glue Data Catalog

No Amazon Athena, as tabelas e os bancos de dados contêm os metadados que detalham um esquema para os dados de origem subjacente. Para cada conjunto de dados, é necessário existir uma tabela no Athena. Os metadados na tabela informam o Athena a localização do seu bucket do Amazon S3. Também especificam a estrutura de dados, como nomes de colunas, tipos de dados e o nome da tabela. Os bancos de dados contêm apenas os metadados e as informações do esquema de um conjunto de dados.

Criação de vários data lakes

Vários data lakes podem ser criados fornecendo um nome de banco de dados Glue exclusivo para especificar onde armazenar os insights de chamadas. Para uma determinada conta da AWS, pode haver várias configurações de análise de chamadas, cada uma com um data lake correspondente. Isso significa que a separação de dados pode ser aplicada a determinados casos de uso sobre como os dados são armazenados, como a personalização da política de retenção e a política de acesso. Podem ser aplicadas diferentes políticas de segurança para acesso a insights, gravações e metadados.

Disponibilidade regional do data lake

O data lake do SDK do Amazon Chime está disponível nas regiões a seguir.

Region

Tabela Glue

Amazon QuickSight

us-east-1

Disponível

Disponível

us-west-2

Disponível

Disponível

eu-central-1

Disponível

Disponível

Arquitetura de data lake

O diagrama a seguir mostra a arquitetura de data lake. Os números no desenho correspondem ao texto numerado abaixo.

O programa flui por meio de um data lake.

No diagrama, depois de usar o console da AWS para implantar o modelo do CloudFormation a partir do fluxo de trabalho de configuração do pipeline de insights de mídia, os dados a seguir fluem para o bucket do Amazon S3:

  1. A análise de chamadas do SDK do Amazon Chime começará a transmitir dados em tempo real para o fluxo de dados do Kinesis do cliente.

  2. O Amazon Kinesis Firehose armazena esses dados em tempo real até que eles acumulem 128 MB, ou 60 segundos, o que ocorrer primeiro. Em seguida, o Firehose usa o amazon_chime_sdk_call_analytics_firehose_schema no Glue Data Catalog para compactar os dados e transformar os registros JSON em um arquivo parquet.

  3. O arquivo parquet reside no bucket do Amazon S3, em um formato particionado.

  4. Além dos dados em tempo real, os arquivos resumidos .wav do Amazon Transcribe Call Analytics pós-chamada (editados e não editados, se especificados na configuração) e os arquivos .wav de gravação de chamadas também são enviados para o bucket do Amazon S3.

  5. É possível usar o Amazon Athena e o SQL padrão para consultar os dados no bucket do Amazon S3.

  6. O modelo do CloudFormation também cria um Glue Data Catalog para consultar os dados resumidos pós-chamada por meio do Athena.

  7. Todos os dados no bucket do Amazon S3 também podem ser visualizados usando o Amazon QuickSight. O QuickSight cria uma conexão com um bucket do Amazon S3 usando o Amazon Athena.

A tabela do Amazon Athena usa os seguintes atributos para otimizar o desempenho da consulta:

Particionamento de dados

O particionamento divide a tabela em partes e mantém os dados relacionados juntos com base em valores de coluna, como data, país ou região. As partições funcionam como colunas virtuais. Nesse caso, o modelo do CloudFormation define partições na criação da tabela, o que ajuda a reduzir a quantidade de dados digitalizados a cada consulta e melhora o desempenho. Também é possível filtrar por partição para restringir a quantidade de dados digitalizados por consulta. Para mais informações, consulte Particionamento de dados no Athena no Guia do usuário do Amazon Athena.

Este exemplo mostra a estrutura de particionamento com data de 1º de janeiro de 2023:

  1. s3://example-bucket/amazon_chime_sdk_data_lake /serviceType=CallAnalytics/detailType={DETAIL_TYPE}/year=2023 /month=01/day=01/example-file.parquet
  2. em que DETAIL_TYPE é dos itens a seguir:

    1. CallAnalyticsMetadata

    2. TranscribeCallAnalytics

    3. TranscribeCallAnalyticsCategoryEvents

    4. Transcribe

    5. Recording

    6. VoiceAnalyticsStatus

    7. SpeakerSearchStatus

    8. VoiceToneAnalysisStatus

Otimizar a geração de armazenamento de dados colunares

O Apache Parquet usa compactação em colunas, compactação com base no tipo de dado e passagem de predicados para armazenar dados. Com melhores taxas de compactação ou ao ignorar blocos de dados significa ler menos bytes do bucket do Amazon S3. Isso leva a um melhor desempenho de consulta e a um menor custo. Para essa otimização, é ativada a conversão de dados de JSON para parquet no Amazon Kinesis Data Firehose.

Projeção de partições

Esse atributo do Athena cria partições automaticamente para cada dia para melhorar o desempenho das consultas baseadas em datas.

Configuração de data lake

Use o console do SDK do Amazon Chime para realizar as etapas a seguir.

  1. Inicie o console do SDK do Amazon Chime (https://console.aws.amazon.com/chime-sdk/home) e, no painel de navegação, em Análise de chamadas, escolha Configurações.

  2. Concluída a etapa 1, escolha Avançar e, na página etapa 2, marque a caixa de seleção Análise de voz.

  3. Em Detalhes de saída, marque a caixa de seleção Data warehouse para realizar análise histórica e, em seguida, escolha o link Implantar pilha do CloudFormation.

    O sistema direciona você para a página de Criar pilha de forma rápida no console do CloudFormation.

  4. Insira um nome para a pilha e, em seguida, insira os seguintes parâmetros:

    1. DataLakeType: escolha Criar data lake de análise de chamadas.

    2. KinesisDataStreamName: escolha seu stream. Deve ser o stream usado para streaming de análise de chamadas.

    3. S3BucketURI: escolha o bucket do Amazon S3. O URI deve ter o prefixo s3://bucket-name

    4. GlueDatabaseName: escolha um nome exclusivo do banco de dados do AWS Glue. Você não pode reutilizar um banco de dados existente na conta da AWS.

  5. Marque a caixa de seleção de confirmação e, em seguida, escolha Criar data lake. Aguarde 10 minutos para que o sistema crie o data lake.

Configuração do data lake usando a AWS CLI

Use a AWS CLI para criar uma função com permissões para chamar Criar pilha do CloudFormation. Siga o procedimento abaixo para criar e configurar os perfis do IAM. Para obter mais informações, consulte Criação de pilha no Guia do usuário do AWS CloudFormation.

  1. Crie uma função chamada AmazonChimeSdkCallAnalytics-Datalake-Provisioning-Role e anexe uma política de confiança à função permitindo que o CloudFormation assuma a função.

    1. Crie uma política de confiança do IAM usando o modelo a seguir e salve o arquivo no formato .json.

      { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "Service": "cloudformation.amazonaws.com" }, "Action": "sts:AssumeRole", "Condition": {} } ] }
    2. Execute o comando aws iam create-role e passe a política de confiança como parâmetro.

      aws iam create-role \ --role-name AmazonChimeSdkCallAnalytics-Datalake-Provisioning-Role --assume-role-policy-document file://role-trust-policy.json
    3. Anote o ARN da função retornado na resposta. Será necessário um ARN de função na próxima etapa.

  2. Crie uma política com permissão para criar pilha do CloudFormation.

    1. Crie uma política do IAM usando o modelo a seguir e salve o arquivo no formato .json. Esse arquivo será necessário para chamar create-policy.

      { "Version": "2012-10-17", "Statement": [ { "Sid": "DeployCloudFormationStack", "Effect": "Allow", "Action": [ "cloudformation:CreateStack" ], "Resource": "*" } ] }
    2. Execute aws iam create-policy e passe a política de criação de pilha como parâmetro.

      aws iam create-policy --policy-name testCreateStackPolicy --policy-document file://create-cloudformation-stack-policy.json
    3. Anote o ARN da função retornado na resposta. Será necessário um ARN de função na próxima etapa.

  3. Anexe a política do aws iam attach-role-policy à função.

    aws iam attach-role-policy --role-name {Role name created above} --policy-arn {Policy ARN created above}
  4. Crie uma pilha do CloudFormation e insira os parâmetros necessários: aws cloudformation create-stack.

    Forneça valores de parâmetros para cada ParameterKey usando ParameterValue.

    aws cloudformation create-stack --capabilities CAPABILITY_NAMED_IAM --stack-name testDeploymentStack --template-url https://chime-sdk-assets.s3.amazonaws.com/public_templates/AmazonChimeSDKDataLake.yaml --parameters ParameterKey=S3BucketURI,ParameterValue={S3 URI} ParameterKey=DataLakeType,ParameterValue="Create call analytics datalake" ParameterKey=KinesisDataStreamName,ParameterValue={Name of Kinesis Data Stream} --role-arn {Role ARN created above}

Recursos criados pela configuração do data lake

A tabela a seguir lista os recursos criados quando um data lake é criado.

Tipo de recurso

Nomes e descrição do recurso

Nome do serviço

Banco de dados do Catálogo de Dados do AWS Glue

GlueDatabaseName: agrupa logicamente todas as tabelas de dados do AWS Glue pertencentes a insights de chamadas e análises de voz.

Análise de chamadas, análise de voz

Tabelas do Catálogo de Dados do AWS Glue

amazon_chime_sdk_call_analytics_firehose_schema: esquema combinado para análise de chamadas e análise de voz que é fornecido ao Kinesis Firehose.

Análise de chamadas, análise de voz

call_analytics_metadata: esquema para metadados de análise de chamadas. Contém SIPmetadata e OneTimeMetadata.

Análise de chamadas

call_analytics_recording_metadata: esquema para metadados de gravação e aprimoramento de voz Análise de chamadas, análise de voz

transcribe_call_analytics: esquema para a carga "utteranceEvent" do TranscribeCallAnalytics

Análise de chamadas

transcribe_call_analytics_category_events: esquema para a carga "categoryEvent" do TranscribeCallAnalytics

Análise de chamadas

transcribe_call_analytics_post_call: esquema para carga de resumo de análise de chamada de transcrição pós-chamada

Análise de chamadas

transcribe: esquema para carga de transcrição

Análise de chamadas

voice_analytics_status: esquema para eventos prontos para análise de voz

Análise de voz

speaker_search_status: esquema para correspondências de identificação

Análise de voz

voice_tone_analysis_status: esquema para eventos de análise de tom de voz

Análise de voz

Amazon Kinesis Data Firehose

AmazonChimeSDK-call-analytics-UUID: Kinesis Data Firehose direcionando dados para análise de chamadas

Análise de chamadas, análise de voz

Grupo de trabalho do Amazon Athena

GlueDatabaseName-AmazonChimeSDKDataAnalytics: grupo lógico de usuários para controlar os recursos aos quais eles têm acesso quando executam consultas.

Análise de chamadas, análise de voz

PrivacidadeTermos do sitePreferências de cookies
© 2025, Amazon Web Services, Inc. ou suas afiliadas. Todos os direitos reservados.