Configurando e consultando uma fonte de dados do S3 em painéis OpenSearch

Depois de criou a fonte de dados, é possível definir configurações de segurança, suas tabelas do Amazon S3 ou a indexação acelerada de dados. Esta seção mostra vários casos de uso com sua fonte de dados em OpenSearch painéis antes de você consultar seus dados.

Para configurar as seções a seguir, primeiro você deve navegar até sua fonte de dados em OpenSearch Painéis. Na navegação à esquerda, em Gerenciamento, selecione Fontes de dados. Em Gerenciar fontes de dados, selecione o nome da fonte de dados criada no console.

Crie tabelas do Spark usando o Query Workbench

As consultas diretas do OpenSearch Service para o Amazon S3 usam tabelas Spark dentro do. AWS Glue Data Catalog Você pode criar tabelas de dentro do Query Workbench sem precisar sair dos OpenSearch painéis.

Para gerenciar bancos de dados e tabelas existentes em sua fonte de dados ou para criar novas tabelas nas quais você deseja usar consultas diretas, escolha Query Workbench no painel de navegação à esquerda e selecione a fonte de dados Amazon S3 no menu suspenso da fonte de dados.

Para configurar uma tabela para registros de VPC fluxo armazenados no S3 no formato Parquet, execute a seguinte consulta:

CREATE TABLE 
datasourcename.gluedatabasename.vpclogstable (version INT, account_id STRING, interface_id STRING, 
srcaddr STRING, dstaddr STRING, srcport INT, dstport INT, protocol INT, packets BIGINT, 
bytes BIGINT, start BIGINT, end BIGINT, action STRING, log_status STRING, 
`aws-account-id` STRING, `aws-service` STRING, `aws-region` STRING, year STRING, 
month STRING, day STRING, hour STRING) 

USING parquet PARTITIONED BY (aws-account-id, aws-service, aws-region, year, month, 
day, hour) 

LOCATION "s3://accountnum-vpcflow/AWSLogs"

Depois de criar a tabela, execute a consulta a seguir para garantir que ela seja compatível com consultas diretas:

MSCK REPAIR TABLE  datasourcename.databasename.vpclogstable

Configurar integrações para tipos de AWS log populares

Você pode integrar os tipos de AWS log armazenados no Amazon S3 com OpenSearch o Service. Use OpenSearch painéis para instalar integrações que criam AWS Glue Data Catalog tabelas, consultas salvas e painéis. Essas integrações usam visualizações indexadas para manter os painéis atualizados.

Para obter instruções sobre como instalar uma integração, consulte Instalação de um ativo de integração na OpenSearch documentação.

Ao selecionar uma integração, verifique se ela tem a S3 Glue tag.

Ao configurar a integração, especifique S3 Connection para o tipo de conexão. Em seguida, selecione a fonte de dados para a integração, a localização dos dados no Amazon S3, o ponto de verificação para gerenciar a indexação de aceleração e os ativos necessários para seu caso de uso.

nota

Certifique-se de que o bucket S3 do seu ponto de verificação tenha permissões de gravação para o local do ponto de verificação. Sem essas permissões, as acelerações da integração falharão.

Configurar o controle de acesso

Na página de detalhes da fonte de dados, encontre a seção Controles de acesso e escolha Editar. Se o domínio tiver um controle de acesso refinado ativado, escolha Restrito e selecione quais funções você deseja fornecer com acesso à nova fonte de dados. Também é possível escolher Somente administrador para que somente o administrador tenha acesso à fonte de dados.

Importante

Índices são usados para qualquer consulta na fonte de dados. Um usuário com acesso para leitura ao índice de solicitações de uma determinada fonte de dados pode ler todas as consultas nessa fonte. Um usuário com acesso para leitura ao índice de resultados pode ler os resultados de todas as consultas nessa fonte de dados.

Consultando dados do S3 no Discover OpenSearch

Depois de configurar suas tabelas e configurar a aceleração de consulta opcional desejada, você pode começar a analisar seus dados. Para consultar seus dados, selecione sua fonte de dados no menu suspenso. Se você estiver usando o Amazon S3 e os OpenSearch painéis, acesse Discover e selecione o nome da fonte de dados.

Se você estiver usando um índice ignorante ou não tiver criado um índice, poderá usar SQL ou PPL para consultar seus dados. Se você configurou uma visualização materializada ou um índice de cobertura, você já tem um índice e pode usar a linguagem de consulta de painéis (DQL) em todos os painéis. Você também pode usar PPL com o plug-in Observability e SQL com o plug-in Query Workbench. Atualmente, somente os plug-ins Observability e Query Workbench suportam e. PPL SQL Para consultar dados usando o OpenSearch ServiçoAPI, consulte a documentação APIassíncrona.

nota

Nem todas SQL as PPL instruções, comandos e funções são suportadas. Para obter uma lista dos comandos compatíveis, consulteSuportado SQL e PPL comandos.

Se você criou uma visualização materializada ou um índice de cobertura, você pode usar DQL para consultar seus dados, desde que os tenha indexado.

Solução de problemas

Pode haver casos em que os resultados não retornem conforme o esperado. Se você tiver algum problema, certifique-se de seguir Recomendações importantes para começar a usar a consulta direta o.