Esegui la migrazione di uno stack ELK su Elastic Cloud su AWS

Creato da Battulga Purevragchaa (AWS), uday reddy e Antony Prasad Thevaraj (AWS)

Ambiente: produzione	Fonte: Elasticsearch	Obiettivo: Elastic Cloud
Tipo R: Replatform	Carico di lavoro: tutti gli altri carichi di lavoro	Tecnologie: analisi; sicurezza, identità, conformità
Servizi AWS: Amazon EC2; Amazon EC2 Auto Scaling; Elastic Load Balancing (ELB); Amazon S3; Amazon Route 53

Riepilogo

Elastic fornisce servizi da molti anni e i suoi utenti e clienti in genere gestiscono Elastic autonomamente in sede. Elastic Cloud , il servizio gestito di Elasticsearch, offre un modo per utilizzare Elastic Stack (ELK Stack) e soluzioni per la ricerca, l'osservabilità e la sicurezza aziendali. Puoi accedere alle soluzioni Elastic con app come Logs, Metrics, APM (monitoraggio delle prestazioni delle applicazioni) e SIEM (informazioni di sicurezza e gestione degli eventi). Puoi utilizzare funzionalità integrate come l'apprendimento automatico, la gestione del ciclo di vita degli indici, Kibana Lens (per le visualizzazioni drag-and-drop).

Quando passi da Elasticsearch autogestito a Elastic Cloud, il servizio Elasticsearch si occupa di quanto segue:

• Fornitura e gestione dell'infrastruttura sottostante

• Creazione e gestione di cluster Elasticsearch

• Scalabilità verso l'alto e verso il basso dei cluster

• Aggiornamenti, patch e acquisizione di istantanee

In questo modo avrai più tempo per concentrarti sulla risoluzione di altre sfide.

Questo modello definisce come migrare Elasticsearch 7.13 locale a Elasticsearch on Elastic Cloud on Amazon Web Services (AWS). Altre versioni potrebbero richiedere lievi modifiche ai processi descritti in questo modello. Per ulteriori informazioni, contatta il tuo rappresentante Elastic.

Prerequisiti e limitazioni

Prerequisiti

• Un account AWS attivo con accesso ad Amazon Simple Storage Service (Amazon S3) per le istantanee

• Un collegamento privato sicuro e a larghezza di banda sufficientemente elevata per copiare i file di dati delle istantanee su Amazon S3

• Accelerazione dei trasferimenti di Amazon S3

• Policy di Elastic Snapshot per garantire che l'inserimento dei dati venga archiviato regolarmente, in un data store locale sufficientemente grande o in uno storage remoto (Amazon S3)

È necessario comprendere le dimensioni delle istantanee e le politiche del ciclo di vita degli indici di accompagnamento in locale prima di iniziare la migrazione. Per ulteriori informazioni, contatta Elastic.

Ruoli e competenze

Il processo di migrazione richiede anche i ruoli e le competenze descritti nella tabella seguente.

Ruolo	Competenza	Responsabilità
Supporto per le app	Familiarità con Elastic Cloud ed Elastic on-premise	Tutte le attività relative a Elastic
Amministratore di sistema o DBA	Conoscenza approfondita dell'ambiente Elastic locale e della sua configurazione	La capacità di fornire storage, installare e utilizzare l'AWS Command Line Interface (AWS CLI) e identificare tutte le fonti di dati che alimentano Elastic in locale
Amministratore di rete	Conoscenza della connettività, della sicurezza e delle prestazioni di rete on-premise e AWS	Creazione di collegamenti di rete dall'locale ad Amazon S3, con una comprensione della larghezza di banda della connettività

Limitazioni

• Elasticsearch on Elastic Cloud è disponibile solo nelle regioni AWS supportate (settembre 2021).

Versioni del prodotto

• Elasticsearch 7.13

Architettura

Stack tecnologico di origine

Elasticsearch 7.13 o versione successiva locale:

• Snapshot cluster

• Indicizza le istantanee

• Configurazione Beats

Architettura della tecnologia di origine

Il diagramma seguente mostra una tipica architettura locale con diversi metodi di ingestione, tipi di nodi e Kibana. I diversi tipi di nodi riflettono il cluster Elasticsearch, i ruoli di autenticazione e visualizzazione.

1. Ingestione da Beats a Logstash

2. Ingestione da Beats alla coda di messaggistica di Apache Kafka

3. Ingestione da Filebeat a Logstash

4. Inserimento dalla coda di messaggistica di Apache Kafka a Logstash

5. Ingestione da Logstash a un cluster Elasticsearch

6. Cluster Elasticsearch

7. Nodo di autenticazione e notifica

8. Nodi Kibana e blob

Stack tecnologico Target

Elastic Cloud viene distribuito sul tuo account SaaS (Software as a Service) in più regioni AWS con replica tra cluster.

• Snapshot cluster

• Indicizza le istantanee

• Configurazioni Beats

• Cloud elastico

• Network Load Balancer

• Amazon Route 53

• Amazon S3

Architettura Target

L'infrastruttura Elastic Cloud gestita è:

• Altamente disponibile, essendo presente in più zone di disponibilità e più regioni AWS.

• La regione è tollerante ai guasti perché i dati (indici e istantanee) vengono replicati utilizzando la replica tra cluster Elastic Cloud (CCR)

• Archiviazione, perché le istantanee vengono archiviate in Amazon S3

• Tolleranza alle partizioni di rete grazie a una combinazione di Network Load Balancer e Route 53

• Inserimento di dati provenienti da (ma non solo) Elastic APM, Beats, Logstash

Fasi di migrazione di alto livello

Elastic ha sviluppato una propria metodologia prescrittiva per la migrazione di Elastic Cluster on-premise a Elastic Cloud. La metodologia Elastic è direttamente allineata e complementare alle linee guida e alle best practice sulla migrazione di AWS, tra cui Well-Architected Framework e AWS Migration Acceleration Program (MAP). In genere, le tre fasi di migrazione AWS sono le seguenti:

• Valutazione

• Mobilitazione

• Migrazione e modernizzazione

Elastic segue fasi di migrazione simili con una terminologia complementare:

• Avviare

• Pianificazione

• Attuare

• Consegnare

• Chiudi

Elastic utilizza la metodologia Elastic Implementation per facilitare la consegna dei risultati del progetto. Ciò è stato progettato in modo inclusivo per garantire che Elastic, i team di consulenza e i team dei clienti collaborino con chiarezza per fornire congiuntamente i risultati attesi.

La metodologia Elastic combina la tradizionale fase a cascata con Scrum nella fase di implementazione. Le configurazioni dei requisiti tecnici vengono fornite in modo iterativo in modo collaborativo, riducendo al minimo i rischi.

Strumenti

Servizi AWS

• Amazon Route 53 — Amazon Route 53 è un servizio Web DNS (Domain Name System) ad alta disponibilità e scalabilità. Puoi utilizzare Route 53 per eseguire tre funzioni principali in qualsiasi combinazione: registrazione dominio, routing DNS e controllo dell'integrità.

• Amazon S3 — Amazon Simple Storage Service (Amazon S3) è un servizio di storage di oggetti. È possibile utilizzare Amazon S3 per memorizzare e recuperare qualsiasi volume di dati, in qualunque momento e da qualunque luogo tramite il Web. Questo modello utilizza un bucket S3 e Amazon S3 Transfer Acceleration.

• Elastic Load Balancing: Elastic Load Balancing distribuisce automaticamente il traffico in entrata su più destinazioni, come istanze EC2, contenitori e indirizzi IP, in una o più zone di disponibilità.

Altri strumenti

• Beats: Beats invia dati da Logstash o Elasticsearch

• Elastic Cloud — Elastic Cloud è un servizio gestito per l'hosting di Elasticsearch.

• Elasticsearch: Elasticsearch è un motore di ricerca e analisi che utilizza Elastic Stack per archiviare centralmente i dati per ricerche e analisi su larga scala. Questo modello utilizza anche la creazione di istantanee e la replica tra cluster.

• Logstash: Logstash è una pipeline di elaborazione dati lato server che acquisisce dati da più fonti, li trasforma e quindi li invia all'archivio dati.

Epiche

Prepara la migrazione

Attività	Descrizione	Competenze richieste
Identifica i server che eseguono la soluzione Elastic locale.	Verifica che la migrazione elastica sia supportata.	Proprietario dell'app
Comprendi la configurazione del server locale.	Per comprendere la configurazione del server necessaria per gestire correttamente i carichi di lavoro in locale, individua l'ingombro hardware del server, la configurazione di rete e le caratteristiche di storage attualmente in uso	Supporto per app
Raccogli informazioni sull'account utente e sull'app.	Identifica i nomi utente e i nomi delle app utilizzati dall'ambiente Elastic locale.	Amministratore di sistema, supporto per le app
Configurazione di Document Beats e data shipper.	Per documentare le configurazioni, consulta le fonti di dati e i sink esistenti. Per ulteriori informazioni, consulta la documentazione di Elastic.	Supporto per le app
Determina la velocità e il volume dei dati.	Stabilisci una linea di base per la quantità di dati gestita dal cluster.	Amministratore di sistema, supporto per le app
Documenta gli scenari RPO e RTO.	Documenta gli scenari di Recovery Point Objective (RPO) e Recovery Time Objective (RTO) in termini di interruzioni e accordi sul livello di servizio (SLA).	Proprietario dell'app, amministratore di sistema, supporto dell'app
Determina le impostazioni ottimali del ciclo di vita delle istantanee.	Definisci la frequenza con cui i dati devono essere protetti utilizzando istantanee elastiche durante e dopo la migrazione.	Proprietario dell'app, amministratore di sistema, supporto dell'app
Definisci le aspettative prestazionali dopo la migrazione.	Genera metriche sull'aggiornamento attuale e previsto dello schermo, sui tempi di esecuzione delle query e sui comportamenti dell'interfaccia utente.	Amministratore di sistema, supporto per le app
Documenta i requisiti di accesso a Internet, trasporto, larghezza di banda e disponibilità.	Verifica la velocità, la latenza e la resilienza delle connessioni Internet per copiare le istantanee su Amazon S3.	Amministratore di rete
Documenta i costi correnti del runtime locale per Elastic.	Assicurati che il dimensionamento dell'ambiente AWS di destinazione sia progettato per offrire prestazioni elevate e un ottimo rapporto qualità-prezzo.	DBA, amministratore di sistema, supporto per le app
Identifica le esigenze di autenticazione e autorizzazione.	Le funzionalità di sicurezza Elastic Stack forniscono funzionalità integrate come Lightweight Directory Access Protocol (LDAP), Security Assertion Markup Language (SAML) e OpenID Connect (OIDC).	DBA, amministratore di sistema, supporto delle app
Comprendi i requisiti normativi specifici in base alla posizione geografica.	Assicurati che i dati vengano esportati e crittografati in base ai tuoi requisiti e a qualsiasi requisito nazionale pertinente.	DBA, amministratore di sistema, supporto per le app

Implementa la migrazione

Attività	Descrizione	Competenze richieste
Prepara l'area di staging su Amazon S3.	Per ricevere istantanee su Amazon S3, crea un bucket S3 e un ruolo AWS Identity and Access Management (IAM) temporaneo con accesso completo al bucket appena creato. Per ulteriori informazioni, consulta Creazione di un ruolo per delegare le autorizzazioni a un utente IAM. Utilizza AWS Security Token Service per richiedere credenziali di sicurezza temporanee. Mantieni protetti l'ID della chiave di accesso, la chiave di accesso segreta e il token di sessione. Abilita Amazon S3 Transfer Acceleration nel bucket.	Amministratore AWS
Installa l'interfaccia a riga di comando di AWS e il plug-in Amazon S3 in locale.	Su ogni nodo Elasticsearch, esegui il comando seguente. sudo bin/elasticsearch-plugin install repository-s3 Quindi riavvia il nodo.	Amministratore AWS
Configura l'accesso al client Amazon S3.	Aggiungi le chiavi create in precedenza eseguendo i seguenti comandi. elasticsearch-keystore add s3.client.default.access_key elasticsearch-keystore add s3.client.default.secret_key elasticsearch-keystore add s3.client.default.session_token	Amministratore AWS
Registra un repository di istantanee per dati elastici	Usa i Kibana Dev Tools per indicare al cluster locale locale locale su quale bucket S3 remoto scrivere.	Amministratore AWS
Configura la politica sulle istantanee.	Per configurare la gestione del ciclo di vita delle istantanee, nella scheda Kibana Policies, scegli la politica SLM e definisci quali orari, flussi di dati o indici devono essere inclusi e quali nomi usare. Configura una policy che acquisisca istantanee frequenti. Le istantanee sono incrementali e fanno un uso efficiente dello storage. Abbina la tua decisione di valutazione della prontezza. Una policy può anche specificare una policy di conservazione ed eliminare automaticamente le istantanee quando non sono più necessarie.	Supporto per le app
Verifica che le istantanee funzionino.	In Kibana Dev Tools, esegui il seguente comando. GET _snapshot/<your_repo_name>/_all	Amministratore AWS, supporto per app,
Implementa un nuovo cluster su Elastic Cloud.	Accedi a Elastic e scegli un cluster per «osservabilità, ricerca o sicurezza» basato sui risultati della tua attività nella valutazione della fattibilità.	Amministratore AWS, supporto per app
Configura l'accesso al cluster key store.	Il nuovo cluster deve accedere al bucket S3 che memorizzerà le istantanee. In Elasticsearch Service Console, scegli Sicurezza e inserisci le chiavi di accesso e le chiavi IAM segrete che hai creato in precedenza.	Amministratore AWS
Configura il cluster ospitato su Elastic Cloud per accedere ad Amazon S3.	Configura un nuovo accesso del cluster all'archivio di snapshot creato in precedenza in Amazon S3. Usando Kibana, procedi come segue: Scegli Stack Management, Snapshot Settings,. RegisterRepo Nel campo Alias, inserisci il nome del repository. Per il nome del client S3, scegli secondario. Aggiungi il bucket S3 che hai creato in precedenza al repository. Scegli Comprimi istantanea. Per le impostazioni di crittografia, mantieni i valori predefiniti.	Amministratore AWS, App Support
Verifica il nuovo repository Amazon S3.	Assicurati di poter accedere al tuo nuovo repository ospitato nel cluster Elastic Cloud.	Amministratore AWS
Inizializza il cluster di servizi Elasticsearch.	Sulla Elasticsearch Service Console, inizializza il cluster di servizi Elasticsearch dalla snapshot S3. Esegui i seguenti comandi come POST. */_close?expand_wildcards=all /_snapshot/<your-repo-name>/ <your-snapshot-name>/_restore */_open?expand_wildcards=all	Supporto per app

Completa la migrazione

Attività	Descrizione	Competenze richieste
Verificare che il ripristino dell'istantanea sia stato eseguito correttamente.	Usando Kibana Dev Tools, esegui il seguente comando. GET _cat/indices	Supporto per le app
Riimpiega i servizi di ingestione.	Connect gli endpoint per Beats e Logstash al nuovo endpoint del servizio Elasticsearch.	Supporto per le app

Testa l'ambiente del cluster e pulisci

Attività	Descrizione	Competenze richieste
Convalida l'ambiente del cluster.	Dopo la migrazione dell'ambiente cluster elastico locale su AWS, puoi connetterti ad esso e utilizzare i tuoi strumenti di test di accettazione degli utenti (UAT) per convalidare il nuovo ambiente.	Supporto per le app
Pulisci le risorse.	Dopo aver verificato la corretta migrazione del cluster, rimuovi il bucket S3 e il ruolo IAM utilizzato per la migrazione.	Amministratore AWS

Risorse correlate

Riferimenti elastici

• Elastic Cloud

• Elasticsearch e Kibana gestiti su AWS

• Ricerca aziendale elastica

• Integrazioni elastiche

• Osservabilità elastica

• Sicurezza elastica

• Beats

• APM elastico

• Esegui la migrazione alla gestione del ciclo di vita degli indici

• Abbonamenti elastici

• Contatta Elastic

Post sul blog Elastic

• Come migrare da Elasticsearch autogestito a Elastic Cloud on AWS (post sul blog)

• Migrazione a Elastic Cloud (post sul blog)

Documentazione elastica

• Tutorial: automatizza i backup con SLM

• ILM: gestisci il ciclo di vita dell'indice

• Logstash

• Replica tra cluster (CCR)

• Acquisisci pipeline

• Esegui le richieste API Elasticsearch

• Conservazione degli snapshot

Video e webinar elastici

• Migrazione flessibile al cloud

• Elastic Cloud: perché i clienti migrano (webinar)

Riferimenti AWS

• Elastic Cloud su AWS Marketplace

• Interfaccia a riga di comando di AWS

• AWS Direct Connect

• Programma di accelerazione della migrazione AWS

• Network Load Balancers

• Regioni e zone di disponibilità

• Amazon Route 53

• Amazon Simple Storage Service

• Accelerazione dei trasferimenti di Amazon S3

• Connessioni VPN

• Well-Architected Framework

Informazioni aggiuntive

Se hai intenzione di migrare carichi di lavoro complessi, contatta Elastic Consulting Services. Se hai domande di base relative a configurazioni e servizi, contatta il team di Elastic Support.