Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Risoluzione dei problemi relativi a MSK come origine
Questa sezione descrive le fasi comuni per la risoluzione dei problemi relativi all'utilizzo di MSK come origine
Per la risoluzione dei problemi di elaborazione, trasformazione o distribuzione di S3, consulta le sezioni precedenti
Creazione di hose non riuscita
Controlla quanto segue se la creazione del tubo con MSK As Source non riesce:
-
Verifica che lo stato del cluster MSK di origine sia attivo.
-
Se utilizzi la connettività privata, assicurati che Il collegamento privato nel cluster è attivato.
Se utilizzi la connettività pubblica, assicurati che L'accesso pubblico al cluster è attivato.
-
Se utilizzi la connettività privata, assicurati di aggiungere una policy basata sulle risorse che consenta a Firehose di creare Private Link. Fai riferimento anche a: Autorizzazioni multiaccount MSK.
-
Assicurati che il ruolo nella configurazione del codice sorgente sia permesso di importare dati dal Topic del cluster.
-
Assicurati che i tuoi gruppi di sicurezza VPC consentano l'accesso al traffico in entrata porte utilizzate dai server bootstrap del cluster.
Hose sospeso
Controlla quanto segue se l'hose è in stato SOSPESO
-
Verifica che lo stato del cluster MSK di origine sia attivo.
-
Verifica che l'argomento di origine esista. Nel caso in cui l'argomento sia stato eliminato e ricreato, dovrai eliminare e ricreare anche lo stream Firehose.
Hose in contropressione
Il valore di DataReadFromSource.Backpressured sarà 1 quando BytesPerSecondLimit per partizione viene superato o il normale flusso di erogazione è lento o interrotto.
-
Se stai colpendo BytesPerSecondLimit per favore controlla DataReadFromSource.Bytes metrica e richiedi un aumento del limite.
-
Controlla il CloudWatch registri, metriche di destinazione, metriche di trasformazione dei dati e metriche di conversione del formato per identificare i colli di bottiglia.
Aggiornamento dei dati non corretto
L'aggiornamento dei dati sembra errato
-
Firehose calcola l'aggiornamento dei dati in base al timestamp del record utilizzato. Per garantire che questo timestamp venga registrato correttamente quando il record del produttore viene mantenuto nei log del broker di Kafka, imposta la configurazione del tipo di timestamp dell'argomento Kafka su
message.timestamp.type=LogAppendTime.
Problemi di connessione al cluster MSK
La procedura seguente spiega come convalidare la connettività ai cluster MSK. Per informazioni dettagliate sulla configurazione del client Amazon MSK, consulta Guida introduttiva a usare Amazon MSK nel Guida per sviluppatori di Amazon Managed Streaming per Apache Kafka.
Per convalidare la connettività ai cluster MSK
Creare un Unix-based (preferibilmente AL2) istanza Amazon EC2. Se sul cluster è abilitata solo la connettività VPC, assicurati che l'istanza EC2 venga eseguita nello stesso VPC. Accedi all'istanza tramite SSH una volta disponibile. Per ulteriori informazioni, vedere questo tutorial nel Guida per l'utente di Amazon EC2.
Installa Java usando il gestore di pacchetti Yum eseguendo il seguente comando. Per ulteriori informazioni, consulta la istruzioni di installazione nella Guida per l'utente di Amazon Corretto 8.
sudo yum install java-1.8.0Installa AWS cliente
eseguendo il seguente comando. curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip" unzip awscliv2.zip sudo ./aws/installScaricate la versione 2.6* del client Apache Kafka eseguendo il comando seguente.
wget https://archive.apache.org/dist/kafka/2.6.2/kafka_2.12-2.6.2.tgz tar -xzf kafka_2.12-2.6.2.tgz-
Vai alla directory
kafka_2.12-2.6.2/libs, quindi esegui il comando per scaricare il file JAR IAM di Amazon MSK.wget https://github.com/aws/aws-msk-iam-auth/releases/download/v1.1.3/aws-msk-iam-auth-1.1.3-all.jar -
Crea
client.propertiesfile nella cartella bin di Kafka. -
Sostituisci
awsRoleArncon il ruolo ARN che hai usato nel tuo FirehoseSourceConfiguratione verifica la posizione del certificato. Consenti il tuo AWS utente cliente di assumere il ruoloawsRoleArn. AWS l'utente client tenterà di assumere il ruolo specificato qui.[ec2-user@ip-xx-xx-xx-xx bin]$ cat client.properties security.protocol=SASL_SSL sasl.mechanism=AWS_MSK_IAM sasl.jaas.config=software.amazon.msk.auth.iam.IAMLoginModule required awsRoleArn="<role arn>" awsStsRegion="<region name>"; sasl.client.callback.handler.class=software.amazon.msk.auth.iam.IAMClientCallbackHandler awsDebugCreds=true ssl.truststore.location=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.342.b07-1.amzn2.0.1.x86_64/jre/lib/security/cacerts ssl.truststore.password=changeit Esegui il seguente comando Kafka per elencare gli argomenti. Se la connessione è pubblica, utilizza i server Bootstrap degli endpoint pubblici. Se la connessione è privata, utilizza i server Bootstrap degli endpoint privati.
bin/kafka-topics.sh --list --bootstrap-server<bootstrap servers>--command-config bin/client.propertiesSe la richiesta ha esito positivo, dovresti vedere un output simile al seguente esempio.
[ec2-user@ip-xx-xx-xx-xx kafka_2.12-2.6.2]$ bin/kafka-topics.sh --list --bootstrap-server<bootstrap servers>--command-config bin/client.properties [xxxx-xx-xx 05:49:50,877] WARN The configuration 'awsDebugCreds' was supplied but isn't a known config. (org.apache.kafka.clients.admin.AdminClientConfig) [xxxx-xx-xx 05:49:50,878] WARN The configuration 'ssl.truststore.location' was supplied but isn't a known config. (org.apache.kafka.clients.admin.AdminClientConfig) [xxxx-xx-xx 05:49:50,878] WARN The configuration 'sasl.jaas.config' was supplied but isn't a known config. (org.apache.kafka.clients.admin.AdminClientConfig) [xxxx-xx-xx 05:49:50,878] WARN The configuration 'sasl.client.callback.handler.class' was supplied but isn't a known config. (org.apache.kafka.clients.admin.AdminClientConfig) [xxxx-xx-xx 05:49:50,878] WARN The configuration 'ssl.truststore.password' was supplied but isn't a known config. (org.apache.kafka.clients.admin.AdminClientConfig) [xxxx-xx-xx 05:50:21,629] WARN [AdminClient clientId=adminclient-1] Connection to node... __amazon_msk_canary __consumer_offsetsIn caso di problemi con l'esecuzione dello script precedente, verificate che i server di bootstrap forniti siano raggiungibili sulla porta specificata. Per fare ciò, puoi scaricare e utilizzare telnet o un'utilità simile, come mostrato nel comando seguente.
sudo yum install telnet telnet<bootstrap servers><port>Se la richiesta ha esito positivo, si otterrà il seguente risultato. Ciò significa che puoi connetterti al tuo cluster MSK all'interno del tuo VPC locale e che i server bootstrap sono integri sulla porta specificata.
Connected to ..Se la richiesta non va a buon fine, controlla le regole in entrata sul tuo VPC gruppo di sicurezza. Ad esempio, è possibile utilizzare le seguenti proprietà sulla regola in entrata.
Type: All traffic Port: Port used by the bootstrap server (e.g. 14001) Source: 0.0.0.0/0Riprova telnet connessione come mostrato nel passaggio precedente. Se non riesci ancora a connetterti o la tua connessione Firehose continua a non funzionare, contatta il AWS supportare
.