Monitoraggio di oggetti in Amazon S3 con la visualizzazione coerente di EMRFS

EMRFS crea una visualizzazione coerente degli oggetti in Amazon S3 aggiungendo informazioni su tali oggetti ai metadati EMRFS. EMRFS aggiunge questi elenchi ai relativi metadati quando:

• Un oggetto viene scritto da EMRFS durante un processo Amazon EMR.

• Un oggetto viene sincronizzato con i metadati EMRFS o importato negli stessi mediante la CLI di EMRFS.

Gli oggetti letti da EMRFS non vengono automaticamente aggiunti ai metadati. Quando EMRFS elimina un oggetto, un elenco rimane ancora nei metadati con lo stato eliminato fino a che non viene rimosso mediante la CLI di EMRFS. Per ulteriori informazioni sulla CLI, consulta Riferimento ai comandi CLI di EMRFS. Per ulteriori informazioni sulla rimozione di elenchi nei metadati EMRFS, consulta Metadati della visualizzazione coerente EMRFS.

Per ogni operazione Amazon S3, EMRFS cerca nei metadati informazioni sul set di oggetti nella visualizzazione coerente. Se EMRFS rileva che Amazon S3 è inconsistente durante una di queste operazioni, tenta di nuovo l'operazione in base ai parametri definiti nelle proprietà di configurazione emrfs-site. Quando EMRFS ha esaurito i tentativi, genera un'eccezione ConsistencyException o registra l'eccezione e continua il flusso di lavoro. Per ulteriori informazioni sulla logica di ripetizione dei tentativi, consulta Logica di ripetizione dei tentativi. Puoi trovare delle eccezioni ConsistencyExceptions nei log, ad esempio:

• listStatus: nessun oggetto Amazon S3 per l'elemento di metadati /S3_bucket/dir/object

• getFileStatus: dir/file La chiave è presente nei metadati ma non in Amazon S3

Se elimini direttamente da Amazon S3 un oggetto monitorato con la visualizzazione coerente EMRFS, EMRFS considera quell'oggetto come inconsistente poiché nei metadati è ancora elencato come presente in Amazon S3. Se i metadati non sono più sincronizzati con gli oggetti che EMRFS monitora in Amazon S3, puoi utilizzare il sottocomando sync della CLI di EMRFS per ripristinare i metadati affinché corrispondano ad Amazon S3. Per rilevare le discrepanze tra i metadati e Amazon S3, utilizza il comando diff. Infine, EMRFS presenta una sola visualizzazione coerente degli oggetti a cui si fa riferimento nei metadati ed è possibile che nello stesso percorso Amazon S3 vi siano altri oggetti che non sono monitorati. Quando EMRFS elenca gli oggetti in un percorso Amazon S3, restituisce il superset degli oggetti monitorati nei metadati e quelli in quel percorso Amazon S3.