Considerazioni sulle prestazioni

I flussi di lavoro di abbinamento transitivo sono più lenti dei flussi di lavoro non transitivi perché i record vengono elaborati su tutti i livelli di regole anziché essere esclusi dopo la prima corrispondenza. I seguenti fattori influiscono sulle prestazioni:

Numero di regole

Un numero maggiore di regole comporta tempi di elaborazione più lunghi. Ogni livello di regola aggiuntivo aggiunge iterazioni di unione perché il sistema deve propagare gli ID di corrispondenza su tutti i livelli.

Elaborazione in batch e incrementale

I flussi di lavoro incrementali hanno un sovraccarico maggiore rispetto ai flussi di lavoro in batch su larga scala. Gli archivi di dischi di base più grandi richiedono più iterazioni di fusione per propagare i match ID tra record esistenti e nuovi.

Disallineamento dei dati

I set di dati con distribuzioni distorte, come i grandi match group, amplificano il sovraccarico. Quando molti record si collegano allo stesso gruppo di corrispondenze, il sistema richiede più operazioni di collegamento transitive per risolvere tutte le connessioni.

Si consiglia di testare i flussi di lavoro di abbinamento transitivo con volumi di dati rappresentativi prima di utilizzarli in produzione. Questo ti aiuta a comprendere le caratteristiche prestazionali per la tua configurazione specifica di dati e regole.