步骤 7:检查输入数据 - Amazon EMR

步骤 7:检查输入数据

请查看您的输入数据。它是否在键值之间均匀分配? 如果您的数据严重偏向一个或几个键值,那么可能将处理负载映射到少量节点,而其它节点则闲置。工作的不均衡分配可能会导致处理速度较慢。

不平衡数据集的示例是,依据按字母顺序排列的词运行集群,但有一个数据集仅包含以字母“a”开始的词。当工作被映射时,以“a”开始的节点处理值会过量,而以其它字母开始的节点处理词会处于闲置状态。