步骤 6：查看 Amazon EMR 集群的配置设置

聚焦模式

步骤 6：查看 Amazon EMR 集群的配置设置 - Amazon EMR

配置设置指定集群如何运行的详细信息，例如，重试任务的次数和排序可用的内存大小。当使用 Amazon EMR 启动集群时，除了标准 Hadoop 配置设置外，还有 Amazon EMR 特定的设置。这些配置设置存储在集群的主节点上。您可以检查配置设置，以确保集群有所需的资源高效运行。

Amazon EMR 定义用于启动集群的默认 Hadoop 配置设置。这些值基于 AMI 和您为该集群指定的实例类型。您可以使用引导操作或在作业执行参数中指定新值，从而修改配置设置的默认值。有关更多信息，请参阅创建引导操作以使用 Amazon EMR 集群安装其他软件。为了确定引导操作是否更改了配置设置，请检查引导操作日志。

Amazon EMR 记录用于执行每次任务的 Hadoop 设置。日志数据存储在主节点/mnt/var/log/hadoop/history/目录job_job-id_conf.xml下名为的文件中，其中替换job-id为作业的标识符。如果您启用了日志存档，则这些数据将复制到logs/date/jobflow-id/jobs文件夹 Amazon S3 中，其中date是任务运行的日期，jobflow-id也是集群的标识符。

以下 Hadoop 作业配置设置对于调查性能问题尤其有用。有关 Hadoop 配置设置及它们如何影响 Hadoop 操作的详细信息，请转到 http://hadoop.apache.org/docs/。

警告

如果单个节点出现故障，则在少于四个节点的集群上将 dfs.replication 设置为 1 可能会导致 HDFS 数据丢失。建议您使用具有至少四个核心节点的集群来处理生产工作负载。
Amazon EMR 不允许集群扩展 dfs.replication 下方的核心节点。例如，如果是 dfs.replication = 2，则最小核心节点数为 2。
当您使用托管扩缩、自动扩缩或选择手动调整集群大小时，建议您将设置 dfs.replication 为 2 或更高。

配置设置	描述
dfs.replication	为了形成类似 RAID 的环境而接收复制的单个数据块 (类似于硬盘数据块) 的 HDFS 节点的数量。确定包含该数据块副本的 HDFS 节点的数量。
io.sort.mb	排序可用的总内存大小。此值应该是 10x io.sort.factor。此设置也可用于计算任务节点所用的总内存大小，计算方法是 io.sort.mb 与 mapred.tasktracker.ap.tasks.maximum 相乘。
io.sort.spill.percent	供排序期间使用，在该点将开始使用磁盘，因为分配的排序内存已满。
mapred.child.java.opts	已淘汰。使用 mapred.map.child.java.opts 和 mapred.reduce.child.java.opts。启动 JVM 时 TaskTracker 使用的 Java 选项，以便在其中执行任务。通用参数是“-Xmx”，设置最大的内存大小。
mapred.map.child.java.opts	启动 JVM 时 TaskTracker 使用的 Java 选项，以便在其中执行地图任务。通用参数是“-Xmx”，设置最大的内存堆大小。
mapred.map.tasks.speculative.execution	确定同一任务的映射任务尝试是否可以并行启动。
mapred.reduce.tasks.speculative.execution	确定同一任务的 reduce 任务尝试是否可以并行启动。
mapred.map.max.attempts	可以尝试映射任务的最大次数。如果所有尝试都失败，那么该映射任务可标记为“失败”。
mapred.reduce.child.java.opts	启动 JVM 时 TaskTracker 使用的 Java 选项，以便在其中执行简化任务。通用参数是“-Xmx”，设置最大的内存堆大小。
mapred.reduce.max.attempts	可以尝试 reduce 任务的最大次数。如果所有尝试都失败，那么该映射任务可标记为“失败”。
mapred.reduce.slowstart.completed.maps	尝试 reduce 任务前应该完成的映射任务量。不等待足够长的时间可能会造成在尝试中出现“Too many fetch-failure”错误。
mapred.reuse.jvm.num.tasks	一个任务在单个 JVM 中运行。指定可以重新使用相同 JVM 的任务数。
mapred.tasktracker.map.tasks.maximum	映射期间每个任务节点可并行执行的任务的最大数量。
mapred.tasktracker.reduce.tasks.maximum	化简期间每个任务节点可并行执行的任务的最大数量。