<property>
  <name>yarn.nodemanager.localizer.cache.cleanup.interval-ms</name>
  <value>600000</value>
  <description>清理 nodemanager 本地缓存的时间间隔. 10个小时</description>
</property>

<property>
  <name>yarn.nodemanager.localizer.cache.target-size-mb</name>
  <value>10240</value>
  <description>本地缓存目录的大小, 默认: 10g</description>
</property>

<property>
  <name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage</name>
  <value>95</value>
  <description>nodemager 磁盘使用率, 默认90% 达到阀值</description>
</property>

nodemanager 在运行的时候 部分节点报错. local-dirs are bad

从yanr 的 节点列表中可以看到该节点当前处于 unheathy 状态

这是因为 hadoop集群硬盘目录默认的使用阈值是90% 空间不足,目录使用率超过阈值了90%了

调整 yarn-site.xml 中的 yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage 即可. ( 但还是要考虑集群扩容问题 )

并且对于 yarn 的本地缓存目录 ( 默认位置在 hadoop.tmp.dir 下的 nm-local-dir 目录 ), 可以调整磁盘空间的清除策略.