<property>
<name>yarn.nodemanager.localizer.cache.cleanup.interval-ms</name>
<value>600000</value>
<description>清理 nodemanager 本地缓存的时间间隔. 10个小时</description>
</property>
<property>
<name>yarn.nodemanager.localizer.cache.target-size-mb</name>
<value>10240</value>
<description>本地缓存目录的大小, 默认: 10g</description>
</property>
<property>
<name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage</name>
<value>95</value>
<description>nodemager 磁盘使用率, 默认90% 达到阀值</description>
</property>
nodemanager 在运行的时候 部分节点报错. local-dirs are bad
从yanr 的 节点列表中可以看到该节点当前处于 unheathy 状态
这是因为 hadoop集群硬盘目录默认的使用阈值是90% 空间不足,目录使用率超过阈值了90%了
调整 yarn-site.xml
中的 yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage
即可. ( 但还是要考虑集群扩容问题 )
并且对于 yarn 的本地缓存目录 ( 默认位置在 hadoop.tmp.dir
下的 nm-local-dir
目录 ), 可以调整磁盘空间的清除策略.