一千萬個為什麽

搜索

配置Hadoop日誌記錄以避免太多日誌文件

I'm having a problem with Hadoop producing too many log files in $HADOOP_LOG_DIR/userlogs (the Ext3 filesystem allows only 32000 subdirectories) which looks like the same problem in this question: Error in Hadoop MapReduce

我的問題是:有沒有人知道如何配置Hadoop滾動日誌目錄或以其他方式防止這種情況?我試圖避免只設置“mapred.userlog.retain.hours”和/或“mapred.userlog.limit.kb”屬性,因為我想實際保留日誌文件。

我也希望在log4j.properties中配置它,但是看一下Hadoop 0.20.2源代碼,它直接寫入日誌文件而不是實際使用log4j。也許我不明白它是如何完全使用log4j的。

任何建議或澄清將不勝感激。

最佳答案

我有同樣的問題。在啟動Hadoop之前設置環境變量“HADOOP_ROOT_LOGGER = WARN,console”。

export HADOOP_ROOT_LOGGER="WARN,console"
hadoop jar start.jar

轉載註明原文: 配置Hadoop日誌記錄以避免太多日誌文件