一千萬個為什麽

搜索

Docker群上的星火 - 工作人員不會接受工作



儀表板不符合日誌錯誤,或?

Spark主控儀表板(類似於內存):

活著的工人:2   正在使用的核心數:2總計,0已使用

日誌:

17/07/21 20:48:45 WARN TaskSchedulerImpl: Initial job has not accepted any 
resources; 
check your cluster UI to ensure that workers are registered 
and have sufficient resources

假設有例如內存不夠,如何判斷?也許是一種癥狀,工人們在這裏和現在“分離”,但然後重新連接。

轉載註明原文: Docker群上的星火 - 工作人員不會接受工作

一共有 1 個回答:

TLDR;將工人的記憶力設置為4G。

我將測試減少到了內置Pi計算:

./bin/run-example SparkPi 10

並得到了同樣的結果;即使是最簡單的實驗,顯然1G內存也是不夠的。 把主人和員工的記憶力都提高到4G,並且問題行為是不可重現的。然而在系統開始計算之前,消息仍然可能出現,但只有一次,似乎它在等待循環中打印。