更新時(shí)間:2022年07月18日09時(shí)57分 來(lái)源:傳智教育 瀏覽次數(shù):
同學(xué)們?cè)谶M(jìn)行Hadoop集群的配置和啟動(dòng)時(shí),可能會(huì)出現(xiàn)如NodeManager進(jìn)程無(wú)法啟動(dòng)或者啟動(dòng)后自動(dòng)結(jié)束的情況,此時(shí)可以查看Hadoop解壓包目錄中Logs下的日志文件,主要是因?yàn)橄到y(tǒng)內(nèi)存和資源分配不足。此時(shí),可以參考如下方式,在所有節(jié)點(diǎn)的yarn-site.xml配置文件中添加如下參數(shù)進(jìn)行適當(dāng)調(diào)整。
<property> <!--定義NodeManager上要提供給正在運(yùn)行的容器的全部可用資源大小--> <name>yarn.nodemanager.resource.memory-mb</name> <value>2048</value> </property> <property> <!--資源管理器中分配給每個(gè)容器請(qǐng)求的最小內(nèi)存限制--> <name>yarn.scheduler.minimum-allocation-mb</name> <value>2048</value> </property> <property> <!--NodeManager可以分配的CPU核心數(shù)--> <name>yarn.nodemanager.resource.cpu-vcores</name> <value>1</value> </property>
上述配置文件中,yarn. nodemanager. resource. memory-mb表示該節(jié)點(diǎn)上NodeManager可使用的物理內(nèi)存總量,默認(rèn)是8192MB,如果節(jié)點(diǎn)內(nèi)存資源不夠8MB,則需要適當(dāng)調(diào)整;yarn.scheduler.minimum-allocation-mb表示每個(gè)容器可申請(qǐng)的最少物理內(nèi)存量,默認(rèn)是1024MB;yarn.nodemanager.resource.cpu-vcores表示NodeManager總的可用虛擬CPU核數(shù)。
大數(shù)據(jù)培訓(xùn):HDFS讀數(shù)據(jù)流程
2022-07-12關(guān)系型數(shù)據(jù)庫(kù)與非關(guān)系型數(shù)據(jù)庫(kù)的區(qū)別
2022-07-11NoSQL數(shù)據(jù)庫(kù)有多少種類型?【大數(shù)據(jù)培訓(xùn)】
2022-07-11Python培訓(xùn)之?dāng)?shù)據(jù)預(yù)處理:通過duplicated()方法處理重復(fù)值
2022-07-11Python培訓(xùn):什么是分組分析法?
2022-07-11數(shù)據(jù)分析報(bào)告的寫作原則是什么?
2022-07-08北京校區(qū)