首頁Python+大數(shù)據(jù)學(xué)習(xí)常見問題正文

大數(shù)據(jù)培訓(xùn)：Hadoop框架中怎么來優(yōu)化?

更新時間:2023年11月23日11時00分來源:傳智教育瀏覽次數(shù):

好口碑IT培訓(xùn)

　　(1)調(diào)優(yōu)Hadoop參數(shù)。當(dāng)前Hadoop系統(tǒng)配置參數(shù)已經(jīng)超過了190個，該如何調(diào)整這些參數(shù)，使得Hadoop運行的更快，是一種優(yōu)化的思路。

　　(2)優(yōu)化應(yīng)用程序。我們知道m(xù)apreduce解析數(shù)據(jù)文件是迭代逐行解析的，如何在迭代的情況之下去編寫高效率的應(yīng)用程序，也是一種優(yōu)化思路。

Hadoop框架中怎么來優(yōu)化？

　　(3)從系統(tǒng)實現(xiàn)的角度出發(fā)進(jìn)行優(yōu)化。這種優(yōu)化方式難度大是因為它站在Hadoop的實現(xiàn)機(jī)制角度，比如根據(jù)當(dāng)前Hadoop設(shè)計和實現(xiàn)上的缺點進(jìn)行源碼級的修改。難度大但是效果也最為明顯。

　　(4)調(diào)整linux內(nèi)核參數(shù)。

上一篇：特別大的數(shù)據(jù)，怎么發(fā)送到excutor中? 下一篇：抽象數(shù)據(jù)類型指的是什么？有哪些特征？