教育行業(yè)A股IPO第一股（股票代碼 003032）

全國咨詢/投訴熱線：400-618-4000

boosting集成原理：什么是boosting?

更新時間:2021年04月30日15時19分 來源:傳智教育 瀏覽次數:

什么是boosting?

boosting實現過程01

隨著學習的積累從弱到強，簡而言之：每新加入一個弱學習器，整體能力就會得到提升。代表算法：Adaboost，GBDT，XGBoost。


實現過程

（1）訓練第一個學習器

boosting實現過程02

（2）調整數據分布

boosting實現過程03

（3）訓練第二個學習器

boosting實現過程04

（4）再次調整數據分布

boosting實現過程05

（5）依次訓練學習器，調整數據分布

boosting實現過程06

（6）整體過程實現

boosting實現過程07

關鍵點：

如何確認投票權重?

如何調整數據分布?

boosting實現過程08

AdaBoost的構造過程小結

boosting實現過程09

bagging集成與boosting集成的區(qū)別：


區(qū)別一:數據方面

Bagging：對數據進行采樣訓練;

Boosting：根據前一輪學習結果調整數據的重要性。


區(qū)別二:投票方面

Bagging：所有學習器平權投票;

Boosting：對學習器進行加權投票。


區(qū)別三:學習順序

Bagging的學習是并行的，每個學習器沒有依賴關系;

Boosting學習是串行，學習有先后順序。


區(qū)別四:主要作用

Bagging主要用于提高泛化性能(解決過擬合，也可以說降低方差)

Boosting主要用于提高訓練精度 (解決欠擬合，也可以說降低偏差)

boosting實現過程10


猜你喜歡：

語言模型-BERT：bert算法介紹

人工智能要學python嗎?人工智能要學習哪些知識?

傳智教育人工智能培訓課程

0 分享到：
和我們在線交談！