熟悉常見(jiàn)的機(jī)器學(xué)習(xí)的算法。
掌握機(jī)器學(xué)習(xí)的算法原理，以及數(shù)據(jù)推導(dǎo)。
學(xué)會(huì)使用Python來(lái)實(shí)現(xiàn)機(jī)器學(xué)習(xí)算法，以及優(yōu)化算法。
掌握scikit-learn擴(kuò)展庫(kù)來(lái)實(shí)現(xiàn)機(jī)器學(xué)習(xí)算法。

機(jī)器學(xué)習(xí)基礎(chǔ)
機(jī)器學(xué)習(xí)簡(jiǎn)介
機(jī)器學(xué)習(xí)的種類
監(jiān)督學(xué)習(xí)/無(wú)監(jiān)督學(xué)習(xí)/半監(jiān)督學(xué)習(xí)/強(qiáng)化學(xué)習(xí)
批量學(xué)習(xí)和在線學(xué)習(xí)
基于實(shí)例與基于模型
機(jī)器學(xué)習(xí)的主要戰(zhàn)挑
數(shù)據(jù)量不足
數(shù)據(jù)質(zhì)量差
無(wú)關(guān)特征
過(guò)擬合/擬合不足
機(jī)器學(xué)習(xí)任務(wù)
監(jiān)督：分類、回歸
無(wú)監(jiān)督：聚類、降維、關(guān)聯(lián)規(guī)則
機(jī)器學(xué)習(xí)基本過(guò)程
模型評(píng)估指標(biāo)
回歸：R^2, MAE/MSE/RMSE/MAPE
分類：Acc,Recall,Precision,F1，ROC曲線,AUC
模型評(píng)估方法
訓(xùn)練集/驗(yàn)證集
交叉驗(yàn)證
過(guò)擬合評(píng)估
過(guò)擬合檢驗(yàn)
過(guò)擬合解決方法：正則化
正則化：
L1正則項(xiàng)
L2正則項(xiàng)
模型參數(shù)優(yōu)化
交叉驗(yàn)證
網(wǎng)格搜索GridSearchCV
隨機(jī)搜索RandomizeSearchCV
機(jī)器學(xué)習(xí)常用庫(kù)

回歸任務(wù)算法
線性回歸模型
一元線性回歸
多元線性回歸
線性回歸算法
損失函數(shù)
普通最小二乘法OLS
欠擬合解決方法
多項(xiàng)式回歸
過(guò)擬合的優(yōu)化算法：正則化
嶺回歸（Ridge）
套索回歸Lasso
ElasticNet回歸
各種算法的適用場(chǎng)景
超參優(yōu)化
大規(guī)模數(shù)據(jù)集回歸：迭代算法
隨機(jī)梯度下降
批量梯度下降
小批量梯度下降
梯度算法的關(guān)鍵問(wèn)題
邏輯回歸
邏輯回歸模型
邏輯回歸的算法
原理
數(shù)學(xué)推導(dǎo)
正則項(xiàng)處理
其它優(yōu)化：
迭代樣本的隨機(jī)選擇
變化的學(xué)習(xí)率
求解算法與懲罰項(xiàng)的關(guān)系
多分類處理
ovo
ovr
線性判別分析
判別分析簡(jiǎn)介
基本思想
判別分析算法
數(shù)學(xué)推導(dǎo)
類間/類內(nèi)散度矩陣
多分類處理
迭代樣本的隨機(jī)選擇
變化的學(xué)習(xí)率
求解算法與懲罰項(xiàng)的關(guān)系

支持向量機(jī)
支持向量機(jī)簡(jiǎn)介
作用：回歸、分類、異常檢測(cè)
適用場(chǎng)景
線性SVM分類
基本原理
支持向量
SMO算法
非線性SVM分類
常用核函數(shù)
線性核函數(shù)
多項(xiàng)式核
高斯RBF核
核函數(shù)的選擇原則
線性不可分處理：松弛系數(shù)
決策樹(shù)
決策樹(shù)模型
構(gòu)建決策樹(shù)的三個(gè)關(guān)鍵問(wèn)題
決策樹(shù)的訓(xùn)練
決策樹(shù)的可視化
決策樹(shù)常用算法
ID5
CART
正則化參數(shù)
決策樹(shù)預(yù)測(cè)的基本步驟

神經(jīng)網(wǎng)絡(luò)
神經(jīng)網(wǎng)絡(luò)模型
工作原理：加法器、激活函數(shù)
適用場(chǎng)景
神經(jīng)網(wǎng)絡(luò)的建立步驟
BP算法實(shí)現(xiàn)
多層感知器MLP
隱藏層的數(shù)量
神經(jīng)元的個(gè)數(shù)
樸素貝葉斯
貝葉斯簡(jiǎn)介
條件概率
常見(jiàn)貝葉斯網(wǎng)絡(luò)
樸素貝葉斯
算法實(shí)現(xiàn)
連續(xù)變量處理：高斯分布
拉普拉斯修正

集成算法
分類模型優(yōu)化思想
優(yōu)化框架
Bagging
Boosting
Bagging集成
原理
隨機(jī)森林
Boosting集成
原理
AdaBoost
無(wú)監(jiān)督算法

結(jié)束：課程總結(jié)與問(wèn)題答疑。