課程內(nèi)容：

機(jī)器學(xué)習(xí)具有特定的數(shù)學(xué)“構(gòu)件”，這些構(gòu)件出現(xiàn)在各類模型和算法的研究中。具體來說，這些構(gòu)件利用了概率論、矩陣代數(shù)和微積分中的技術(shù)。本課程旨在向?qū)W生介紹這些內(nèi)容，并展示如何做到以下幾點(diǎn)：(1) 閱讀并正確解讀這方面的研究論文；(2) 理解現(xiàn)代ML如何設(shè)計(jì)新算法。

教學(xué)大綱：

1、經(jīng)驗(yàn)風(fēng)險最小化、正則化；偏差/方差理論及與過擬合的關(guān)系；概率觀點(diǎn)：似然比損失，引入指數(shù)族。

2、信息論：KL發(fā)散與交叉熵、交互信息。

3、優(yōu)化理論（微積分）。為什么是GD？什么是凸函數(shù)和非凸函數(shù)？梯度如何有助于優(yōu)化函數(shù)？如何使用二階屬性？如何證明一種方法是否會收斂？

4、降維（矩陣代數(shù)）。對數(shù)據(jù)進(jìn)行“細(xì)化、去噪和可視化”。介紹矩陣代數(shù)密集型方法，用于學(xué)習(xí)有助于模型擬合過程的特征維度。例如PCA、頻譜嵌入、費(fèi)雪判別分析等。這些方法可以實(shí)現(xiàn)數(shù)據(jù)的可視化、去噪和增強(qiáng)分類數(shù)據(jù)的分離。

學(xué)習(xí)成果：

通過本課程的學(xué)習(xí)，學(xué)生將能夠：

1、討論ML中的關(guān)鍵數(shù)學(xué)術(shù)語，如偏差/方差、熵/交叉熵、正則化、ML的概率與損失函數(shù)觀點(diǎn)之間的二元性，及其在實(shí)際場景中的后果。

2、正確處理和解釋模型的可能性、熵和隨機(jī)變量間交互信息的數(shù)學(xué)表達(dá)式。

3、解釋所教授的線性代數(shù)概念和方法，如向量空間/子空間、基、線性獨(dú)立性、秩、逆、正交性、奇異值分解、特征分解。

4、解釋和比較降維方法（如PCA、譜嵌入、FDA）的性質(zhì)和優(yōu)缺點(diǎn)，及其如何利用線性代數(shù)概念。

5、討論和解釋凸優(yōu)化和非凸優(yōu)化的數(shù)據(jù)/概念，包括收斂特性和證明技巧，以解釋隨機(jī)梯度下降。