Hello~大家好，今天學(xué)姐為同學(xué)們分享昆士蘭大學(xué)COMP4702/COMP7703相關(guān)專(zhuān)業(yè)考知識(shí)點(diǎn)復(fù)習(xí)歸納，學(xué)姐整理了非常詳細(xì)的流程細(xì)節(jié)可以參考。

　　機(jī)器學(xué)習(xí)線(xiàn)性回歸知識(shí)

　　米切爾(1997)將機(jī)器學(xué)習(xí)定義為:

　　如果一個(gè)計(jì)算機(jī)程序在測(cè)試中的表現(xiàn)隨著經(jīng)驗(yàn)的增加而提高，那么它就可以從經(jīng)驗(yàn)中學(xué)習(xí)一些任務(wù)測(cè)試和一些性能測(cè)試

　　假設(shè)用P來(lái)評(píng)價(jià)一個(gè)計(jì)算機(jī)程序在某個(gè)任務(wù)類(lèi)T上的性能，如果一個(gè)程序利用經(jīng)驗(yàn)E在T上取得了性能提升，那么我們就說(shuō)關(guān)于T和P，程序是從E學(xué)習(xí)的。

　　關(guān)于機(jī)器學(xué)習(xí)的相關(guān)通俗解釋?zhuān)彝扑]一個(gè)b站的高手:YJango。

　　交叉驗(yàn)證

　　交叉驗(yàn)證(Cross validation)，也稱(chēng)為周期估計(jì)，是一種將數(shù)據(jù)樣本統(tǒng)計(jì)切割成較小子集的實(shí)用方法。因此，可以首先對(duì)一個(gè)子集進(jìn)行分析，其他子集可以用于該分析的后續(xù)確認(rèn)和驗(yàn)證。初始子集稱(chēng)為訓(xùn)練集。其他子集稱(chēng)為驗(yàn)證集或測(cè)試集。交叉驗(yàn)證是一種評(píng)估統(tǒng)計(jì)分析和機(jī)器學(xué)習(xí)算法對(duì)獨(dú)立于訓(xùn)練數(shù)據(jù)的數(shù)據(jù)集的泛化能力的方法。

　　首先將數(shù)據(jù)集D分成k個(gè)大小相近的互斥子集，即D = D1 U D2υ… U Dk，Di n Dj = 1(í不等于j)。每個(gè)子集Di盡可能保持?jǐn)?shù)據(jù)分布的一致性，即通過(guò)分層抽樣從D得到。然后，每次k-1子集的并集作為訓(xùn)練集，剩余子集作為測(cè)試集;然后可以得到k個(gè)訓(xùn)練/測(cè)試集，從而可以進(jìn)行k個(gè)訓(xùn)練和測(cè)試，最終返回k個(gè)測(cè)試結(jié)果的均值。顯然，交叉驗(yàn)證法的評(píng)價(jià)結(jié)果的穩(wěn)定性和保真度很大程度上取決于k的值，為了強(qiáng)調(diào)這一點(diǎn)，交叉驗(yàn)證法通常稱(chēng)為“k倍交叉驗(yàn)證”(k倍交叉驗(yàn)證)，最常用的k值是10，此時(shí)稱(chēng)為10倍交叉驗(yàn)證;其他常用的k值有5、20等。

　　線(xiàn)性回歸原理

　　線(xiàn)性回歸假設(shè)特征和結(jié)果滿(mǎn)足線(xiàn)性關(guān)系。線(xiàn)性關(guān)系的表達(dá)能力非常強(qiáng)大。每個(gè)特征對(duì)結(jié)果的影響可以通過(guò)前面的參數(shù)反映出來(lái)，每個(gè)特征變量可以先映射到一個(gè)函數(shù)，然后參與線(xiàn)性計(jì)算。這樣就可以表達(dá)特征和結(jié)果之間的非線(xiàn)性關(guān)系。

　　線(xiàn)性模型試圖通過(guò)屬性的線(xiàn)性組合來(lái)學(xué)習(xí)一個(gè)預(yù)測(cè)函數(shù)

　　價(jià)值函數(shù)

　　用均方誤差表示。

　　梯度下降

　　例如，我們?cè)谝蛔笊降哪硞€(gè)位置。由于我們不知道如何下降，我們決定一步一步來(lái)。也就是我們每次到達(dá)一個(gè)位置，就求解當(dāng)前位置的梯度，并遵循梯度的負(fù)方向。就是從當(dāng)前最陡位置往下走一步，然后繼續(xù)求解當(dāng)前位置梯度，沿著最陡最容易下坡的位置再走一步到這一步。一步一步往這邊走，直到覺(jué)得到了山腳下。當(dāng)然，如果走這條路，我們可能去不了山腳下，而是到了某個(gè)局部高峰(局部最小值)。

　　從上面的解釋可以看出，梯度下降不一定能找到全局最優(yōu)解，可能是局部最優(yōu)解。當(dāng)然，如果損失函數(shù)是凸函數(shù)，梯度下降法得到的解一定是全局最優(yōu)解。(來(lái)源知識(shí))

　　梯度下降法按照以下過(guò)程進(jìn)行:

　　1)首先給θ賦值。這個(gè)值可以是隨機(jī)的，或者讓?duì)仁侨愕南蛄俊?/p>

　　2)改變?chǔ)鹊闹担笿(θ)向梯度下降方向減小。

　　均方差

　　均方誤差值越小，預(yù)測(cè)模型的精度越好。

　　考而思昆士蘭大學(xué)finm7403課程的在線(xiàn)輔導(dǎo)可以添加考而思老師微信進(jìn)行一對(duì)一咨詢(xún)。考而思專(zhuān)注輔導(dǎo)海外留學(xué)生在學(xué)習(xí)中遇到的各種問(wèn)題。