最小二乘法知識(shí)
在估計(jì)方法中，最大似然和最小二乘是經(jīng)常被使用到的，其中的最小二乘更是回歸的基礎(chǔ)。這就讓小編帶你回歸小二乘法。
最小二乘法知識(shí) 篇1
最小二乘法(又稱(chēng)最小平方法)是一種數(shù)學(xué)優(yōu)化技術(shù)。它通過(guò)最小化誤差的平方和尋找數(shù)據(jù)的最佳函數(shù)匹配。利用最小二乘法可以簡(jiǎn)便地求得未知的數(shù)據(jù)，并使得這些求得的數(shù)據(jù)與實(shí)際數(shù)據(jù)之間誤差的平方和為最小。最小二乘法還可用于曲線擬合。其他一些優(yōu)化問(wèn)題也可通過(guò)最小化能量或最大化熵用最小二乘法來(lái)表達(dá)。
1801年，意大利天文學(xué)家朱賽普·皮亞齊發(fā)現(xiàn)了第一顆小行星谷神星。經(jīng)過(guò)40天的跟蹤觀測(cè)后，由于谷神星運(yùn)行至太陽(yáng)背后，使得皮亞齊失去了谷神星的位置。隨后全世界的科學(xué)家利用皮亞齊的觀測(cè)數(shù)據(jù)開(kāi)始尋找谷神星，但是根據(jù)大多數(shù)人計(jì)算的結(jié)果來(lái)尋找谷神星都沒(méi)有結(jié)果。時(shí)年24歲的高斯也計(jì)算了谷神星的軌道。奧地利天文學(xué)家海因里希·奧爾伯斯根據(jù)高斯計(jì)算出來(lái)的軌道重新發(fā)現(xiàn)了谷神星。
高斯使用的最小二乘法的方法發(fā)表于1809年他的著作《天體運(yùn)動(dòng)論》中。
法國(guó)科學(xué)家勒讓德于1806年獨(dú)立發(fā)明“最小二乘法”，但因不為世人所知而默默無(wú)聞。
二乘法(2張) 勒讓德曾與高斯為誰(shuí)最早創(chuàng)立最小二乘法原理發(fā)生爭(zhēng)執(zhí)。
1829年，高斯提供了最小二乘法的優(yōu)化效果強(qiáng)于其他方法的證明，因此被稱(chēng)為高斯-馬爾可夫定理。
以最簡(jiǎn)單的一元線性模型來(lái)解釋最小二乘法。什么是一元線性模型呢?監(jiān)督學(xué)習(xí)中，如果預(yù)測(cè)的變量是離散的，我們稱(chēng)其為分類(lèi)(如決策樹(shù)，支持向量機(jī)等)，如果預(yù)測(cè)的變量是連續(xù)的，我們稱(chēng)其為回歸。回歸分析中，如果只包括一個(gè)自變量和一個(gè)因變量，且二者的關(guān)系可用一條直線近似表示，這種回歸分析稱(chēng)為一元線性回歸分析。如果回歸分析中包括兩個(gè)或兩個(gè)以上的.自變量，且因變量和自變量之間是線性關(guān)系，則稱(chēng)為多元線性回歸分析。對(duì)于二維空間線性是一條直線;對(duì)于三維空間線性是一個(gè)平面，對(duì)于多維空間線性是一個(gè)超平面。
對(duì)于一元線性回歸模型, 假設(shè)從總體中獲取了n組觀察值(X1，Y1)，(X2，Y2)， …，(Xn，Yn)。對(duì)于平面中的這n個(gè)點(diǎn)，可以使用無(wú)數(shù)條曲線來(lái)擬合。要求樣本回歸函數(shù)盡可能好地?cái)M合這組值。綜合起來(lái)看，這條直線處于樣本數(shù)據(jù)的中心位置最合理。 選擇最佳擬合曲線的標(biāo)準(zhǔn)可以確定為：使總的擬合誤差(即總殘差)達(dá)到最小。有以下三個(gè)標(biāo)準(zhǔn)可以選擇：
(1)用“殘差和最小”確定直線位置是一個(gè)途徑。但很快發(fā)現(xiàn)計(jì)算“殘差和”存在相互抵消的問(wèn)題。
(2)用“殘差絕對(duì)值和最小”確定直線位置也是一個(gè)途徑。但絕對(duì)值的計(jì)算比較麻煩。
(3)最小二乘法的原則是以“殘差平方和最小”確定直線位置。用最小二乘法除了計(jì)算比較方便外，得到的估計(jì)量還具有優(yōu)良特性。這種方法對(duì)異常值非常敏感。
最常用的是普通最小二乘法( Ordinary Least Square，OLS)：所選擇的回歸模型應(yīng)該使所有觀察值的殘差平方和達(dá)到最小。(Q為殘差平方和)- 即采用平方損失函數(shù)。
最小二乘法知識(shí) 篇2
1.什么是最小二乘法？
很多人都會(huì)被“最小二乘法”這個(gè)詞誤導(dǎo)了，不知所云。我覺(jué)得從它的英文意思更容易理解。最小二乘法的英文是：least square method，英文直譯是平方最小。也就是說(shuō)，使實(shí)際輸出與預(yù)測(cè)輸出的平方之和最小。同時(shí)最小二乘法也是損失函數(shù)（loss function）之一。
什么是損失函數(shù)（loss function）？
要理解損失函數(shù)，首先需要理解損失（loss）。預(yù)測(cè)值與真實(shí)值之差為損失（loss）。描述損失的函數(shù)稱(chēng)為損失函數(shù)。損失函數(shù)常用于衡量模型的好壞。而平方損失函數(shù)也就是最小二乘法。
2.最小二乘法與梯度下降的區(qū)別和聯(lián)系？
相同點(diǎn)：最小二乘法和梯度下降都是通過(guò)求導(dǎo)來(lái)求損失函數(shù)的最小值。
不同點(diǎn)：最小二乘法是對(duì)△直接求導(dǎo)令成0來(lái)求出全局最小，非迭代法。而梯度下降是一種迭代法，先給定一個(gè)數(shù)值，然后環(huán)顧四周，向下降梯度最快的方向調(diào)整，在若干次迭代后找到局部最小（相當(dāng)于貪心算法）。
梯度下降法的缺點(diǎn)是：到最小的附近收斂變慢，并且對(duì)初始點(diǎn)的選擇極為敏感。
最小二乘法的缺點(diǎn)是：不適用于特征向量過(guò)多的情況。
【最小二乘法知識(shí)】相關(guān)文章：
必修三中的最小二乘法01-27
保險(xiǎn)知識(shí)基礎(chǔ)知識(shí)歸納08-05
瓷器知識(shí)08-11
國(guó)學(xué)知識(shí)07-12
會(huì)計(jì)基礎(chǔ)知識(shí)之收入知識(shí)03-12
高考物質(zhì)知識(shí)點(diǎn):電場(chǎng)知識(shí)歸納09-29