SVM方法是通過一個非線性映射p,把樣本空間映射到一個高維乃至無窮維的特征空間中(Hilbert空間),使得在原來的樣本空間中非線性可分的問題轉(zhuǎn)化為在特征空間中的線性可分的問題.簡單地說,就是升維和線性化.升維,就是把樣本向高維空間做映射,一般情況下這會增加計算的復雜性,甚至會引起維數(shù)災(zāi)難,因而人們很少問津.但是作為分類、回歸等問題來說,很可能在低維樣本空間無法線性處理的樣本集,在高維特征空間中卻可以通過一個線性超平面實現(xiàn)線性劃分(或回歸).一般的升維都會帶來計算的復雜化,SVM方法巧妙地解決了這個難題:應(yīng)用核函數(shù)的展開定理,就不需要知道非線性映射的顯式表達式;由于是在高維特征空間中建立線性學習機,所以與線性模型相比,不但幾乎不增加計算的復雜性,而且在某種程度上避免了維數(shù)災(zāi)難.這一切要歸功于核函數(shù)的展開和計算理論.
支持向量機(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的,它在解決小樣本、非線性及高維模式識別中表現(xiàn)出許多特有的優(yōu)勢,并能夠推廣應(yīng)用到函數(shù)擬合等其他機器學習問題中。
回歸分析是廣泛應(yīng)用的統(tǒng)計分析方法,可用于分析自變量和因變量的影響搞關(guān)系(通過自變量求因變量),也可以分析自變量對因變量的影響方向(正影響還是負影響)。回歸分析的主要應(yīng)用場景是進行預(yù)測和控制,例如計劃制定,KPI制定,目標制定等,也可基于預(yù)測數(shù)據(jù)與實際數(shù)據(jù)進行比對和分析,確定事件發(fā)展程度并給未來行動提供方向性指導。