支援向量機（svm）簡明學習教程
一、最優分類超平面
給定訓練資料，其中，。
若，稱為第一類的，；若，稱為第二類的，。
若存在向量和常數，使得 （1），則該訓練集可被超平面分開。
（一）、平分最近點法
求兩個凸包集中的最近點，做的垂直平分面，即為所求。
，則，。
求， 所以，只需求出最小的。
演算法：1）求解；2）求最優超平面。
（二）、最大間隔法
附加條件，加上（1）式。記，。
使 （2）
可以說明在（2）下可以得到乙個最優超平面，且該超平面是唯一的。
如何快速生成乙個最優超平面？？？
考慮等價問題：求權向量和，使，且最小。
這種寫法已經包含最大間隔。
事實上，而，故，。
所以（2）式可以轉化為求解：
3）總結，求最優超平面，只需求解：
qp1）
對（qp1）構造lagrange函式：
令，其中為lagrange乘子。
下求的鞍點：
1）、； 2）、。
將2）代入中，且目標改為。
則所以，（qp1）的對偶問題為： （dqp1）
由kkt條件，。若存在時，有，此時，，則
幾何意義：，是與超平面距離最近的向量，稱其為支援向量。他在構造超平面中起到及其重要的作用。
svm演算法1（線性可分svm分類機）
1）、求解規劃問題（dqp1）
2）、求和，得到分類超平面。
3）、分類器：。
（三）、軟間隔分類超平面
針對樣本資料線性不可分的情況。此時。
解決方案：軟化約束（通過新增鬆弛因子）。，其中，。
顯然，當充分大時，軟約束總是成立的，但不應該取太大。所以將加入到目標中，得到(qp2)：
qp2）
其中，為正的懲罰引數。
顯然，qp2包含了qp1的，（取）。另外，qp2的魯棒性好（穩定性好）
同樣，對（qp2）構造lagrange函式：
令。1）、； 2）、；
3）、。
代入中，得。
所以，（qp2）的對偶問題為： （dqp2）
對於，由kkt條件。當時，，則。
（四）、支援向量機
對於本質線性不可分問題，有兩種方法：（1）構造非線性分類器；（2）將樣本點射到高維特徵空間，再用線性分類器。
例1：不可分
對映：，則可分。
基本思想：，
例2：對於圓，故。但複雜性增大，如，則二次特徵空間。
（問題：推廣性如何評價，技術上如何處理高維資料？？？）
1）、核函式
設，，。（注可為無窮）
考慮在hilbert空間中內積的乙個一般表示式：。
根據hilbert-schmidt理論，可以是滿足下面一般條件的任意對稱函式（courant and hilbert,1953）
定理（mercer）要保證中的對稱連續函式能以正的係數展開成正定。（）
訓練樣本，，則。
求上的超平面將分開（若可分），則最大間隔超平面：
qp3）
其對偶問題為：
（dqp3）
設（dqp3）有解，則，，（）。
從而，決策函式為。
演算法（可分的svm）
（1）、選樣本； （2）、選核函式，用mercer定理判斷； （3）、計算，由（dqp3）； （4）、代入決策函式應用。（錯誤率高可轉（2）重來）
同樣，對特徵對映後的樣本點線性可分難於判斷，可引人鬆弛變數：
qp4）
其對偶問題為： （dqp4）
則，（）。
決策函式為。
（存在問題：1、的選擇；2、的選擇？？？？）
3）常用的核函式
階多項式核：；
gauss核：；
，其中為sigmoid函式，但他不滿足mercer定理。
二、估計實值函式的支援向量機
（一）、回歸分析
已知，，最小二乘：，。其定義損失函式為：，使得經驗風險最小：。
但是如果，則取，則對的逼近更好。
2023年，huber提出乙個理論：若雜訊的密度是乙個對稱函式，取；若雜訊是由某種固定雜訊（如正態雜訊）與另一有對稱連續密度函式的任意雜訊的混合，則取。
為了對實值函式構造支援向量機，我們定義不敏感函式：。則：（1）、線性不敏感函式：；（2）、二次不敏感函式：。
（二）、函式估計的svm
考慮線性回歸，。
1）、硬帶svm（即全部樣本點都落入帶內）
（qp5）
令。則，代入中即得（dqp5）。
（dqp5）
由kkt條件，若，得；若，得
將，可作非線性回歸。
1）、軟帶svm（並非所有的樣本點都落入帶內）
取，將（qp5）變形引入鬆弛變數。
（qp6）
令則，代入中即得（dqp6）。
（dqp6）
由kkt條件，若，得；若，得
將，可作非線性回歸。
[說明：在求時必須要求，因為若，則一定在帶內或界上；若（或者反過來），則一定在界上；若（或者反過來），則一定在界上或界外（證明略）]
在這裡,有三個引數控制著svr的效能，包括平衡引數、管道寬度和核引數，它們都需要預先給定。其中定義了乙個不敏感函式，並控制著支援向量的數目。如果管道寬度過大，那麼支援向量的數目越少，其擬合函式將不能反映真實的函式特性；反之，如果管道寬度過小，那麼svr的稀疏性將不能保證。
作業：1、求下面規劃問題的對偶問題：
2、在區間上擬合函式。注：先自己產生100個帶誤差的資料點（誤差形式自定），然後選擇平衡引數、管道寬度和核引數進行支援向量回歸。
基於支援向量機的層次分析評價例
作者 王中立吳靚雯 消費導刊 2019年第13期 摘要 本文旨在 如何使用工程經濟學知識來解決建設工程帶來的新環境問題。工程經濟學本質上要求對經濟活動的物質代謝迴圈和資源價值流動進行統一管理。但隨著傳統建築業的重要生產資料如水泥 瀝青等原材料在生產使用的全過程中存在著嚴重汙染大氣環境的問題，傳統工程...
列印向量,空間向量
1 下列說法正確的是 a 向量是共線向量，則點a，b，c，d必共線。b 兩個相等向量的起點和終點均須一致 c 共線向量只須起點一致，終點可以不一致 d 兩個平行向量就是共線向量。2 已知向量是兩個不共線的單位向量，夾角為30o則下列向量共線的一組是 a b c d 3 設為兩不共線的向量，則與共線的...
平行向量 相等向量和共線向量的區別和聯絡
3 正確.的長度相等且方向相同 又 的長度相等且方向相同.的長度相等且方向相同，故 4 不正確.這是因為 時，應有 及由a到b與由c到d的方向相同，但不一定要有a與c重合 b與d重合.說明 針對上述結論 1 4 我們應該清醒的認識到，兩非零向 相等的等價條件應是 的方向相同且模長相等.針對結論 3 ...