基於最小錯誤率的貝葉斯決策為：
相等:1. 假定二類協方差矩陣不相等，則第一步分別
計算二類樣本的均值：
第二步分別計算二類樣本的協方差：
代入x=(2 0)』至決策規則有：
2.假設兩類協方差矩陣相等，則第一步得到此時的協方差矩陣為
代入x=(2 0)』至決策規則有：
1. 簡要說明最大似然估計的步驟
第一步：寫出隨機變數x的概率密度表達形式；
第二步：寫出n個獨立樣本的似然函式的表達形式；
第三步：寫出n個獨立樣本的對數似然函式表達形式；
第四步：寫出對數似然函式對未知引數求導的表達形式；
第五步：根據極值定理，求出未知引數的表達形式。
2. 闡述pca降維的基本思想。
答：pca方法就是主元分析法,需要找到主元，捨棄次元，去掉那些對應較小特徵值的特徵向量，意味著在資訊丟失最小的意義上降維。我們先計算協方差矩陣特徵向量;然後對特徵向量進行選取；找到大特徵值所對應的特徵向量所構成的矩陣；以它作為投影空間把影象樣本進行投影,因為捨棄了一些特徵向量然後進行投影，所以維數也在投影的同時被降低了。
3. 簡要說明主成份分析法的步驟。
1） 把所有的影象矩陣按列進行列向量化
2）計算總體散度矩陣st
3）計算st的特徵值和特徵向量
4）將st的特徵值按照降序排列
且保留前n個最大的特徵值及這些特徵值所對應的特徵向量
5）將保留的特徵向量正交標準化
從而就構成了新的子空間的基矩陣
6）將訓練樣本和測試樣本投影到這個子空間上
4. 寫出lda方法實現降維的基本步驟
第一步：對於資料向量x計算平均值：
第二步：對x計算類內離散度矩陣sw跟類間離散度sb：
第三步：構造sw-1sb矩陣
第四步：計算矩陣sw-1sb的特徵值和特徵向量
第五步：將矩陣sw-1sb的特徵值按照降序排列
且用前n個最大特徵值所對應的特徵向量構成lda的變換矩陣；
第六步：將訓練樣本和測試樣本投影到變換矩陣這個子空間上。
第二步：對x計算類內離散度矩陣sw跟類間離散度sb：
第四步：計算矩陣sw-1sb的特徵值和特徵向量：
第五步：將矩陣sw-1sb的特徵值按照降序排列且用前n個最大特徵值所對應的特徵向量構成lda的變化矩陣:
第六步：將訓練樣本和測試樣本投影到變換矩陣
這個子空間上。
5. 簡要說明基於距離的分段線性判別法的基本思想。
基於距離的分段線性判別法的基本思想是：可以把各類別樣本特徵向量的均值作為各類的代表點，而樣本的類別按它到各類別代表點的最小距離劃分。
6. 簡要說明k近鄰法的基本思想。
k近鄰法的基本思想是：
在所有n個樣本中找到與測試樣本x的k個最近鄰者，其中各類別所佔個數表示成ki,i=1,2,…,c；
將測試樣本x歸為包含最多樣本所在的那個類別。
3. 設有訓練集資料矩陣t如下表示，試用最近鄰法確定樣本x=(0.1, 0.1 )的類別。
第一步分別計算測試樣本與訓練集樣本的距離：
第二步根據最近鄰法可知測試樣本屬於第一類別。
1. k-l變換的基本步驟。
答：1. 需要根據樣本的類別情況構造不同的矩陣。
(1) 當樣本的類別未知時，構造的矩陣是協方差矩陣其中，μ是總均值向量。
(2) 當樣本的類別已知時，構造的矩陣是類內離散度矩陣sw：
其中，p(ωi)是第i個類別的先驗概率，μi是第i類的均值，x為第i個類別中的樣本。
2. 計算構造矩陣的特徵值和特徵向量；
3. 將構造矩陣的特徵值按照降序排列，且用前n個最大特徵值所對應的特徵向量構成k-l的變換矩陣；
4. 將樣本投影到變換矩陣這個子空間上，實現降維 。
2. 設存在兩類樣本，其先驗概率相等
樣本均值向量分別為
協方差矩陣分別為：
解：因為樣本的類別已知，所以第一步類內離散度矩陣sw：
第二步計算sw的特徵值和特徵向量：
第三步得到k-l的變換矩陣
第四步將樣本投影到變換矩陣這個子空間上：
1. 如果四個資料分別為： 現在有兩種聚類劃分：(1)k1=, k2=；(2) k1=, k2=。若用最小評分誤差和準則，哪一種劃分更好？
對於第一種劃分，有：
對於第二種劃分，有:
因為je(1)=18< je(2)=42.33 ，所以第一種劃分更好
2. 設一組一維樣本分佈如下圖所示，使用分級聚類法實現樣本分類。
第一次迭代：
第一步：將所有樣本點初始化為不同的類別，即初始類別為6
第二步：計算所有樣本點之間的距離，即得到距離矩陣d(1)
第三步：找出距離最小的樣本點第四步：將距離最小的樣本點劃分為同一類，即將
第五步：若合併的類別數以達到要求，則停止迭代過程；否則，進入下乙個迭代過程。
因此時的類別數為4類，未達到規定的2類別要求，所以進入下乙個迭代過程。
第二次迭代：第一步：計算距離矩陣d(2)
第二步：找出距離最小的樣本點
第三步：將距離最小的樣本點劃分為同一類，即將
第四步：若合併的類別數以達到要求，則停止迭代過程；否則，進入下乙個迭代過程。
因為此時的類別數為2類，符合規定的2類別要求，迭代過程結束
最後的樣本類別為：第一類別包括樣本1，3； 第二類別包括樣本2，4，5，6
試用c均值實現樣本的2類別聚類。 第一步：初始分類：令c=2 選擇初始距離中心為
z1(1)= x1=(0,0)t z2(1)= x2=(1,0)t
第一次迭代聚類過程第二步：計算每個樣本與各個類別代表點之間的距離，並將其根據距離最小原則劃分到相應的類別中
同理將所有的樣本實現分類
第一類包含的樣本有：x1 ，x3
第二類包含的樣本有：x2 ，x4 ，x5 ，x6，，…….，x20
第一次迭代聚類過程第三步：更新類別的代表點
第四步：判斷新舊聚類中心是否相等
第二次迭代聚類過程第一步：計算每個樣本與各個類別代表點之間的距離，並將其根據距離最小原則劃分到相應的類別中： 第一類包含的樣本有：
x1 ，x2 ，…….，x8， 第二類包含的樣本有：x9 ，x10 ，…….
，x20
第二步：更新類別的代表點
第三步：判斷新舊聚類中
心是否相等
第三次迭代聚類過程
第一步：計算每個樣本與各個類別代表點之間的距離，並將其根據距離最小原則劃分到相應的類別中：第一類包含的樣本有：x1 ，x2 ，…….，x8
第二類包含的樣本有：x9 ，x10 ，…….，x20
第二步：更新類別的代表點
第三步：判斷新舊聚類
中心是否相等
模式識別作業
題目一 計算特徵向量之間的距離 任意構造10個人在程式設計 離散數學 資料結構 計算機組成原理4門課的成績表。計算兩兩之間的歐式距離 絕對值距離，設計合適的閾值，能否進行分類？答 題目中每個人共有四門課，也就是每個人有4個特徵，每門課的成績也就是這4個特徵的量化。例如某人的成績就可以表示為 95,6...
模式識別練習題
一 試問 模式 與 模式類 的含義。如果一位姓王的先生是位老年人，試問 王先生 和 老頭 誰是模式，誰是模式類？答 在模式識別學科中，就 模式 與 模式類 而言，模式類是一類事物的代表，概念或典型，而 模式 則是某一事物的具體體現，如 老頭 是模式類，而王先生則是 模式 是 老頭 的具體化。二 試說...
模式識別實驗指導書
實驗一感知器準則演算法實驗 一 實驗目的 貝葉斯分類方法是基於後驗概率的大小進行分類的方法，有時需要進行概率密度函式的估計，而概率密度函式的估計通常需要大量樣本才能進行，隨著特徵空間維數的增加，這種估計所需要的樣本數急劇增加，使計算量大增。在實際問題中，人們可以不去估計概率密度，而直接通過與樣本和類...