線性鑑別分析

2023-01-22 05:33:04 字數 1890 閱讀 1716

線性鑑別分析(linear discriminant analysis),是訊號處理中一種用來篩選所需訊號的常用方法。

關於線性鑑別分析的研究應追溯到fisher在2023年發表的經典**(fisher r a. the use of multiple measurements in taxonomic problems),其基本思想是選擇使得fisher準則函式達到極值的向量作為最佳投影方向,從而使得樣本在該方向上投影後,達到最大的類間離散度和最小的類內離散度。在fisher思想的基礎上,wilks和duda分別提出了鑑別向量集的概念,即尋找一組鑑別向量構成子空間,以原始樣本在該子空間內的投影向量作為鑑別特徵用於識別。

2023年sammon提出了基於fisher鑑別準則的最佳鑑別平面的概念。隨後,foley和sammon進一步提出了採用一組滿足正交條件的最佳鑑別向量集進行特徵抽取的方法。

2023年duchene和leclercq給出了多類情況下最佳鑑別向量集的計算公式。

2023年jin和yang 從統計不相關的角度,提出了具有統計不相關性的最優鑑別向量集的概念。與f-s鑑別向量集不同的是,具有統計不相關性的最優鑑別向量是滿足共軛正交條件的,該方法被稱為不相關的鑑別分析或jin-yang線性鑒別法。

以上提到的各種方法僅適用於類內散布矩陣非奇異(可逆)的情形,但實際應用中存在著大量的典型的小樣本問題,比如在人臉影象識別問題中,類內散布矩陣經常是奇異的。這是因為待識別的影象向量的維數一般較高,而在實際問題中難以找到或根本不可能找到足夠多的訓練樣本來保證類內散布矩陣的可逆性。因此,在小樣本情況下,如何抽取fisher最優鑑別特徵成為乙個公認的難題[ 3~5,7~11,18~20 ]。

小樣本情況下線性鑑別分析方法

近幾年來關於小樣本情況下線性鑑別分析方法的研究激起了人們的廣泛興趣,相繼提出不少解決該類問題的方法。概括起來,這些方法可分為以下兩類[18]:

1)從模式樣本出發,即在模式識別之前,通過降低模式樣本特徵向量的維數達到消除奇異性的目的。基於這一思想的處理方法可分為兩種:一是利用變換降維,典型的代表是eigenfaces方法和增強fisher線性鑑別模型法;二是通過降低影象的解析度實現降維。

第1種方法保留主分量上的投影資訊,拋棄了次分量上的資訊;第2種方法無疑會丟失影象的某些細節資訊。即這兩種降維方法雖然可以消除奇異性,但都是以鑑別資訊的損失為代價的,因此無法保證所抽取的特徵是最優的。

2)從演算法本身入手,通過發展直接針對於小樣本問題的演算法來解決問題[ 4,5,7~9 ]。hong等人提出的擾動法是乙個近似演算法,其基本思想是,當類內散布矩陣奇異時,通過對之進行乙個小的擾動,使得擾動後的矩陣變為非奇異的,以擾動後的矩陣代替原來的類內散布矩陣進行鑑別向量的求解,從而將問題轉化為可逆的情形加以解決。與之不同的是, liu 給出了乙個精確演算法, 稱為正交補空間法。

正交補空間法的弱點在於,每求解乙個最優鑑別向量,都需要回到原始樣本空間內構造子空間的正交補空間,當原始樣本空間的維數很大時,這一過程是異常耗時的。。該方法拋棄了類內散布矩陣零空間之外的鑑別資訊;類內散布矩陣的零空間之外的空間中仍然可能包含有效的鑑別資訊; yu等人提出了一種直接的線性鑑別分析方法,此方法利用了類內散布矩陣的零空間包含的鑑別資訊,但同時又捨棄了類間散布矩陣的零空間;yang等人提出了壓縮變換方法。在不損失任何有效鑑別資訊的前提下,求解最優鑑別向量只需要在低維的歐氏空間內進行。

在以上這些演算法中,除yang的壓縮變換法,其他演算法理論都存在著乙個共同的弱點,那就是需要在原始維數空間中求最優鑑別向量集,從計算上來看不適合處理高維空間中的問題。基於廣義的fisher線性判別準則, yang等人提出壓縮變換的方法,其本質是奇異情況下fisher最優鑑別特徵的抽取過程可分為兩步進行:第1步,利用k-l 變換,以總體散布矩陣為產生矩陣,將高維的原始樣本壓縮為維( 表示總體散布矩陣的秩) ;第2步,在變換空間內,利用fisher鑑別變換進行特徵抽取。

雖然比原始空間維數小很多,但通常情況下, 仍然會很大,而實際上,並非產生矩陣所有特徵向量都有很大的保留意義。

模組一塑料分析鑑別

專案一燃燒和密度法鑑別塑料 1 1 概述 一 高分子材料分析與測試的目的 1 研究材料的基本性質 掌握材料的特性。2 為滿足不同的使用目的,選取最合適的材料。3 為製品的生產,確定最佳的工藝條件。4 作為生產過程中控制產品質量的手段。5 作為原輔材料及製品購與銷雙方仲裁的依據。6 使材料與製品得以規...

混凝土結構非線性分析

姓名 季敏 學號 2013022008 手機號 182 第2章混凝土強度準則 2.1 混凝土破壞曲面的特點及表述 2.1.1 混凝土的破壞型別及其特點 混凝土在複雜應力狀態下的破壞比較複雜,如果從混凝土受力破壞機理來看,有兩種最基本的破壞狀態,即受拉型和受壓型。受拉型破壞以直接產生橫向拉斷裂縫為特徵...

ANSYS結構分析指南結構線性靜力分析

靜力分析計算在固定不變載荷作用下結構的響應,它不考慮慣性和阻尼影響 如結構受隨時間變化載荷作用的情況。可是,靜力分析可以計算那些固定不變的慣性載荷對結構的影響 如重力和離心力 以及那些可以近似為等價靜力作用的隨時間變化載荷 如通常在許多建築規範中所定義的等價靜力風載和 載荷 的作用。靜力分析用於計算...