第一節一元線性回歸模型及其基本假設
第二章回歸分析的基本思想指出，由於總體實際上是未知的，必須根據樣本回歸模型估計總體回歸模型，回歸分析的目的就是盡量使得樣本回歸模型接近總體回歸模型，那麼採取什麼方法估計樣本回歸模型才使得估計出的樣本回歸模型是總體回歸模型的乙個較好估計值呢？這裡包括兩個問題：一是採用什麼方法估計樣本回歸模型；二是怎樣驗證估計出的樣本回歸模型是總體回歸模型的乙個較好估計值。
這些將在接下來的內容中講到。這一章介紹最簡單的一元線性回歸模型，下一章再擴充套件到多元線性回歸模型。
一元線性回歸模型及其基本假設
一、一元線性回歸模型的定義
一元線性回歸模型是最簡單的計量經濟學模型，在該一元模型中，僅僅只含有乙個自變數，其一般形式為：
yi = β0 + β1xi + μi（3.1.1）
其中yi是因變數，xi是自變數，β0、β1是回歸引數，μi是隨機項。由於式（3.1.1）是對總體而言的，也稱為總體回歸模型。
隨機項μ代表未被考慮到模型中而又對被解釋變數y有影響的所有因素產生的總效應。
二、一元線性回歸模型的基本假設
由於模型中隨機項的存在使得引數β0和β1的數值不可能嚴格計算出來，而只能進行估計，在計量經濟學中，有很多方法可以估計出這些引數值，但採用什麼方法能夠盡可能準確地估計出這些引數值，取決於隨機項μ和自變數x的性質。因此，對隨機項 μ和自變數x的統計假定以及檢驗這些假定是否滿足的方法，在計量經濟學中占有重要的地位。
估計方法中用得最多的是普通最小二乘法（ordinary least squares），同樣為了保證利用普通最小二乘法估計出的引數估計量具有良好的性質，也需要對模型的隨機項μ和自變數x提出若干種假設。當模型中的隨機項μ和自變數x滿足這些假設時，普通最小二乘法就是適合的估計方法；當模型中的隨機項μ和自變數x不滿足這些假設時，普通最小二乘法就不是適合的方法，這時需要利用其他的方法來估計模型。所以，嚴格來說，這些假設並不是針對計量經濟學模型的，而是針對普通最小二乘法的。
要求隨機項μ和自變數x滿足的統計假定主要有五個，這些假定稱為線性回歸模型的經典假定。
假定1：每個隨機項μi（i = 1，2，3，…，n）的期望值都為0，即
e（μi/x） = 0 i = 1，2，3，…，n
e（μi/x） = 0的含義是樣本中第i次觀測到的隨機干擾項的期望值，不是任何一次觀測所觀測到的自變數的函式。這就意味著自變數不能為隨機項提供有用的資訊，自變數資料的生成過程獨立於模型，即獨立於生成隨機項μi的過程。
假定2：每個隨機項μi（i = 1，2，3，…，n）的方差均為同乙個有限常數，都等於σ2，即
var（μi/x） = σ2 = 常數 i = 1，2，3，…，n
隨機項方差都相等的假設也稱為同方差（homoscedasticity）或等方差假定。
假定3：每個隨機項μi（i = 1，2，3，…，n）都是服從正態分佈（normally distributed）的實隨機變數。
如果結合假定1、假定2和假定3，則有
μi~n（0，σ2） i = 1，2，3，…，n
即每個隨機項μi（i = 1，2，3，…，n）都是服從期望值為0，方差為常數σ2的正態分佈。
假定4：與自變數不同觀察值xi相對應的隨機項互不相關，也稱為隨機項非自相關（nonautocorrelation）假定，即
cov（μi，μj） = 0 i≠j i，j = 1，2，3，…，n
假定5：自變數是外生的，隨機項與任一解釋變數都不相關，即
cov（μi，xj） = 0 i，j = 1，2，3，…，n
以上五個假定也稱為高斯-馬爾柯夫（gauss-markov）假定，滿足這些假定的線性回歸模型也稱為經典線性回歸模型。
除以上五個基本假定外，還有兩個暗含假定，即進行回歸分析時假設模型已經滿足的假定。
假定6：隨著樣本容量的無限增加，解釋變數x的樣本方差趨於乙個有限常數ω，即
■s2 = ■■■（xi - x）2→ω
假定7：所要估計的計量經濟學模型是正確設定的。
假定6的目的主要是防止出現偽回歸問題（spurious regression problem）。即當解釋變數是時間序列資料，而且是持續上公升或下降時，不但會使得大樣本統計推斷變得無效，而且容易產生偽回歸問題。所謂偽回歸問題，是指當兩列時間序列資料出現一致的變化趨勢時，即使這兩列資料間沒有任何的經濟關係，在進行回歸分析時也會表現出較高的擬合優度。
假定7是要求模型設定正確，不存在設定偏誤（specification error）。
由於μi服從假定3所示的正態分佈，而從式（3.1.1）可知，yi是μi的線性函式，所以，yi也服從正態分佈。
根據假定1以及式（3.1.1）可以得到yi的期望值為：
e（yi） = e（β0 + β1xi + μi） = β0 + β1xi（3.1.2）
根據假定2以及式（3.1.1）可以得到yi的方差為：
var（yi） = var（β0 + β1xi + μi） = var（μi） = σ2（3.1.3）
所以， yi服從期望值為β0 + β1xi，方差為常數σ2的正態分佈：
yi~n（β0 + β1xi，σ2）（3.1.4）
yi的分布在對引數以及因變數進行區間估計時會用到。
雖然μi的方差σ2是一常數，但實際上σ2是未知的，由於σ2是模型中的乙個重要引數，在下面估計回歸引數β0和β1時，也會給出σ2的乙個估計量。
第二節回歸引數的普通最小二乘估計
回歸引數的普通最小二乘估計
一、普通最小二乘原理
已知一組樣本觀測值（xi，yi）（i = 1，2，3，…，n），回歸分析的目的就是使依據這些樣本觀測值估計出的樣本回歸模型能盡可能地接近總體回歸模型，但由於總體回歸模型實際上是不知道的，那麼怎樣使得估計出的樣本回歸模型是總體回歸模型的最好估計呢？這就要求被解釋變數的估計值■i（樣本回歸模型的被解釋變數）與實際觀測值yi（總體回歸模型的被解釋變數）盡可能接近，考慮到樣本殘差εi = yi - ■i，因此，應該要求樣本殘差盡可能接近0，考慮到總共有n個樣本觀測值，且不同樣本觀測值的樣本殘差有正有負，見圖3-1。
因此，應要求\"總體樣本殘差\"盡可能小，即
q =■ε2■（3.2.1）
達到最小，這就是普通最小二乘原理。
二、回歸引數的普通最小二乘估計
將樣本殘差的表示式代入式（3.2.1）有：
q =■ε2■ =■（yi - ■i）2 =■［yi - （■0 + ■1xi）］2（3.2.2）
因此，普通最小二乘原理要求在給定的樣本觀測值下，選擇適當的■0和■1，使得εi對所有的i的平方和達到最小。這種估計回歸引數的方法稱為普通最小二乘法（ordinary least squares，ols），採用ols估計出來的引數稱為普通最小二乘估計量（ordinary least squares estimator，olse）。
從式（3.2.2）可以看到，q是■0和■1的二次非負函式，根據二次非負函式的特徵可以知道，q的極小值總是存在的。
因此，根據微積分學的運算知道，當q分別對■0和■1的一階偏導數為0時，q達到最小，即
■ = -2■［yi - （■0 + ■1xi）］ = 0■ = -2■［yi - （■0 + ■1xi）］xi = 0（3.2.3）
由於 εi = yi - ■i = yi - （■0 + ■1xi）
所以，式（3.2.3）可以寫成：
■εi = 0■εixi = 0（3.2.4）
式（3.2.4）是以■0和■1為未知數的方程組，簡稱為正規方程組。
解正規方程（3.2.3），得■0和■1估計量的表示式為：
■0 = ■ - ■1■■1 = ■（3.2.5）
式（3.2.5）中，■表示yi（i = 1，2，3，…，n）的均值，■表示xi（i = 1，2，3，…，n）的均值，即
■ = ■■yi ■ = ■■xi
而■i、■i分別表示xi和yi的中心化變數，即
■i = xi - ■ ■i = yi - ■
在上面推導■的過程中，用到了中心化變數的一些性質：
①■■i = 0；■■i = 0
②■■i■i =■■iyi =■xi■i
從下面開始，為了簡化，求和符號都沒有帶上起始和截止期，除了特別標明，直接用■xi表示■xi。
普通最小二乘估計量■0、■1具備以下一些性質：
①用普通最小二乘估計法估計出的樣本回歸線經過樣本均值點
由式（3.2.5）■0的表示式■0 = ■ - ■1■變形得：
■ = ■0 + ■1■
②樣本殘差和為0，即正規方程組（3.2.4）的第乙個表示式
■εi = 0
③樣本殘差與解釋變數的積的和為0，即正規方程組（3.2.4）的第二個表示式
■εixi = 0
可以利用性質②和性質③檢驗最小二乘法估計結果是否正確。
④樣本殘差與被解釋變數的估計量的積的和也為0，即
■ εi■i = 0
第三節引數最小二乘估計量的統計性質
引數最小二乘估計量的統計性質
對於估計出的樣本回歸模型的引數，需要考慮估計量的好壞，即能否作為總體回歸模型引數的很好近似。實際上，由於所選估計方法的不同，再加上所抽取樣本的隨機性，使得估計出的樣本回歸模型的引數都和總體回歸模型引數的真值存在差距。為了對引數估計量的好壞進行判斷，必須對估計量的統計性質進行檢驗。
衡量估計量好壞的統計指標依據樣本容量的大小分為小樣本性質（small sample proper-ties）和大樣本性質（large sample properties）或漸進性質（asymptotic properties）。小樣本性質有：①線性，即它是否是另一變數的線性函式；②無偏性，即它的期望值是否等於總體的真值；③最小方差性或有效性，即在所有的線性無偏估計量中，它的方差是否最小。
大樣本性質則包括：①漸近無偏性，即當樣本容量趨於無窮大時，它的均值趨於總體真值；②一致性，即當樣本容量趨於無窮大時，它是否依概率收斂於總體真值；③漸進有效性，即當樣本容量趨於無窮大時，在所有的一致估計量中，它的方差最小。
一元線性回歸模型實驗報告
以中國1985 2009年財政收入y和國內生產總值 gdp 為例以gdp為橫軸，y為縱軸的散點圖 以gdp為解釋變數，y為被解釋變數，建立一元線性回歸方程 yi 0 1 gdpi 圖3 回歸分析結果 可得出0 3225.757 1 0.197398財政收入隨國內生產總值變化的一元線性回歸方程為 32...
第2章 一元線性回歸方法
在前述遊樂場猜體重的事例中，經營者獲得了乙個身高與體重的樣本觀察資料 見表2 0 你如何利用這個觀測資料集合來改善你的經營業績呢？表2 0 身高與體重的樣本觀察資料 對於我們所關心的因變數而言，如果我們猜測解釋變數是對其惟一存在系統性影響的因素，或二者之間存在均衡關係，而且這種影響或均衡關係是線性的...
多元線性回歸和一元非線性回歸
計量經濟學 實驗報告 開課實驗室 財經科學實驗室2014年4月13日 班級 金融13a1學號 201221112008姓名 常海勤 實驗專案名稱一元非線性回歸和多元線性回歸成績 實驗性質 實驗目的 實驗要求 實驗軟體 eviews 軟體 實驗內容 根據給定的案例資料按實驗要求進行操作 實驗方案與進度...