搜尋引擎檢索效能評價實驗報告

2021-03-03 21:57:31 字數 1734 閱讀 3257

通過繪製p-r圖、11點插值圖和計算map比較百度和谷歌的檢索效能,加強對單個查詢檢索效能評價方法的應用能力,進一步鞏固和理解課堂中所學的資訊檢索效能評價方法。

(一) 實驗內容

以百度、谷歌為例,在兩個搜尋引擎中輸入同乙個query,並設定該query的相關文件總數為24篇。檢視前20條返回的記過的相關性,對檢索效能進行評價,並繪製p-r圖、11點插值圖,分別計算百度和谷歌的map。

(二) 實驗步驟

1. 複習資訊檢索評價方法原理及p-r圖、11點插值圖繪製方法,學習並掌握使用excel繪製圖表方法;

2. 在百度、谷歌中分別輸入相同的檢索詞,統計前20個結果hit情況並計算對應的precision、recall值及11點對應的precision值;

3. 繪製p-r圖、11點插值圖,計算map;

4. 評價並比較谷歌和百度的檢索效能。

1.作業系統:windows 7

2.軟體:excel2007

1.在百度和谷歌中輸入檢索詞:資訊檢索評價p-r圖,得到檢索結果部分如下圖1所示:

圖1 谷歌(左)和百度(右)部分檢索結果截圖

2.用excel分別統計百度和谷歌前20個結果的hits、presicion、recall、和11點對應的值。如圖所示:

3.繪製百度、谷歌p-r圖並比較。

百度、谷歌p-r圖

從上圖可以看出,相同的recall,當recall<=0.125時,谷歌和百度p-r相同,也就是谷歌和百度的前三個結果都是相關的。當recall>0.

125時,谷歌的precision高於百度的precision。這個圖中,百度和谷歌p-r的差距很明顯,可以初步判定當query為「資訊檢索評價p-r圖」時,谷歌的檢索效能優於百度。

5. 繪製百度、谷歌的11點插值圖並比較檢索效能。

百度、谷歌11點插值圖

從插值圖,可以看出,在插值點為0和0.1時,百度和谷歌的precision相同,其餘的插值點,谷歌的precision明顯高於百度的precision,可以看出當query為「資訊檢索評價p-r圖」,谷歌的檢索效能優於百度。

6. 分別計算百度和谷歌的map。

(1) 百度map=(1+1+1+4/7+5/8+2/3+7/10+8/17+9/20)/20=

(2) 谷歌map=(1+1+1+4/5+5/6+6/7+7/8+8/9+9/11+5/6+11/15+3/5)/20=

通過本次實驗,深入理解和掌握了資訊檢索效能評價單個查詢的評價指標precision、recall的計算方法以及p-r圖、插值圖的繪製方法,並通過比較p-r曲線和插值圖來比較谷歌和百度的單個查詢的檢索效能,完成了實驗內容,達到了實驗目的。

在實驗中,也發現了p-r曲線評價單個查詢的檢索效能存在一些缺點。一方面,對於像搜尋引擎這樣有著大規模文件的資料庫,每個查詢詞的相關文件數難以確定,檢索結果是否與查詢詞相關也難以確定,不同的人有不同的看法,所以難以準確計算召回率和正確率。另一方面,因為系統的資料集合是動態的,乙個查詢詞的p-r不能反映搜尋引擎的檢索效能,p-r只能反映某一時間系統針對某乙個查詢詞的檢索效能。

另外,了解到目前針對大規模語料集合召回率難以計算問題解決的的方法是緩衝池(pooling)方法:對多個檢索系統的top n個結果組成的集合進行標註,標註出的相關文件集合作為整個相關文件集合。

實驗中也發現,雖然準確率和召回率沒有明顯的相關關係,但是兩者難以兩全其美,檢索系統應該從使用者的角度考慮更加注重正確率還是召回率,從而幫助使用者更好的完成檢索任務。例如,我認為搜尋引擎這樣擁有海量資料的檢索系統,相關文件集合很大,考慮召回率意義不大,應該更加注重準確率。

實習報告三搜尋引擎檢索實習報告

班級學號姓名 volume 1778,issue 1,january 2008,pages 334 341 2.查詢期刊canadian transportation logistics2010年113卷第1期中頁碼為26 27的文章名 rewriting the book on supply ch...

Google搜尋引擎的使用》實驗報告格式 新

實驗報告 課程名稱計算機資訊檢索 實驗專案名稱google搜尋引擎的使用 課程班級與座位號 實驗室名稱 或課室 專業任課教師羅東俊老師 學號姓名 實驗日期 2010 年 12 月 1 日廣東商學院教務處制 姓名實驗報告成績 評語 指導教師 簽名 年月日說明 指導教師評分後,實驗報告交院 系 辦公室儲...

搜尋引擎營銷實訓報告Violet

1 舉例說明 google 搜狐任選其一 利用搜尋引擎開展關鍵字推廣的基本步驟 2 結合小組企業查詢利用搜尋引擎開展營銷推廣的案例1個。3 上網搜尋利用搜尋引擎做推廣有哪些基本技巧 4 將小組公司 到搜尋引擎註冊登記,截圖 5 上網 搜尋引擎營銷 寫出觀感體會 6 到推廣虛擬體驗中心,體會推廣過程 ...