「試卷評價系統的構建與應用」成果申報總結
一、開發背景
考試是人類社會的特有現象，是測度、甄別人的德、學、才、識、個體差異的一種社會活動，它產生於社會生產和社會生活的客觀需要，並隨著社會發展需求的變化而不斷變化其內容、性質和模式，形成與之相適應的結構，發揮不同社會或時代所期求的功能。考試和教育是一對孿生子，是教學過程中的乙個重要環節，是衡量教學效果的重要手段。提高教學質量考試是乙個完整的教學過程中不可缺少的組成部分，是對教和學的質量的檢驗。
考試對教學有巨大的指揮作用。對於考試的結果，有必要進行認真地研究和分析。
在試卷分析工作中，要運用考試理論和教學理論，對考試結果進行研究，促進我們對教學過程的反思，進而找到下一步工作的方向和改進的措施。考試結果可以反饋出大量的資訊，可以反映出整個教學過程的得失。完備的考試總結對於改進教學、優化教學效果起著至關重要的作用，詳細的試卷分析在考試總結中的作用更是舉足輕重，對於提高命題水平和考試質量尤為關鍵。
考試結果的分析，以使廣大教師及教學管理人員在量化分析的基礎上作好考試總結，從中發現問題、反映出各個教學環節的一些情況，反映出學生的基礎和能力的狀況、反映出學生的學習特點和規律。尋找並提出解決辦法，充分發揮考試的反饋作用，優化教學效果，我們在命題的時候，有多方面的設計。考試結果可以反映命題和考試本身的一些情況，也就是測量工具、測量方法和測量過程的情況。
分析這些資訊，能引起我們很多思考，可以形成一些認識，提出一些觀點和建議。可以供領導決策時參考，做為制定工作策略的依據，對學校老師和學生提供指導。可見，試卷分析是一件很重要的工作。
在利用考試分數或考試結果進行教育管理時，決不能將分數絕對化，不能僅憑考試分數的高低來評估教育質量及學生的學習情況。應對考試的結果給予科學的解釋，解釋分數不僅要有整體觀念，即將個別學生的成績與全體學生的成績相比較，以分高下；還要有系統的觀念，即要考慮到學生原有的基礎水平，判斷該學生有無進步與提高。
目前考試結果的分析還沒廣泛的推廣開來，其主要的原因就是考試結果的分析太過於專業，指標繁多，計算量巨大，操作性不強等，這些原因嚴重的阻礙了考試結果分析得實行，嚴重影響著考試對教學的指導和反饋作用。
本課題的主要研究內容就是將試卷分析的理論，計算方法固化在試卷分析的軟體內，將複雜、專業的試題分析簡易化、大眾化，開發操作性、通用性極強，理論科學嚴謹，流程科學合理，分析準確規範的專業試卷評價軟體，同時借助試卷分析系統，加強命題全過程管理，規範命題步驟，提高命題質量，從而指導教學。
課題組成員高松時任教務科科長，熟悉考試的具體運作流程和內在規律，同時具有計算機特長，曾經自主設計開發了《瀋陽醫學院教學程序表》、《瀋陽醫學院電子成績單》等教學軟體，並廣泛推廣使用。課題組成員楊孟坤曾任教務處長多年，具有豐富的教學管理經驗和深厚的教育教學理論基礎。課題組成員王任群、張靜為一線教學教師，具有豐富的教學經驗和專業理論基礎。
課題組成員王曉婷為考試教學管理人員，負責安排學院考試的命題，組織、實施的全過程管理。學院為學院教學部門給與大力的政策支援，把試卷分析作為「規定動作」，要求各教研室在報送成績時必須連同試卷分析一同報送，並作為教學檢查的評估專案進行管理與要求。組織廣大授課教師和教學管理人員進行培訓。
以上條件為本課題的研究、開發、推廣提供了完備的研究基礎。本課題共分為六個階段，歷時2年，逐步完善，於2023年5月份最後定稿。
二、研究內容及研究成果
本軟體為回顧性試題試卷評價系統，以便於指導教師的命題。本系統採用電子**製作，以命題工作流程為主線.分為命題大綱分析、題幹分析、成績分析三部分。工作流程如下：
（一）命題計畫編制：
命題計畫是指試題如何編制，試卷如何組成的計畫。它是供命題教師使用的，是他們編制試題和試卷的依據，它可看作是乙份工程藍圖，是編制試題時的指導和依據。如果命題計畫制訂得準確、合理，那麼，只要命題者嚴格按照命題計畫編制試題，就可以保證試題的質量。
乙份好的命題計畫既保證試題是所要測量的教學內容的代表性樣本，且能夠反映出各個部分內容之間的相對重要性，以便試題取樣適當，提高測量的效度；還規劃代表不同的知識內容和學習水平的各類測試專案的比例分配，在保證試題效度的同時，保證試題的難度合理。那麼在制定命題計畫中要遵循以下原則1：明確測驗的目的，使試題的內容和形式符合測驗的目的和要求，能夠測出所要測量的知識和能力。
2：試題內容的取樣要有代表性，即要對測量目標有充分的覆蓋面，且各個部分內容的比例要適當。
命題計畫的設計要明確測試標準（試題分布範圍、難易程度、考試重點）；、以教學大綱為依據，按大綱規定的範圍擬題；按照知識內容依據考核標準規定試題數量和所佔比例；確定考試方法及試題型別；確定編制試題和組配試卷的基本要求；編制雙向明細表按雙向明細表確定學習水平，列出知識內容，排列各部分佔比例
有了縱橫的比例，就可以把實際得分點分配到中間每個格仔中去。從而製成了既考基本知識又考查能力的雙向細目表。有了雙向細目表，編題時方向、任務明確；題目編成後複核有對照的依據；計分可以按表中的得分點和百分點來確定各題分數。
布盧姆的教育目標分類理論，對科學地組織教學活動，編制試卷及評定成績都是很有意義的。但是如何應用它還存在不少問題。如對教育目標的6個層次的不同水平如何界定；各層次之間存在著交叉重疊的關係，教師在教學、考試及評定成績中不易劃分，不易把握；對這個目標系統的各級認識能力是怎樣形成的，應當如何指導學生心智能力的發展等均未作系統的說明，有待於我們結合實際工作開展研究。
雙向明細表示例如下圖
命題教師可以根據資料，調整各章節的命題量和各層次所佔比例。
上圖，有2色曲線，一條為各章節按照學時比例賦值，另一條為各章節實際賦值。
*關於雙向明細表
雙向細目表是描述試題按學科內容和能力分布情況的一種圖表。美國教育家布盧姆曾將認知活動的教育目標從低階到高階，劃分為六類：命題計畫一般通過雙向明細表體現,雙向明細表是一種編題設計。
根據考試大綱的要求，將欲測試的內容和目標制定出乙份明細表。
△雙向明細表的編制步驟：
1、按照教育目標分類學將學習的認知活動分為六個不同級子層次
最高層次
最低層次
圖1教育目標（認知能力）層次分布示意圖
圖中各層次（認知能力）的基本含義是：
第一，知識。也叫記憶或認知。是指記憶、再認和辯識事物的能力。如認識具體事實，知道有關定理、原則、術語、概念、方法等。
第二：理解。係指掌握所學材料之內容、概念、意義、含義的能力。它包括轉譯、解釋、歸納、推想等方面的內容。
第三：應用。是指將所學知識用於某種實際能力。如利用已知原理、方法、定律等解答試題，或將知識要素性質的技能用於某種實技等。
第四：分析。是指將所學材料的內容分解為不同的組成部分或要素，以了解它們的內在結構及其功能的能力。分析包括:三類要素分析因素分析、相關分析、原理分析。
第五：綜合。指的是將各部分進行組合排列，並形成某種新的模式、結構或整體的能力。
如綜合運用所學知識及，根據要求綜合解答問題，通過綜合運用所學知識結合給定的材料寫出結構新穎的文章等。
第六：評價。評價能力（評鑑能力或判斷能力），係指按照某種既定標準或根據一定的目的判斷事物、結論、法則、觀點、判定理論正誤，層次結構、邏輯一致性等。
評價能力是認知能力的最高目標層次。
2、確定每個層次所佔比例
按上述順序認識和評價所佔比例兩側小中間大呈正態分佈。
3、縱向設計
根據教學大綱的要求，參照各部分（章節）的重要性和所佔時數情況確定各部分比例，將各部分比例填入表中最後一格
4、橫向設計
掌握各種知識在不同學習水平中的具體要求，決定相應比例。在具體分配時，可根據學生水平高低，決定層次高低的比例。
（二）、題幹分析
題幹分析，是衡量命題質量的基礎，試卷的整體難度的控制就由每道小題的難易度控制。
樣本錄入後，在「成績分析」可以看到，綠色區域已經生成了引數統計，包括平均分、難度、區分度以及綜合評價等幾項內容，見下圖
難度和區分度的綜合評定
試題的難易度和區分度之間是相互關聯的。在一定範圍內，p值大
則d值小，但p值若小的過度，d值反會下降。為此，在評價試題質量時，常把p值與d值一併考慮：
p>0.5, d>0.19, 表示試題難度適中，區分度良好，屬好題。
p<0.5, d>0.19, 表示試題雖然偏難，但仍有較好的區分度，屬適用題。
p>0.5, d≤≦0.19, 表示試題難度適中，但區分度差。這類試題內容如是學生必須掌握的，則試題尚可使用。
p<0.2，d≦≤ 0.19, 表示試題既難又無區分度，屬壞題，應棄而不用
請注意當有劣題出現時，要避免下次命題時出現。
例如上圖第六小題滿分為2分，平均分為1.91，難度為0.95（易），區分布為0.
18（低），這樣的題不能發揮區分學生學習情況的作用，如果作為選拔性考試，這樣的題幹的綜合評定為」難度易區分度劣，應淘汰」。
（三）：試卷分析
試卷分析，是針對抽樣學生成績的整體態勢進行多引數分析，主要包括，統計分析、描述分析、難易度分析和圖表分析。
1、統計分析
統計分析從0-100分為5個段，分別統計每個段的資料頻數和整體態勢分布。一般分布如下：
（1）優秀（90-100分）佔8-15%
（2）良好（80-89分）佔20-30%
（3）及格（60-79分）佔40-50%
（4）不及格（60分以下）佔5-15%
2、成績分析
平均數（） 75-85分
標準差（s） 7-9
全距（d） 35-40分
三、效果及應用
瀋陽醫學院從2005-2006學年下學年起就開始全面推廣使用本試卷評價系統，要求所有考試課程必須要做試卷分析，並把試卷分析的相關材料作為該學科的教學存檔材料進行上報和儲存。教務處為此共組織3次大規模的培訓，參加人員包括附屬醫院的臨床教師在內的所有任課教師和教學管理人員共計200多人，培訓的內容主要包括試卷評價的目的意義，試卷分析中「難度（p）」、「區分度(d)」、「信度(γ)」、「p/d值」等相關指標的含義和試卷評價指標的判讀以及試卷評價系統的操作使用方法。到本學期已經進行5學期，分析試卷810餘套，涵蓋醫學基礎、臨床醫學、社會科學等多個學科，應用效果良好。
期間歷經07年國家教育部對我院進行的普通本科教學水平評估，**本科評估和麻醉學等試辦專業評估，我院的試卷分析給評估專家留下了深刻的印象，專家對我院的試卷命題的管理工作給與了充分的肯定，尤其給試卷分析系統給予高度讚揚。
學生多元評價的構建與實踐
作者 韓廣玲 華人時刊 校長 2013年第11期 作為一所外來務工人員子女定點學校，我們考慮到學生 比較複雜，多元文化的碰撞也形成了匯波獨有的文化現象，於是把變革學生評價作為課改工作的乙個突破口和新的增長點。由過去注重甄別和選拔功能，逐漸轉化為發揮評價的導向 反饋 激勵等有效功能，一改終結式評價為過...
高職英語教學中形成性評價的構建與應用研究
作者 唐家雲 北極光 2016年第02期 摘要 高職院校的教學目標是為社會培養更多高素質的應用型人才，而教學的發展離不開教學評價，因為科學有效的評估效果能夠幫助教師更客觀的了解教學效果，有利於幫助學生改進學生。形成性評價能夠根據評價主體的變化進行有針對性的評價，高職英語教學的形成性評級愛主要體現在聽...
過程性評價在天然藥物化學中的構建與應用研究
過程性評價在天然藥物化學中的構建與應用研究作者 陳艷麗 教師 中 2018年第12期 摘要 隨著教學改革在全國普通本科院校不斷深入，培養應用型復合人才成為共同的教育目標。根據天然藥物化學課程特點，本研究對傳統教學以期末考試為主的這一終結性評價模式進行了改革，構建了以平時考核為主的過程性評價新模式並進...