結構化面試信度和效度的實證分析

結構化面試信度和效度的實證分析

 ——對新錄用公務員試用期表現的跟蹤調查

 

結構化面試是一種以行為描述方法為主的，並按測量要求事先擬定提問內容和順序的面試。它具有測試要素結構化、面試程式結構化和評分標準結構化三大特點。自實施國家公務員制度十年來，它已經被廣泛地套用到各級公務員錄用考試中。考試的科學性是考試錄用制度的生命線，而面試的公正與客觀更是社會關注的熱點。結構化面試的信度是測試過程本身的可靠程度，即可信度；結構化面試的效度是測試結果達到預期目標的程度。結構化面試的信度和效度究竟如何？我們曾嘗試通過對新錄用公務員試用期表現的跟蹤調查，套用量表測評和數理統計的方法對結構化面試的信度和效度進行實證分析。現將有關調查情況綜述如下：

一、調查的組織

今年8月，我們對2002年新錄用的國家公務員和機關工作人員的試用期表現，分別採用量表測評和民主評議的方式進行跟蹤調查。

（一）確定測評要素與評分標準。

根據縣級市機關國家公務員和機關工作人員職位的共性特點和任職條件，採用與2002年錄用面試同結構的測評要素和評分標準，編制了《新錄用人員試用期能力評估表》（表一）。

（二）組織評估。

我們專門下發了《關於對2002年新錄用國家公務員和機關工作人員試用期情況進行調研的通知》，要求各有關部門按照領導評鑑和民眾測評相結合的原則，組織主管領導和民眾對每個新錄用公務員在試用期間的政策水平與綜合分析能力、計畫與組織能力、社會感知與協調能力、記憶和理解能力和文化素養與心理素質等六個方面的能力評估後，填報《新錄用人員試用期能力評估表》。

（三）覆核和評價。

為了做好新錄用公務員試用期能力評估結果的覆核，我們還要求各部門採用領導、本人和民眾“三結合”的調查方式，通過對被測評人在試用期表現和工作環境的全面評價，覆核能力評估的結果。覆核結論反映評估結果基本符合新錄用人員的實際情況。

二、調查結果的分析

通過新錄用結構化面試成績和試用期跟蹤測評成績的相關分析，研究結構化面試的信度和效度。

（一）編制相關表，判斷相關關係。

將2002年37位考試錄用國家公務員和機關工作人員的面試成績和試用期跟蹤測評成績，按面試成績的高低排列，編出相關表，如表二所示。

從上述相關表中可以看出，隨著錄取成績的降低，測評成績也有下降趨勢，但不明顯。

（二）畫出相關圖，分析相關趨勢。

以x軸代表新錄用公務員結構化面試成績（自變數），y軸代表新錄用公務員試用期跟蹤調查的測評成績（因變數），將新錄用公務員上述兩項成績的對應數值在座標圖上用點畫出來，以表明相關點的分布狀況，如圖一所示。

圖一中的兩條直線分別代表自變數數列的平均線（即新錄用公務員結構化面試的平均成績：x(—)=70.34分）和因變數數列的平均線（即新錄用公務員試用期跟蹤測評的平均成績：y(—)=78.30分）。以這兩條平均線為標準就可以清楚地看出：有25位新錄用公務員的兩項成績呈正相關（x>x(—)時對應的y>y(—)或x<x(—)時對應的y<y(—)）。有12位新錄用公務員的兩項成績呈負相關（x>x(—)時對應的y<y(—)或x<x(—)時對應的y>y(—)）。加總的結果∑（x>x(—)）（y<y(—)）為正數，表示新錄用公務員試用期能力評估結果與結構化面試成績呈正相關。

從圖一中還可以看出，新錄用公務員的結構化面試成績與試用期能力評估結果的關係，呈線性相關的趨勢。

（三）計算相關係數，研究相關程度。

根據2002年新錄用公務員的結構化面試成績和試用期跟蹤測評成績，計算得：τ=0.41。

相關係數的數值範圍在-1和+1之間，相關係數為負數表示負相關，正數表示正相關。相關係數越接近於1，表示相關關係越強，越接近於0表示相關關係越弱。根據常用四級劃分標準，新錄用公務員的試用期跟蹤測評成績和結構化面試成績的相關係數在0.3～0.5之間，屬低度正相關。

三、調研的結論

調查結果的分析表明：新錄用公務員的結構化面試成績與試用期跟蹤測評成績之間的關係為線性正相關，其相關係數為0.41，屬低度相關。這說明：結構化面試不失為公務員錄用考試的一種主要技術方法，但考試的信度和效度還有待進一步提高。

相關分析使我們對新錄用公務員結構化面試成績和試用期能力評估之間關係的認識由定性進入定量，也為我們分析結構化面試的信度和效度提供了實證。

結構化面試由hall·w·e博士倡導並發展起來，迄今也不過三十多年的歷史。1994年，國家人事部將結構化面試引進到公務員錄用考試中來，1996年開始全面推行。我市1999年鄉鎮機關考錄27人、2002年市級機關考錄37人、2003年市、鎮兩級機關考錄54人，均按省人事廳統一提供的面試題本和實施方案組織結構化面試，並形成了一支60多人的三級面試考官隊伍。幾年來，通過社會公開招考，為市、鎮兩級機關輸送了一大批素質高、能力強的年輕公務員，使我市公務員隊伍結構得到了最佳化。這些公務員的表現得到了用人單位的好評和社會的認可，也為結構化面試的信度和效度提供了實證。

影響新錄用人員結構化面試成績與試用期能力評估結果之間關係的不僅僅有技術因素、而且還有政治、經濟、道德甚至心理的因素。影響結構化面試的信度和效度的因素除了面試技術本身之外，還有考官和考生等諸多因素。

綜上所述，結構化面試仍將是當前大批量招考公務員的首選形式，但需努力提高其信度和效度：一要深入調研省、市、縣三級黨政機關職位的共性特點和個性要求，精心組織工作分析，分級分類編制面試題本，制定科學翔實的基準答案。二要認真總結各地的經驗和做法，制訂統一的面試實施方案。三要切實抓好考官的選拔和培訓，建立起一支素質好、業務精、作風正的考官隊伍。四要吸收國內外面試新技術，不斷創新和完善與考試錄用公務員相匹配的結構化面試方法。