24期基金通訊 — 街坊情 植根新社區
R&D信箱
進行計劃成效評估方法：「改變前後的比較」

今期我們將以基金於2013年開始在各計劃推行的「社會資本成效評估」為例，介紹近年較常用的評估方法 ──「改變前後的比較」。

方法

• 一般會進行兩次評估：第一次會於受訪者參與計劃前進行評估 (簡稱「前測」)，以瞭解受訪者在未參與計劃前各項評估範疇的狀況 (即「基線」 (Base Line) 數據)；第二次則會於計劃完結前或受訪者參與完計劃後進行 (簡稱「後測」)^注1。
• 多以量化研究進行，研究員會預先把評估範疇設計成問卷。受訪者在兩次測試時，均會填寫相同內容的問卷。

例子:	由基金所製作的「社會資本量表」，涵蓋量度社會資本六個範疇的問題。所有直接參加者及義工需在參與計劃首一個月 (前測)及計劃完結前三個月內 (後測)，填寫最少兩次相同的問卷，以比對他們在各項社會資本範疇發展的轉變。

注1. 因應評估的需要，部分評估更會額外設有「中期」評估。

優點

• 由於有「基線」的數據作比較，因此評估結果能夠清楚顯示受訪者參與計劃前後的分別。

例子:	以下例子是基金其中一項資助計劃之受訪者的社會資本發展轉變結果，六項社會資本範疇中，直接參與者及義工於計劃中發展「社會參與」、「信任及團結」及「社會凝聚和包容」的表現較為突出，而此改變更在統計學上獲得確認。 (見下表)

	參與計劃前測試	參與計劃後測試	效度
社會網路及互助和互惠(最高10分)	5.6	5.8	T(83)=-1.886, p=.063
信任及團結(最高10分)	6.9	7.2	T(55)=-2.793, p=.007
社會凝聚和包容(最高10分)	6.3	6.6	T(50)=-3.142, p=.003
社會參與(最高10分)	5.5	6.1	T(129)=-4.734, p=.000
資訊及溝通(最高10分)	5.9	6.0	T(91)=-.328, p=.744
整體社會資本(最高50分)	31.9	32.8	T(25)=-1.439, p=.163

註：p≦.05表示計劃參加者在參與計劃前後的相關社會資本範疇表現，在統計學上有顯著的改變。社會網路及互助和互惠

缺點

• 由於沒有「控制組」(Control Group) (即「沒有參與計劃的人士」)與「實驗組」(即「參與計劃的人士」)的比較，因此評估結果未能反映受訪者如有出現轉變，是基於參與計劃或是其他因素 (例如受訪者生活環境的轉變) 所導致。為此，近年不少評估已加入「控制組」的比對分析，從而更客觀瞭解計劃的成效。

研究及評估其實是很有趣的課題，如果大家有任何疑問，歡迎與基金秘書處研究及發展主任聯繫。