緣起
多年來,大型教育資料庫逐漸受到教育研究人員與決策者的重視,主要是因為大型資料庫能提供充沛的資料,讓其他研究人員從資料中設想議題進行次級分析(secondary analysis)。 這些分析所帶來的成果往往出乎意料地豐富,大大降低研究成本。以美國教育部全國教育統計中心(National Center for Education Statistics (NCES), U.S. Department of Education)在1980 年代所執行的高中及高中後追蹤調查方案(High School and Beyond)為例,其建置的資料庫廣為大眾使用,產出的研究成果非常豐碩,包括專題研究報告、政策分析、期刊論文、博士論文、碩士論文、研究技術報告等(詳情請上http://www.nces.edu.gov 查閱)。另外,此方案為追蹤調查,資料有前後時序之分,先頭的背景與其他資料可設為因,後頭的資料可設為果,讓研究者模擬在自然情境中的教育實驗,其結果非常珍貴。
雖然大型資料庫不全然都是為了追蹤研究而建置的,很多是針對某一群對象做一次性資料收集(cross-sectional studies),但是這些資料對教育評鑑與研究的價值也是眾所周知。比如 IEA 贊助的國際數理趨勢評鑑(Trends in International Mathematics and Science Study - TIMSS) 和 國際閱讀能力評鑑Progress in International Reading Literacy Study (PIRLS) 以及美國 NCES 推動的全國性教育進展評量National Assessment of Educational Progress (NAEP) 和 全國性教師與校長調查National Teacher and Principal Survey (NTPS) 都是很好的例子。這些研究方案每隔幾年會重覆做一次,因此可與先前的資料做比較,進一步檢視其變化,提供相關教育人員及決策者寶貴的資訊。
不過,大型資料庫的建置不是一件易事,需要花費很大的工夫,而且所費不貲。因此,任何大型資料的收集必須要有周詳的規劃、設計與執行,以確保達成其最高價值與品質。為達成此目的,得借鑒前人的經驗與歷程。
本特刊之目的
因此,本特刊的目的在於彙集前人在大型教育資料庫上的設計、執行、與應用的集體智慧。更具體來說,我們想要瞭解樣本及資料收集工具的設計過程與需要考慮的面向與因素,也想要瞭解分析這類資料需要的正確分析方法、新的分析軟體與相關資料運用經驗,以確保分析結果的品質。最後,也希望能更進一步瞭解資料庫該如何建置與傳播,以增進資料的運用。希望此特刊彙集的資訊能讓許多研究人員在運用既有資料和開創新的大型教育資料庫方面能增進興趣與信心。
特刊文章簡介
非常感謝投稿本特刊的作者,雖然有些稿件因為主題或性質不適,未能採用,但有這麼多人投稿此一相對冷門的主題,證明德不孤,必有鄰。相信未來將會有越來越多教育研究人員與決策者支持並促進教育大型資料庫的建置與應用。
本特刊一共刊登五篇文章,第一篇文章標題為Establishing a Comprehensive Large-Scale Data Infrastructure for Educational Research: The Example of the German National Educational Panel Study (NEPA)。 由德國Leibniz Institute for Educational Trajectories(LIfBi)的Jutta von Maurice、Daniel Fuß與Hans-Günther Roßbach共同撰寫。主要在說明建置與傳播NEPA(德國全國性教育長期追蹤調查)資料的歷程。NEPA是德國政府近年全力支持建立的大型教育長期追蹤資料庫。首先介紹NEPA 的學生抽樣設計以及針對學生能力的發展與教育過程的議題選擇的考量,兩者都考慮到相關學習環境與社會平等、正義因素。接下來說明如何建置資料檔,包括資料錯誤檢驗與更正、資料編碼(coding)與變項建構、資料檔案說明書撰寫與資料庫管控、以及資料變項建構等步驟。同時也介紹資料安全保密與傳播措施以及運用方式和未來發展願景。此文對長期追蹤研究方案資料的規劃、設計以及執行程序與策略提供良好的指引與規範。
第二篇文章標題為Data Analyses with IEA’s TIMSS and PIRLS International Databases。作者為TIMSS and PIRLS International Study Center的Pierre Foy與Liqun Yin。一般大規模教育評鑑通常都需要周詳與精密的評量工具、複雜的抽樣設計以及先進的測驗理(item response theory)的應用, 以達成評鑑分析目標。這些設計上的要求增加了分析上的困難,需要使用適當的方法與程序,才能獲得正確的結果。 本文以TIMSS 和PIRLS 為例,闡釋三項必須使用的分析方法: 1)做統計分析時必須使用樣本加權指數(sampling weights)讓樣本回歸原母體群的分佈,以獲得正確可靠的結果。 2)使用特殊方法(the Jackknife Repeated Replication technique)去推算抽樣誤差值(sampling variance)(詳情請見內文)。 3)正確運用個人5項成績推估值(plausible values)來推算學生表現。內文有範例做詳細的示範與說明。
第三篇文章標題為US National Teacher and Principal Survey (NTPS) as a valued resource for teacher and principal studies。由美國內布拉斯加大學林肯分校的Jiangang Xia、西密西根大學的Xingyuan Gao和Jianping Shen共同撰寫。作者先提示說明 NTPS 將取代原先的 Schools and Staffing Survey (SASS), 兩者都是由美國教育部全國教育統計中心執行的方案。因為資料性質大致上相同,所以作者以SASS的文獻來分析NTPS資料的分析潛力。結論是NTPS的資料是非常獨特、豐富的教育研究資源,可用來探討許多教師與校長的議題。目前在許多國家,這些議題常被忽略。因此,作者建議應建置類似 NTPS 的資料庫,並鼓勵多做有關學校教師與校長的研究。
第四篇文章標題為 Challenges and Opportunities for Estimating Effects with Large-Scale Education Data Sets。作者為美國密西根州立大學的Guan Kung Saw和Barbara Schneider。由於大型資料庫有可能用來模擬與實驗相近的情況,而不需運用傳統隨機分派參與實驗者到實驗組與控制組的方法。這種能量使大型資料庫的分析能用來推估教育方案與措施的效果。其結論對於教育決策人員如何做出正確的抉擇有很大的幫助,非常有價值。不過,也有一些挑戰需要克服。本文特別檢視這類效益分析的條件與可能碰到的統計問題。相信本文所呈現的資訊對於欲嘗試運用大型資料進行因果關係分析的研究員應該有啟示與參照之用。
第五篇文章題目是Using R to Analyze International Large-scale Educational Assessment Data。作者為成功大學教育研究所的紀馥安及許清芳。目前處理大型教育資料庫常用的工具大多為商用的統計軟體。其資料管理與分析的流程不易與其他研究者分享,結果也較難被覆驗,以便累積研究成效的信度來幫助指引教育政策的改進方向。 本文提供解決此問題的方法: 以開放軟體R來管理與分析大型教育資料庫的檔案。本文以包括台灣在內一共十五個國家中十五歲學生的數學成就表現和多項影響該表現的相關因素為案例,示範如何運用R 軟體 去管理與分析資料。除了使用R的基本功能之外,還特別嵌入針對處理大型教育資料庫發展的intsvy套件並結合maptools等相關套件,將分析結果呈現在地圖上以利比較。另外,文中提及的檔案管理及資料分析過程,也可使用附錄的R程式碼來複製。
結語
總而言之,上述論文皆直接或間接地說明大型資料庫是珍貴的研究資源,能提供決策者更加正確、可靠的資訊作為決策的依據。不過,大型資料庫需採用複雜的抽樣設計與資料收集方法, 以確保有足夠的樣本數供分析、檢測所有重要的研究對象,也有充分的資料來探討重要議題。另外,這些結構複雜的資料也需要運用一般不常見的統計方法來處理與分析。這些條件與要求往往帶給資料建置與使用者挑戰。所幸這些年來已有許多相當成功的例子。我們可以從這些案例中學習知識與經驗。加上一些分析與測驗方法的研發,應可加速精進大型資料庫的建置與運用。因此,期待在不久的將來,大型教育資料庫的建置與運用將成為一般慣例,大大地提升教育評鑑與研究的品質與成果。