臺北市立大學教育行政與評鑑研究所教授何希慧:透過校務研究 建立以數據/事證為本的決策模式

【採訪撰稿.許嘉寶、俞子翔】

爲協助大學提升校務專業管理能力,並善用教育資源提高學生學習成效,教育部於2014年規劃辦理「教育部補助大學提升校務專業管理能力計劃」,補助各大專校院設置校務研究(Institutional Research, IR)中心或辦公室。隨着補助計劃的結束,各大學校務研究任務則進一步整合至「高等教育深耕計劃」。經過十年的推廣,臺灣高等教育的校務研究發展現況與面臨的挑戰爲何?校務研究又如何幫助大學進行品保與評鑑?本期評鑑雙月刊邀請臺北市立大學教育行政與評鑑研究所何希慧教授分享其對於臺灣高等教育校務研究的觀察與看法。

問:請問您認爲臺灣高等教育校務研究的發展現況跟挑戰爲何?

答:過去因擔任臺灣校務研究專業協會的秘書長及顧問,長期觀察着臺灣校務研究領域的發展。因此,在探論高等教育校務研究部分,不止於教育部過往如何透過「補助大學提升校務專業管理能力計劃」鼓勵學校設立校務研究中心,近年來更是藉由「獎勵大學教學卓越計劃」、「獎勵私立大學校院校務發展計劃」、「高等教育深耕計劃」等,以及校務評鑑、系所評鑑、師資培育評鑑等扣緊校務研究相關議題。回顧臺灣校務研究的發展途徑,應該瞭解爲什麼大學要做校務研究?以及在校務治理上,校務研究所扮演的角色爲何?

校務研究的本質是希望學校能透過校內外資料庫的整合,型塑一個屬於學校進行校務治理議題分析的數據庫。因此,先進國家政府或大學皆規劃建立自己的教育資料庫,透過長期資訊的蒐集來了解學校各種校務議題的發展情形與影響因素,尤其是透過互動關係人的意見回饋與文本資料探勘,以分析他們對該些議題的看法。多年前曾赴美參加美國校務研究協會(The Association for Institutional Research, AIR)辦理的年會暨研討會中,該年度專題演講即倡議校務研究資訊來源已不僅是數據的收集,亦強調文本資料進行探勘分析的重要性。

整體而言,透過校務研究能讓數據/文本成爲決策者問題探究和解決問題的資訊來源與佐證,再鏈結到校務發展、內控管理及自我課責,引導學校依自身定位與條件提出最適合的校務中長程發展計劃,和爭取競爭型計劃事前現況評估的重要依據。

以教育部校庫所需填報的資料爲基礎 逐步擴增蒐集與校務發展有關的資訊

基本上,校務研究可分爲四個任務面向(表一),首先是「資料管理與技術支援」,即建立資料庫,這部分需要一羣專業人員協助建置,從而蒐集、清理、串流各處室單位的數據資料;有了數據庫才能進行「數據挖掘與分析」,即在完備資料後,由具統計專業分析能力的人進行資料探勘(data mining)或文字挖掘(text mining);也因爲有了數據/文本的資料分析,才能進行「研究與發展」,亦即於數據與文字探勘後,由瞭解學校校務運作與發展的專業人員從所得之數據/文本分析結果進而發現問題、找出原因,並根據探究議題尋求解決方案與相應策略,建立以數據/事證爲本的戰略計劃(strategic planning);最後任務是「外部與內部報告」,除持續檢視解決方案的執行成效外,學校亦透過資訊公開,讓關心辦學績效的內外部互動關係人瞭解辦學品質與成果。

從事校務研究工作最先面對的挑戰就是建立資料庫,且多數大學處室單位都各自建置專屬單位使用的資料庫,故當學校要進行資料串聯或資料庫整並時,即發現各處室所開發的系統因廠商不同而不易連結,導致所謂資料庫整合只是一堆數據資訊的堆疊,或甚至由於資料庫項目不完整而不能進行分析。據瞭解,多數大學的資料庫仍持續在進行資料蒐集、彙整、清理等工作。以美國加州大學(University of California, UC)系統爲例,都花了數十年始能將所有分校的資料清理整合至總辦公室資料庫。所以,若明知學校的資料庫不夠完整、項目不夠周全,甚至缺乏一致的操作型定義,卻還期待校務研究辦公室能從中瞭解現況、釐清問題、甚至提出解決策略實在有些困難,畢竟分析出來的資訊是較無法反映真實狀況的。

因此,面對建立學校資料庫的問題,如果學校不知如何着手,建議可從教育部的「大學校院校務資料庫」與「全國技專校院校務基本資料庫」着手,因爲它們的定義明確,且校務資料庫的資訊亦會於校務評鑑、系所評鑑,甚至競爭型計劃申請時倒入檢核項目中,故以此爲基礎,應對學校是一件較容易上手的開始。

提供未來學術發展規劃培育IR人才 推動專業社羣增能

校務研究面臨的另一個挑戰是專業人員的培育與留任不易。許多大學校務研究辦公室多以博士後研究員身分聘任其擔任校務研究工作,但又常糾結在到底要聘請哪個領域的博士後研究員,是資訊背景、統計背景,還是高教/評鑑領域?其實在校務研究上,沒有人是全方位精通或四大任務皆能熟悉掌握的。尤其是各校條件、資源與氛圍均不相同,即便我們找到一位博士後研究員,但他不懂校內文化與歷史脈絡,即使他知道招生的問題在哪,但他所提出的策略方案多半是「理論性策略」,較無法實際應用在學校問題和解決問題上。因此,以校務研究四個任務來說,學校實不宜期待由一位博士後研究員來完成工作,適時邀請校內師長參與校務研究數據分析和腦力激盪策略發想,應是解決人力不足或所提方案更接地氣的方法之一。

由於校務研究人員的編制多透過計劃來聘用高階人才,一方面升遷不易,再加上博士多期待能朝向學術路徑發展,故博士後研究員一職常成爲進入大學任教前的過渡位置。因此,很早前即有大學疾呼要留住高階知識人才,就必須幫他們規劃好生涯發展;目前已有不少大學,即以助理研究員一職聘任來進行校務研究的工作,助理研究員與博士後研究員的差別在於,助理研究員是可以申請國科會專題研究計劃,有自己興趣的研究議題與經費,應能讓這些高階人力留任意願和投入動機高些。當然,建議各大學都應培養校內人才走進校務研究體系,那樣才能永續發展,而人員編制的經費來源不宜都靠高教深耕計劃補助或研究費用來支應,畢竟校務研究人才養成不易,人員流失對學校而言都是損失。

在校務研究專業人才培育增能部分,過往臺灣校務研究協會有針對IR人員辦理系列性研習工作坊,尤其是校際間組成校務研究專業社羣,各校成員透過社羣的連結與資訊分享,相互討論解決學校面對資料蒐集、議題發想、分析時的資料引用及工作倫理等專業對話,讓不少大學校務研究辦公室的夥伴因專業增能、經驗分享和同儕支持,使這項工作的執行因有陪伴和諮詢而能穩定進行。

運用IR資料 建立以數據/事證爲本的決策模式

問:請問大學校務研究的應用方式爲何?

答:即使學校擁有校務資料庫,並不意味着校務研究能通盤說明校內發生的每件事情,多數大學的校務研究分析提供的是基礎型的現況報告,當迴應競爭型計劃提出的方案與策略時,我發現還是會回到單位處室主管或承辦人員的過去作法或經驗。換言之,學校擬訂要解決的校務研究議題,IR辦公室所提出的分析結果,與後續規劃的改善措施,其關聯性或因果連結似較不高。此外,校務研究議題也會因各校關注焦點、定位功能而有所不同,以研究型大學爲例,如果學校認爲國際排名是帶動學校聲望提升的一個重要策略,那校務研究就會針對教師學術發表、產學合作、國際化等項目,甚至國際排名評比的規準、執行程度及歷年發展等情形進行數據調查與分析,從而規劃精進方案與執行策略。以目前觀察學校應用校務研究制度而言,校內專責單位的設立、人員的編制、IR運用的普及性仍有待加強外,IR功能的彰顯取決於學校對於校務研究的重視程度。

此外,部分大學將校務資料庫置放於圖書館或計算機中心,學校資料皆受到個資法保護,這是優點,但也常聽到校內聲音,例如欲取得資料分析時,個資的定義時有不同解讀,導致部分訊息不準使用。以美國加州大學系統校務研究總辦公室爲例,他們也重視這個問題,因此辦公室內部會檢視刪除能辨識出的資訊項目,並在一定的規範與保護個人資料的情況下進行研究。一些大學目前已有標準化程序的規定,校內研究人員或教師如需什麼資料,就要提出申請,並經內部小組/委員會審覈通過和簽訂保密條款後,始得下載使用。甚至也有大學將資料開放至特定程度,鼓勵教師或學生使用數據/文本資料進行研究,除可幫學校除錯外,亦能從資料分析中找到學校校務治理的問題;亦即藉由有限的資料公開,讓關心校務發展的人有機會和管道來認識學校,找出其永續經營的議題進行探究。換言之,在經過資料庫項目清理和維繫個資保護的情況下,在校內營造更多人利用資料庫來發掘問題、解決問題的校園文化,甚至開授大數據等微學分學程或IR專業課程,讓教師和學生擁有校務研究的概念與應用知能,一同參與加入以數據/事證爲本的校務決策模式。

「以終爲始」 透過評鑑引導學校進行校務研究

問:請問校務研究如何幫助大學進行品保與評鑑?

答:不管是4年一輪還是5年一次的評鑑,評鑑目的之一就是想了解學校這些年來在各評鑑項目的辦學表現、績效成果和自主管理檢核情形。基本上,校務研究提供給評鑑報告的數據多爲長期性發展的描述性統計資料,和數據變化推論的可能原因/理由。准此,校務研究對學校進行品保稽覈或評鑑成果檢視,有一定程度的功能與助益。除學校如何藉由校務研究的數據或佐證來證明其辦學特色外,評鑑單位想知道學校有哪些辦學成果,可在指標後擬出可供佐證的資訊要求,以協助評鑑委員瞭解校務發展情形及其辦理成果。近年來,教育部在尊重各校的定位功能與教育目標下,積極簡化評鑑項目和指標,保留區塊讓學校填寫自己的優勢特色。此時,校務研究正能發揮功能,透過數據或文本的分析結果,協助學校瞭解自己的學術強項與發展優勢,讓各大學不再以同一套標準檢核辦學,而是在共同基礎的辦學要求/條件下,各校應走出自我特色和自主管理的文化氣氛。

校務研究對學校現況分析、問題釐清、策略評估和績效檢視有一定程度的助益。針對尚未周全校務研究制度或資料庫建置的學校,建議可先結合大學校院校務資料庫,依照已提供的校務資料庫資訊進行分析,從中看見自己學校項目內容在歷年來的數據消長與發展趨勢。另一方面,透過品保機構建議學校於各類評鑑應提供的佐證資料,以引導方式讓從事校務研究的同仁有數據分析和議題研發的方向。根據觀察,許多學校已以這種「以終爲始」的概念在引領校內進行校務研究資料蒐集與分析工作,逐步建立自己的校務資料庫。

問:您認爲校務研究的未來發展爲何?

答:從事高等教育研究或與其他國家合作進行跨國比較研究時,最不利資料分析之處在我國資料庫的公開程度與使用限制。以辦學資訊公開爲例,雖然教育部規定大學需將辦學績效相關資訊上傳至校務資料庫或於各校網站進行訊息公開,但以目前各校官網呈現的內容,並非所有學校說明完整。因此,校務研究的未來發展,建議還是回到原點,先完備學校資料庫的建置與應用知能的培訓,最後才能依循學校的能量與資源挹注,務實地進行資料分析、問題發掘和策略規劃。總之,資料庫的內容盤點與串聯工作永遠不嫌晚,因爲從事校務研究需要時間,凡指資料蒐集、人員培訓、方案提出、策略建議,到定期完成內外部稽覈報告等,都是建立在一個較完整且數據正確的資料庫上。