我對「Cheers雜誌EMBA排名」的看法:最受喜愛不等於評價最佳

前陣子談了有關對 Financial Times EMBA排名的看法 (連結),而國內最常見、歷史最悠久、最為人知道的排名,當屬CHEERS雜誌的 "3000大經理人最愛EMBA調查",而對於數字比較敏感、學過統計或是對於問卷調查比較了解的朋友們應該都會知道,問卷的結果會跟如何調查、如何提問有極大的關係,CHEERS的EMBA評比也存在著不同程度的問題,尤其經常讓人誤以為 "最受喜愛的EMBA=評價最好的EMBA",讀者大多只注意排名,並沒有注意到調查中的盲點。

文章非常長,且需要思考,你準備好了嗎?

問題 1:"最受喜愛" 不等於 "評價最佳"!!

早年跟著 "3000大經理人最愛EMBA調查" 的同時,其實還曾做過 "校友滿意度調查",但該部分因為爭議過大,且各校可能透過各種方式動員校友,請校友做出極為正面的評價,導致調查的結果完全失真、失去參考意義,成為各校比拚動員能力的戰場。後來 "校友滿意度調查" 只做到2007年度(2006年12月出刊),2008年度的調查便停止該調查,只留下爭議性較少的 "3000大經理人最愛EMBA調查",中間還有一年沒有做任何的調查。

"3000大經理人最愛EMBA調查" 看似較無爭議,但很多人沒注意到調查背後的問題,一看到這個調查,大多只注意到填答者為3000大企業經理人,每次前幾名都是台大、政大和台科大EMBA,這樣的結果也頗為合理,往往就沒有在細看下去。

"校友滿意度調查" 出來的結果無疑是對學生在就讀後學校EMBA的評價,先不論這些數據是否足夠貼近現實(如同之前提到的,動員學生做出好的評價),但很清楚它是一個類似於顧客在消費後的滿意度的調查;相對來說 "3000大經理人最愛EMBA調查" 發出的對象未必有讀過EMBA (應該說大多沒有讀過EMBA),而既然沒有讀過也就無法給出親身體驗感受後的評價,給的評價只是單純對該校的直接或間接的印象,但其中仍有少數人是該校EMBA畢業的受測者,或是與該校有比較多接觸的人(例如公司有同事就是讀該所學校EMBA),便可以提出所謂的推薦報考評價。所以 "3000大經理人最愛EMBA調查" 的結果雖然也是受測者的評價,但這些評價主要是建立在是否喜歡該所學校、對這些學校的喜好程度,而非真正能代表學校的實際評價和實力。

現在是因為每年的冠軍都是台大EMBA,台大EMBA在最希望就讀、最被喜愛的同時,剛好實力也非常堅強,所以比較看不出問題點,但我舉一個例子中就可以看出它的問題。例如我知道帝寶的房子很好、很貴,我個人也給帝寶豪宅很高的評價(雖然我並沒有住過),但我不會去買數億的豪宅(其實也沒那個錢啦),我最喜歡的其實還是一千萬左右的透天的小別墅。所以若受調查的都是和我同樣想法的人,統計做出來結果,最受歡迎住宅會是小透天,但不代表小透天的評價是高於帝寶豪宅的。這時如果調查名稱被稱之為「2020住宅評價 TOP 2」,小透天排第一名、帝寶只排第二名,這樣的結果會是被大家接受的嗎?我想蓋帝寶、買帝寶和住帝寶的人應該會崩潰吧。

這中間的差異點其實大家都知道,但是偏偏有很多學校會將此數據用於招生宣傳,竟然將 "3000大經理人最愛EMBA調查排名" 直接縮短為 "EMBA評價",而事實上CHEERS對於調查名稱也改變過數次,很難讓人一眼就看清楚這是個怎樣的排名。以下是近幾年該調查的內容和標題的變化:
  1. [2006.12出刊] 2007年度最受喜愛的EMBA TOP 10
    (校友/在校生滿意度調查 + 3000大企業經理人就讀意願 + 校選評價)
  2. [2007.12出刊] 2008年度3000大企業經理人最愛EMBA TOP 10
    (3000大企業經理人就讀意願 + 校選評價)
  3. [2008.11出刊] 無任何調查
  4. [2010.10出刊] 2011年度3000大企業經理人最想就讀EMBA TOP 10
    (3000大企業經理人就讀意願 + 校選評價)
  5. [2011.11出刊] 2012年度3000大企業經理人最想就讀EMBA TOPㄊ 10
    (3000大企業經理人就讀意願 + 校選評價)
  6. [2012.11出刊] 2013年度3000大企業經理人最想就讀EMBA TOP 10
    (3000大企業經理人就讀意願 + 校選評價)
  7. [2013.11出刊] 2014年度3000大企業經理人最想就讀EMBA TOP 10
    (3000大企業經理人就讀意願 + 校選評價)
  8. [2014.11出刊] 2015年度3000大企業經理人最想就讀與最推薦EMBA TOP 10
    (3000大企業經理人就讀意願級推薦報考 + 校選評價)
  9. [2015.10出刊] 2016年度3000大企業經理人最想就讀與最推薦EMBA TOP 10
    (3000大企業經理人就讀意願級推薦報考 + 校選評價)
  10. [2016.10出刊] 2017年度3000大企業經理人最想就讀與最推薦EMBA TOP 10
    (3000大企業經理人就讀意願級推薦報考 + 校選評價)
  11. [2017.10出刊] 2018年度3000大企業經理人最想就讀與最推薦EMBA TOP 10
    (3000大企業經理人就讀意願級推薦報考 + 校選評價)
  12. [2018.10出刊] 2019年度3000大企業經理人EMBA評價調查 TOP 10
    (3000大企業經理人就讀意願級推薦報考 + 校選評價)
基本上,每年都會提這是個 "最想就讀與最推薦" 的排名,但在去年這個標題沒有了,變成 "EMBA評價調查"。而從下述的學校廣告,你也無從判斷到底排名的是學校的評價,還是受歡迎的程度。




上述三所學校EMBA並沒有提到最受喜愛的部分,只提評價,但這顯然和調查的內容沒有完全相符,會讓人以為台大EMBA 13次評價第一、中山EMBA評價第三、台北大學評價第五。然而,這代表的其實比較多的是受歡迎程度,而不是實際的評價;但你也不能指責他們的文宣有誤,因為例如2019的調查CHEERS將調查名稱改為 "EMBA評價調查"。

問題 2:調查的產業別和企業規模,極可能造成獲選學校集中在頂尖國立大學

要知道CHEERS的調查對象是天下雜誌當年度所調查出來的全台3000大企業的經理人 (天下雜誌公布的名單為兩千大,當然他們也有那接著後面這一千大企業名單),同集團的CHEERS雜誌便可以透過這個資料庫做出各種調查,包含:企業最愛畢業生、經理人最愛EMBA等調查。而調查企業排名的方法如下:
透過問卷調查由各公司提供年度財務資料或經由相關主管機關公布蒐集取得相關財務資料,以年營業收入進行排名,製造業排名1350名,服務業排名650名,金融業排名100名;金控業則以年淨收益進行排名。
2018年CHEERS並沒有公布參與調查的經理人基本資料,只說傳統製造業居多,但2017年的有:
所屬產業:傳統製造業35.3%、金融業19.6%、高科技製造業19.4%、一般服務業11.4%、高科技服務業5.1%、其他9.2%
雖然製造業、服務業、金融業已經包含了大部分的產業,但是還有許多適合讀EMBA的人並未包含在這三大產業裡,例如環保醫療產業、營建土木業、零售批發業、創新文創、政府或公務體系等等,都不在調查範圍內,所以評價的觀點僅限於製造業、服務業、金融業這三大產業。

規模方面,既然可以進的了製造業排名1350名、服務業排名650名和金融業排名100名,規模勢必不小,造成主要回答的人應該會以大型企業的經理人居多。其他例如廣大的中小企業主、中小企業主管和專業人員(醫生、律師等)的意見也就完全被忽視了,如此排名下來或許會造成傳統的公私立大學的排名會比較吃香,技職類的學校相對比較吃虧。

尤其,中小企業企業主或高階主管對於教育的需求和EMBA的看法,也可能和前三千大企業的觀點和想法有所不同,尤其對於學歷的看法可能有很大的差異。對於名列前茅的大企業來說,同事間也有競爭問題,我同事是台科大的,那麼我至少也要讀個台科大或台大,才能夠維持競爭力。但對於中小企業主來說,學歷只是其次,有學到實用的東西、結交到有用的人脈才是重點。

問題 3:填答者的所在地點,極可能造成獲選學校集中在北部地區

許多調查 (包含CHEERS雜誌自己的EMBA調查) 都顯示人們在選擇就讀哪一所大學EMBA的首要因素是距離和時間,而如使用2017年的產業數據來看:
所屬產業:傳統製造業35.3%、金融業19.6%、高科技製造業19.4%、一般服務業11.4%、高科技服務業5.1%、其他9.2%
同樣把服務業與金融業相加,達36.1%,製造業將加為54.7%,金融業+服務業對比製造業的比例同樣也將近是1:2。所以雖然製造業較多,但也只佔了六七成,其餘還是金融業和服務業。這樣的數據乍看之下,可能對北部地區的學校得分較為不利 (因為北部地區較少製造業),但事實完全相反。

首先,36.1%的頂尖金融+服務業,只有非常少的比例是在中南部,大多都還是在北部;相反的,製造業散落在各地,且很多製造業也是會把總設立在北部,就算沒有設在北部,北部也幾乎都會有辦公室,而這些人也都還算在製造業的範圍內。所以雖然製造業佔比多但比較分散,金融+服務業占比雖少但卻集中在北部。

簡單來說,造成的結果就是填答者大部分都集中在北部地區,其次為中部和南部的都會區。問題來了,如果距離是大家選擇EMBA的第一因素,那麼參與調查的人大多住北部,調查出來的學校排名也當然會以北部地區為主 (填答人可以選擇1~3所學校做答),這不是很正常合理的嗎!?若大家因為地點因素選擇距離較近的學校、並非真的因為該所校真的比較好,但文章給人的感覺以及各校文宣卻宣稱這些學校的評價很高,這樣不是有點奇怪?

假設南部地區的企業居多,相信調查會變成南部學校拿下最受喜愛的第一名,回到問題1討論過的,最受喜愛的第一名難道就等於評價最好的EMBA嗎?難道就可以取代台大政大等校?我想大家都很清楚這不可能。相對的,要南部的企業去選擇北部的台大,機率也很低,但並不代表台大的做為台灣第一學府的地位消失,只是單純的因為距離太遠的因素。因此我大膽的推估,EMBA評價的地區輪廓,就跟3000大企業經理人的填答者的地理位置輪廓會是一樣的;北部地區的人比較多,北部地區的學校入選的也比較多,也比較受歡迎,但不代表學校的實際評價是比較高的。

此外,從近兩年的票選結構來看,高科技製造業和高科技製造業大多選擇清大和交大,金融和服務業則大多選擇政大和台北大學等學校,因此光是從地點的產業結構就可以看出各校得票的狀況,但得票較多的學校卻宣稱評價較高,我想這調查的原意是完全不同的。

問題 4:地點可能造成某些學校的排名偏高和偏低

台北地區私校排名比較前面的應該是東吳、淡江、輔仁等學校,他們都分別拿過私校排名TOP 5,但是排名始終都排在元智、逢甲和東海之後。我們可以假設填答者為在北部地區,當可以複選3所學校時,填答者可能填的都是國立大學 (因為台北國立大學太多了、而且距離不會差太遠),幾乎不會輪的到私校,即便填寫私校,北部地區也有相當多私校學校可選,因此得票非常分散私校。例如我可能第一票投給台大,第二票投給政大 (或者相反)又或是第一票投給交大,第二票投給清大 (又或者相反),第三票才是投給住家附近的國立或私立大學。

但若位置是在桃園的人,情況則完全不同。比較在乎畢業學校的人,或許願意選擇台大,所以當地唯一的國立大學中央和元智、中原也應該會在三票之內,因此即便桃園的人數不如台北多,但因為在桃園的人的三票內幾乎都會有元智和中原,票源相對集中。

台中的狀況則是上述兩者的綜合,除了當地唯一的國立大學中興以外 (這答案幾乎不會變),第二和第三選擇則集中在東海和逢甲了 (這答案也幾乎不會變),但因為票數比北部少,所以私校排名有可能落後元智和中原。

所以,當我們把私校排名獨立出來看的時候,元智和中原的票數理所當然、很明顯的高於任何一所私校,經常成為私校第一名,而中部地區的私校排名則經常優於北部地區的私校。例如,2017~2019連續3年,北部地區的私校最高只排到私校第5;其他年份最多也都是排第5,比較好的時後也只能排到第3。所以這樣的排名,對於北部地區一些學校來說,變成票源分散、排名偏低的狀況,對於桃園的學校則變成票源集中、排名偏高的狀況,而這都是必然的結果,北部私校可以說是無論做得多好都永無翻身的機會。

或許也會有人會問,在很多大學排名裡,北部私校本來就比元智和中原差,有這樣的結果是合理的。不過,若你將元智中原和逢甲東海做比較,在很多大學排名裡,台中的私校排名都比桃園私校還高,但是CHEERS雜誌的排名卻大多是桃園私校排名在台中私校之上,而據我所知台中私校EMBA也遠比桃園私校活躍許多,關鍵應該就是票源有沒有集中了。

同樣的,對於位處地點較為偏僻、附近企業和人口又少的學校 (例如中正、暨南),無論如何努力都很難進入 TOP 10。回到最早提到的"問題一",比較受歡迎的代表實際的評價是比較的高嗎?在我看來絕對未必如此!

問題 5:一般人幾乎無法給出 "選校評價" 細項的正確評價

調查分兩大只表,一是 "就讀意願及推薦報考得票率",另一個就是 "校選評價"。嚴格上來說,就讀意願及推薦報考得票率比較屬於 "最喜愛" 的部分,而看起來校選評價比較像是一個真正的 "評價" 了,但事實真的是這樣嗎?

選校評價中的細項:
  1. 學校聲譽
  2. 與產業緊密結合具影響力
  3. 師資陣容整齊教學能力強
  4. 任課教師研究能力強在國際其論文發表數多
  5. 課程符合需求與未來潮流
  6. 與國際交流機會多
  7. 歷屆學生素質佳
  8. 主管或同事就讀後推薦
  9. 所處產業同業間口碑好
  10. 就讀地點離工作地點近
雖然我們了解這是企業經理人個人對於一所學校的評價,但是企業經理人未必能夠正確的針對所有的項目做出正確的評價,因為這些項目即便是該校學生也未必瞭解的項目,非該校學生又如何能做出正確的評價,除非真的是該校的校友,否則其分數比較代表的是一個人對於該校的印象分數。

例如項目 4 "任課教師研究能力強在國際其論文發表數多"就很難做出正確評價,原因很簡單,因為幾乎99.9%的企業經理人不會知道某所EMBA裡的某幾位老師的研究或論文有幾篇能上的了正規的期刊。所以,這項目裡我們看到了一間傳統完整的研究型大學的分數竟然會低於一個非研究型的私立學校,也遠低於幾所不太做學術研究的教學型大學等荒謬狀況。

此外,項目1~7都算是可以用來評價一所學校的素質,但是其中項目3,沒有實際上過該校課程的人很難給出正確的評價;沒有仔細研究過各校課程規劃的,也無法給出項目5正確的評價。

不可否認,大多是EMBA學員都希望以 "投注最少資源取得國立大學碩士學位" 作為讀EMBA的目標,因此項目8和9非常容易受到推薦人的影響,未必客觀。例如,某所學校的課業非常多、讓學生學到很多東西的同時很忙碌、感覺有點壓力,若推薦人屬於非常忙碌又不願意投注心力在課業和學習上的人,或許不會推薦這類的學校造成推薦分數偏低;但對於渴望學習,剛好工作壓力又不會太大的人來說,就可能會推薦這類的學校,推薦分數就會提高。總之,這個細項的分數會因為每個人的想法和背景而改變,即便是台大EMBA,2019年度在此細項的分數也只排TOP 10中的第六。

此外,交大一年只有六十多位學生,20年下來粗估約1000位畢業校友,票投交大EMBA的人是否真的都能有主管或同事或同產業的朋友就讀過交大EMBA,個人也感到十分懷疑。若沒有,那麼填答人如何給出這個項目8和9的分數?

問題 6:距離近竟還可以成為評價的一部分

項目10距離竟然算在校選評價裡,個人覺得這更是荒謬。雖然我們都知道讀EMBA第一考量是地點,但距離和學校的素質甚至是反指標,作為評價的一部分實在不合理,更何況不能只因為填答者距離比較近所以獲得推薦了,但是閱讀報告者未必和填答者是為在同一地區,用此作為評價時在匪夷所思。

尤其,填答者可以選擇三所學校,而被選中的學校已經因為地點近而有了獲得票數,校選評價的細項竟然又因為距離獲得高分,非常不合理。我舉個偏激的例子,假設人住在苗栗,那麼他可能會選擇給亞太創意技術學院評分,然後細項裡又給亞太創意技術學院的距離分數就會很高,給台大的分數就會很低。以距離上來說給分的話,會這樣給分是很合理的,但同樣的分數要拿來作為學校的評價分數之一,我想任何人都會覺得這樣的分數不妥吧!

元智大學EMBA發布過新聞稿 "就讀地點離工作地點近的項目名列冠軍",但是元智大學對於這個項目的解讀也有錯誤。"就讀地點離工作地點近" 分數越高對大眾來說其實越是減分的,代表只有元智大學附近的人願意選擇元智,距離遠一點的人並不願意犧牲路程所需的時間和金錢去選擇元智;反觀名聲最好的台大,可以吸引台中甚至高雄的學員搭乘高鐵或駕車就讀。此外,我們從學員同質性來說,學員愈多元其實是愈好的,而學員的地點分佈越小其實同質性越高,距離離愈遠學員多元性越高,所以分數越低其實是越好的,分數越高其實是越差的。

以下我列出近9年取得距離項目分數最高的前幾名:

2018:元智第一、台北大學第二、中央大學第三、台大第四
2017:台北科大與台科大並列第一、台大第六 (元智未進榜)
2016:台科大第一、台北科大第二、台大第七 (元智未進榜)
2015:台北大學第一、台北科技大學第二、台大第五  (元智未進榜)
2014:逢甲第一、台北科技大學第二、台大第八  (元智未進榜)
2013:中興第一、東海第二、台大第九 (元智未進榜)
2012:台北大學第一、中興第二、台大第八 (元智未進榜)
2011:中興第一、政大第二、台大第九 (元智未進榜)
2010:清大第一、元智第二、台大第四

從這裡可以看出,元智只要進到 TOP 10,在距離方面不是第一就是第二,反觀台大每年進榜且總排名不是第一就是第二,但是距離排名多維持在4~9名之間 (平均6.6名);經常與台大爭奪總排名第一的政大,距離排名平均也只有第9名。台大政大這樣的學校,而且還位在人口最密集的台北地區,近9年來TOP 10裡面的距離項目平均也只拿到第6.6和9名,由此就可以看出,距離項目得分高的學校,絕對不等於受歡迎,更不等於評價高。

個人認為對於曾拿過距離項目第一名的學校來說,這其實都是很嚴重警訊,尤其對於拿過兩次以上的第一第二名的學校,更是不該忽視這個警訊。但距離數據卻被調查統計人員 (或者說應該是編輯部) 拿來幫這些不應該被加分的學校加分,嚴重的影響了排名的正確性。

總結

以上洋洋灑灑的列出六大問題,但主要還是圍繞在第一個問題 "最受歡迎不等於評價最高",尤其所謂的私校第一,個人認為造成元智私校第一的不是因為企業經理人給他的評價很高,而單純是因為其他學校因為地點而分散票源所造成的自然現象。

此篇文章不僅是希望閱眾可以了解這中間的差異,不要被失真的排名誤導,也希望做調查的主辦單位可以想辦法改善問卷,讓排名可以更加貼近事實。

[2020-05-30更新]

今年的CHEERS雜誌的EMBA特刊和以往幾年有幾點不同:
  1. 本期雜誌只有推出紙本雜誌,CHEERS網站很晚才上架相關資料和數據,且以往在雜誌推出的同時就會發出相關新聞稿來增加熱度,這些都和以往有很大的不同。

  2. 一所以前從未入榜、實力絕對無法與經常入榜的老牌傳統大學的科大-高雄科技大學竟然成為大黑馬,尤其在校選評價僅次於清大政大排名第3,還超越台大。尤其在「離工作地點距離近」的項目拿下第一,這和我在上面問題6所提出的問題是一樣的,而且高雄科技大學由三所學校合併而來,在高雄有4個校區自然能夠在距離項目拿到高分,反觀同樣在高雄的中山大學只拿到倒數第三的分數(倒數第一第二的是政大和台大)。要知道,距離項目的總平均不過7.85,高雄科大就拿了8.89、第二的元智也有8.6。可見目前這樣的評價機制已明顯出了問題,已經無法呈現給讀者EMBA排名的樣貌。

  3. 專題的最後方提到明年將會有大改版,可以看出連主辦單位都看出這樣的問卷調查是有很大的問題,而希望改版後的問卷可以有所改善。

[2021-01-01更新]

今年才注意到CHEERS雜誌的EMBA調查有一個很大的問題,而這個問題和上述提到的問題2相關,那就是填答問卷的填答者族群問題。

問題2只提到填答問卷者的產業過多集中於製造業、服務業、金融業這三大產業,而且因為問卷對象是三千大企業,所以中小企業的填答者非常少。而這次我發現了一個比這還更嚴重的問題。

在2014年的調查之前,只有管理職的人才能填答這份EMBA問卷,但2015年之後,竟然開放讓非管理職的人來填問卷,且從2019年之後便不再公布填答者的分布資料,但合理懷疑2019和2020的填答分部將和2018年的相仿。


從上述資料中可以看到,當年度992份填答問卷中,管理職0年資的人佔28.2%,而管理職僅有1~5年(這樣的人很難能考上EMBA)也有23.7%,換言之還不適合讀EMBA的人就佔了52%;在看另一個職級數據(上圖最右上角),未擔任管理職佔了36.9%,而基層主管也有39.9%,換言之還不適合讀EMBA的人共佔了76.8% (超過3/4的人);最後在看一項年收入數據,100萬年薪以內的佔了59.6%。

從以上三項數據來看,可說整份問卷主要是由不適合來填答的人所做出的分析和調查,其中大概有1/3根本連「經理人」也不是,另外1/3的人則是還不足以讀EMBA。試問,非管理職的填答找高達36.9%,這樣的問卷還能稱之為「最受企業經理人喜愛的EMBA調查」嗎?

此外,也可以看另一項數據,非管理職及基層主管加起來是76.8%,對照擔任管理職年資來看(10年以下管理職年資共計70.3%),必須擔任管理持超過十年才能算的上是中階主管,而若沒有充足的實務經驗和視野,所做出來的調查結果難道不會走味嗎?

或許就是因為有問題,所以近兩年CHEERS雜誌已不提供填答者的資料分析數據了。而可笑的是,這樣的調查,從填答者、做問卷的方式、到「最受喜愛EMBA」被各校運用成「品質最好EMBA」,這樣的調查數據我們還要再去使用和相信嗎?

這個網誌中的熱門文章

美國德州大學阿靈頓分校竟能與哈佛、麻省理工齊名?

修越多學費越貴的台大EMBA學分班

「讀EMBA不能幹的三件事」之不聽老人言吃虧在眼前