2008/2/25

Impact Factor


美國洛克斐勒大學出版社(Rockefeller University Press)的編輯們,與湯姆笙科學公司(Thomson Scientific)展開論戰。一來一往,鬧熱滾滾。

洛克斐勒大學出版社的聲明:連結一連結二
湯姆笙公司的聲明:連結一

論戰的兩造,在學術圈中各有相當的影響力:

──洛克斐勒大學位在紐約市,是個專精在生物醫學領域的私立研究型大學,近年來連續幾年都有該校教授得到諾貝爾獎,堪稱大師匯聚之地。旗下所屬的出版社發行三種學術期刊:《細胞生物學期刊》(Journal of Cell Biology),《實驗醫學期刊》(Journal of Experimental Medicine),以及《普通生理學期刊》(Journal of General Physiology),分別是其所屬領域的傑出重要期刊。

──湯姆笙公司則提供各期刊目錄索引與資料庫的服務。其中最為人們所熟知的,是他們分別挑選各領域的許多期刊,整理出這些期刊中所發表的文章後來被哪些人所引用,並且統計次數,編成科學引用索引(Science Citation Index),社會科學引用索引(Social Science Citation Index),與工程引用索引(Engineering Index)等的資料庫,提供人們查詢。這些正是這幾年來台灣從事學術評鑑時,常被人提起的SCI與SSCI等。

如果湯姆笙公司光去統計或建立文獻相互引用的檢索服務就罷了,但是他們還提供一項統計指標,叫做impact factor (以下簡稱IF) ,試圖計算出各個期刊影響力有多大。論文被引用的次數愈多,IF值就會愈高,表示愈受人重視、愈有影響力。自然而然,IF 被一般人當做衡量期刊好壞的簡單量化標準,而很多人(包括台灣的國科會或教育部或各大學等單位)在聘用或評鑑研究人員的時候,更用他發表論文所在期刊的IF值多大,來計算分數,以量化其研究表現的良窳優劣。所以別小看IF值,這可是會影響到一個走學術路的人的飯碗生計。

IF既然茲事體大,到底是怎麼計算的?以SCI期刊的2007年的IF為例:首先,湯姆笙公司會挑選許多期刊列入SCI的索引,沒被SCI所收錄的期刊,其中的文章與引用就通通不計。然後湯姆笙去統計某一個SCI期刊在2006年與2005年之間所刊登的所有文章,到底在2007年一年中總共被各種SCI的期刊文章引用了多少次。把這個總引用次數當分子,除以該期刊在2006與2005年之間到底刊出了多少「可被引用的文章」,得到的這個商數,就是這個期刊的2007年度IF值。

洛克斐勒大學出版社旗下期刊的總編輯發表聯合聲明,指出這樣計算的不合理之處。首先,這樣計算出的IF值是個平均數(mean),既然是平均,就會受到少數異常大小的數值所影響而產生偏差,無法顯示論文素質的整體均衡或良莠不齊。比方說,光靠少數幾篇特別賣座的論文,就會被特別多人所引用,讓IF值變大。所以三位總編們建議,至少也應當提供中位數(median)或其他衡量引用次數分布離散狀況的統計值才對,不該只用平均值。其次,如果某篇論文因為錯誤疏失或竄改造假等因素而被撤回,那篇論文被引用的次數卻仍然會列入計算。就像南韓科學家黃禹錫那兩篇發表在期刊《科學》(Science)上複製人類胚胎幹細胞文章,雖然名義上已經被撤銷了,但只要被人家提及引用到,仍會讓《科學》的IF值增大。期刊把關不嚴而出錯,但是IF值卻更好,實在不太合理。最後,既然IF值是「被引用數」除以「可引用文章數」,就可以依照這樣的遊戲規則來玩。如果某個期刊大量刊登集各家大成的綜論文章(review),被別人引用的機會當然就大於針對單一特定問題探討的原始文獻,這麼一來計算時當作分子的總引用數就會增大;而到底分母的「可引用文章」又是什麼呢?綜論文章與原始文獻報告當然都是「可引用」的,而有些期刊前面還有學術新聞、政策評論、人物專訪、讀者投書等等,這些就不列入「可引用」的文章,但是有些文章的性質介於綜論與新聞之間,到底算不算可以引用呢?洛克斐勒大學出版社的編輯們發覺,湯姆笙公司沒有統一的標準認定。最明顯的例子是某期刊的IF突然從前一年的7.00變成隔年的11.91,而那個期刊正是去跟湯姆笙公司談判斡旋,讓當作分母的「可引用文章」數目少了將近四成。

前面提及的這些論點大多是老生常譚,之前已被人提及,沒有太大的新意。不過總編們卻提出了另一個問題,也是他們掀起論戰的原因。原來湯姆笙公司的這些統計數據與資料庫是可出售的,洛克斐勒大學出版社於是買了旗下三本期刊以及某些其他期刊的相關統計資料。編輯們說他們的原始動機是想去分析一下到底哪些自家所刊登的文章容易被人引用,也想了解一下競爭對手的狀況。結果他們卻發現拿買來的統計數據自行去計算,所求得的IF值竟然跟湯姆笙公司公佈的不一樣,各項數值都湊不起來。去詢問湯姆笙公司到底怎麼一回事,湯姆笙表示說其實當初計算的是根據粗略統計的數據,賣出去的是後來重新篩選改正錯誤後的新資料,專供後續研究之用。編輯們要求取得當初計算IF值的那套舊資料,湯姆笙給了,但根據第二次交給他們的數據來計算,結果還是與湯姆笙所公布的不一樣。

於是這些期刊編輯們生氣了。他們說,如果做研究的時候實驗結果不能重複,沒再現性,這個結果就是不可信的。而身為科學期刊的編輯,如果審稿人或是讀者,對投稿者的實驗結果有所質疑,他們會要求投稿的原作者提供原始數據,以供分析驗證。湯姆笙公司對於期刊文章的引用次數進行統計分析,發表IF值的排序結果,本質上也是一項學術研究。就算當時計算中間過程的資料沒有存檔,既然過去幾年各期刊們發表的文章與引用的文獻有哪些,都已是既成不變的事實,湯姆笙公司應該可以用同樣方法重新整理一次,得到相同的結果才對。但最後卻非如此。如今提不出符合結論的原始數據,研究的結論竟然也無法重複,這樣的研究報告應該被拒絕才對!

所以,原來當前廣泛通用,以衡量科學發表成果的量化指標,竟然是如此不嚴謹與不科學哪。

5 個意見:

Blogger scipao 提到...

言下之意就是說 Thomson 到底是怎麼算的,他們並沒有交代得很清楚。

這裡有 google pr 運算法的計算方式:
http://www.scimagojr.com/index.php

2008/2/25 上午10:28  
Blogger Vincent Chen 提到...

非常精彩的介紹! 應該把你這篇文章在學術圈大量轉寄

2008/2/29 下午1:42  
Blogger 纖毛蟲 提到...

scipao:
Thomson的計算公式是明確的,只是要代入公式計算的數值是什麼,是透過人為劃分認定的.我想也就是這些認定的部分,容易造成爭議.

不過我比較好奇的是為什麼JCB的編輯拿買來的數值去套入公式自行計算,算出來的跟Thomson的竟然不一樣.

vincent:
謝謝你的誇獎.不過,我這篇主要是採信期刊編輯方面的說法,並沒有對Thomson作「平衡報導」.

2008/2/29 下午9:12  
Blogger arachesostufo 提到...

sarebbe utile una traduzione in inglese. ciao da venice italia

2008/3/16 上午4:58  
Anonymous 匿名 提到...

其實一篇paper被cite 的次數是可以操控的。例如,有很多Review會要求作者要cite他們的paper,經常這樣且惡性循環,某些特定人的paper IF 就很高。

2011/11/27 上午12:09  

張貼留言

訂閱 張貼留言 [Atom]

這篇文章的連結:

建立連結

<< 首頁