針對北美研究機(jī)構(gòu)的一項(xiàng)調(diào)查發(fā)現(xiàn)，40% 的研究密集型大學(xué)在其考評文件中提到了有爭議的指標(biāo)——影響因子。

期刊影響因子指「期刊前兩年發(fā)表的論文被引用總次數(shù)除以該期刊在這兩年內(nèi)發(fā)表的論文總數(shù)」。影響因子現(xiàn)已成為國際上通用的期刊評價(jià)指標(biāo)，但是用影響因子判斷一項(xiàng)研究的重要性，甚至進(jìn)而評判研究者的科研能力，是科學(xué)的做法嗎？

影響因子是期刊所有論文引用量的平均數(shù)，它無法體現(xiàn)每一項(xiàng)研究的引用情況。因此高影響因子的期刊表示它有很多引用量高的文章，但無法表示每項(xiàng)研究都是高引用的。

近年來，眾多學(xué)者、科研人員批評以影響因子來進(jìn)行學(xué)術(shù)評估的做法，認(rèn)為這是不公平的。此外，很多大學(xué)教師也在思考如何權(quán)衡科研和教學(xué)，僅把科研作為員工考核、晉升等的主要標(biāo)準(zhǔn)也是不公平的，考核應(yīng)該考慮到研究者在科研之外的貢獻(xiàn)。

然而，目前眾多研究院所仍把影響因子作為學(xué)術(shù)評估和職位晉升的重要指標(biāo)。對北美機(jī)構(gòu)的一項(xiàng)調(diào)查發(fā)現(xiàn)，幾乎一半的研究密集型大學(xué)會在決定人員晉升時(shí)考慮期刊影響因子。

根據(jù)一項(xiàng)對美國和加拿大 129 家機(jī)構(gòu)的 800 多份文件的調(diào)查，大約 40% 注重科研的機(jī)構(gòu)在考評、晉升和任期文件（RPT document）中提及影響因子。

該數(shù)據(jù)表明，很多大學(xué)使用「影響因子」來評估教師表現(xiàn)，而這一指標(biāo)被廣泛批判為一種粗魯、誤導(dǎo)性的科研質(zhì)量評判標(biāo)準(zhǔn)。

英國拉夫堡大學(xué)研究策略經(jīng)理 Elizabeth Gadd 說道：「這表明這些機(jī)構(gòu)或許并沒有正確考慮它們想要什么樣的教師」。

用期刊影響因子衡量影響

期刊影響因子用于衡量過去兩年里發(fā)表在特定期刊的文章平均引用量。出版商通常會在投標(biāo)中用這一數(shù)字來宣傳期刊的質(zhì)量。但是，很多學(xué)者和審查小組將影響因子作為判斷一項(xiàng)研究的質(zhì)量、重要性和聲望，或者評價(jià)發(fā)布這項(xiàng)研究的科學(xué)家的一種快速方法。

這種情況使很多學(xué)者頗受困擾，他們稱影響因子傳播了一種不健康且不利于科學(xué)發(fā)展的研究文化，他們希望大學(xué)在招聘和晉升流程中拋棄這項(xiàng)指標(biāo)。研究表明，影響因子并不太能夠預(yù)測科學(xué)家的科研能力，但尚不清楚招聘者以這種方式使用影響因子指標(biāo)的頻率。

來源：E. C. McKiernan et al. PeerJ Preprints 7, e27638v2（2019）

為了了解其普遍程度，來自墨西哥國立自治大學(xué)的神經(jīng)生理學(xué)家 Erin McKiernan 及其同事收集和分析了來自北美多家機(jī)構(gòu)的 864 份考評、晉升和任期文件，并在 PeerJ Preprints 4 月 9 日刊上發(fā)表了預(yù)印本文章。

他們使用軟件來處理這些文檔，利用工具找到文檔中與影響因子相關(guān)的特定詞匯，他們閱讀文檔子集中的相關(guān)文章，以了解這些機(jī)構(gòu)如何使用以及為何使用該指標(biāo)。

不到 1/4 的機(jī)構(gòu)在此類文檔中提及影響因子時(shí)，會使用一個(gè)意義相近的詞，比如「高影響力期刊」（high impact journal）。但是在 57 所研究密集型大學(xué)中，這個(gè)比例上升到了 40%。與之相反，授予碩士學(xué)位的大學(xué)中僅有 18% 的學(xué)校提到期刊影響因子（詳見上圖）。

在非常注重研究的大學(xué)中，這一比例超過 80%，這些文檔中的語言鼓勵在學(xué)術(shù)評估中使用影響因子。這些機(jī)構(gòu)中僅有 13% 對于該指標(biāo)使用了審慎的詞匯。這類語言還可能表示高影響因子與更好的研究相關(guān)：61% 的機(jī)構(gòu)將影響因子作為衡量研究質(zhì)量的標(biāo)準(zhǔn)，35% 的機(jī)構(gòu)表示它能夠反映研究的影響力、重要性或意義。

舉例來說，中佛羅里達(dá)大學(xué)健康管理和信息學(xué)系的文檔中出現(xiàn)如下句子：

發(fā)表研究的質(zhì)量和數(shù)量很重要。衡量質(zhì)量的一般標(biāo)準(zhǔn)包括論文發(fā)表在高排名期刊和研究的引用量。

類似地，佛蒙特大學(xué)文理學(xué)院的相關(guān)文檔中表示：

學(xué)術(shù)研究發(fā)表在核心期刊和學(xué)術(shù)出版社上，通常可以表明該研究的重要性。

冰山一角

「現(xiàn)在我們擁有一些數(shù)據(jù)來展示學(xué)術(shù)評估的過程。」McKiernan 表示。她認(rèn)為在此類文檔中明確使用影響因子的機(jī)構(gòu)比例可能更高，她表示這項(xiàng)研究的結(jié)果可能只是「冰山一角」。

她補(bǔ)充道，學(xué)術(shù)評估過程中可能存在更多與影響因子間接相關(guān)的詞匯，比如「核心期刊」（top-tier journal）或「高排名期刊」（high-ranking journal）。

與期刊影響因子相關(guān)的詞匯分類圖。上圖將 RPT 文件中與期刊影響因子相關(guān)的詞匯分成了三類：最內(nèi)環(huán)是直接表示期刊影響因子的詞匯；中間是一定程度上表示期刊影響力的詞匯；最外環(huán)是間接但可能表示期刊影響因子的詞匯。該研究主要給予最內(nèi)環(huán)和中間環(huán)的詞匯進(jìn)行。

帝國理工學(xué)院結(jié)構(gòu)生物學(xué)家 Stephen Curry 表示，對于大學(xué)來說，提出員工評估的新方法至關(guān)重要。「應(yīng)該基于研究來評判研究者，而不僅僅是他們在哪里發(fā)表文章。同時(shí)還需要對他們在研究文章發(fā)表之外的貢獻(xiàn)給予認(rèn)可。」

如何改進(jìn)學(xué)術(shù)評估和 RPT 過程？

期刊影響因子與質(zhì)量之間缺乏必然的聯(lián)系，以及學(xué)術(shù)社區(qū)普遍把二者聯(lián)系起來的行為，使得挑戰(zhàn)期刊影響因子的行為和提議越來越多，他們希望學(xué)術(shù)社區(qū)能夠負(fù)責(zé)任地使用評估指標(biāo)，進(jìn)而改善學(xué)術(shù)評估。

其中，最著名的項(xiàng)目莫過于《舊金山科研評估宣言》(DORA)。DORA 指出期刊影響因子的諸多局限性，并建議對科學(xué)家學(xué)者及其研究進(jìn)行評估時(shí)不要使用期刊影響因子，尤其是不要將其作為「衡量單個(gè)研究文章質(zhì)量的替代性指標(biāo)」。DORA 建議機(jī)構(gòu)

「明確員工招聘、任期和晉升決策的標(biāo)準(zhǔn)，強(qiáng)調(diào)論文的內(nèi)容要比發(fā)表指標(biāo)或期刊地位重要得多，尤其是對早期研究者來說。」

目前，全世界已有 1200 多家組織和接近 14000 個(gè)人簽署了 DORA。

此外，高校圖書館也是促進(jìn)負(fù)責(zé)任評估指標(biāo)的主力軍。一些高校圖書館制作在線指南，幫助學(xué)校教師了解如何正確使用不同的指標(biāo)（包括期刊影響因子），這些學(xué)校包括杜克大學(xué)醫(yī)學(xué)中心圖書館和檔案館（Medical Center Library & Archives）、伊利諾伊大學(xué)香檳分校圖書館、薩里大學(xué)圖書館、約克大學(xué)圖書館。圖書館還為教師提供文章發(fā)表和文獻(xiàn)計(jì)量學(xué)方面的個(gè)人咨詢和訓(xùn)練。

一些圖書館還領(lǐng)導(dǎo)了相關(guān)的大型活動。大學(xué)和研究圖書館協(xié)會（Association of College & Research Libraries，ACRL）開發(fā)了一個(gè)用于評估期刊的學(xué)術(shù)通訊工具包（Scholarly Communication Toolkit），提出多種方式來評估期刊質(zhì)量。歐洲研究型圖書館協(xié)會（LIBER）建立了 Working Group on Metrics。MyRI 項(xiàng)目（Measuring your Research Impact）由三所愛爾蘭高校圖書館聯(lián)合成立，旨在提供關(guān)于文獻(xiàn)計(jì)量學(xué)的開放教育資源。

學(xué)術(shù)生活艱苦，得到公平合理的評價(jià)是極大的慰藉。期待學(xué)術(shù)評估和機(jī)構(gòu) RPT 過程更加客觀科學(xué)，重視研究本身和研究者本人的貢獻(xiàn)。