「私は1955年に最初に雑誌「Science」においてインパクトファクターのアイデアについて言及した。〔中略〕1955年時点では「インパクト」というものがいつの日か大きな論議を巻き起こすものになるとは思い及ばなかった。インパクトファクターは原子力のように有難いようなありがたくないような存在となっている。 誤った方法で乱用されるかもしれないという認識はあったが、その一方で私はインパクトファクターが建設的に用いられることを期待したのである。」[20] インパクトファクターの使用に関しては、多くの批判がなされてきた[21][22][23][24]。2007年の調査では、最も根本的な欠陥は、インパクトファクターが正規分布にならないデータの平均を示していることであり、これらのデータの中央値を示すことがより適切であることが示唆された[25]。ジャーナルの重要性の尺度としてのインパクトファクターの有効性と、編集者がインパクトファクターを高めるために採用する可能性のあるポリシーの効果(すなわち、論文執筆者と論文読者の不利益)についても、より一般的な議論がある。他の批判は、学者、編集者、その他の利害関係者の行動に対するインパクトファクターの影響に焦点を当てている[26]。また、より一般的な批判としては、インパクトファクターの強調は新自由主義政策の学界への悪影響から生じていると主張し、単純にインパクトファクターを科学出版物のより洗練された測定基準に置き換えるだけでなく、研究評価と高等教育における科学的キャリアの不安定さの高まりに関して議論を深めることが必要である、という主張がある[27][28]。 インパクトファクターと引用分析は、一般に分野依存の要因の影響を受けると言われている[29]。また分野間だけでなく、同分野の異なる研究領域間でも比較が無効になる可能性もある[30]。出版後最初の2年間に発生する総引用の割合も、数学および物理科学では1?3%であるのに対し、生物科学では5?8%と、分野によって大きく異なっている[31]。したがって、インパクトファクターを使用して、分野を超えてジャーナルを比較することは困難である。 インパクトファクターは、ジャーナルだけでなくその中の論文を評価するために使用されることがある[32]が、外れ値による影響を大きく受ける。例えば、”A short history of SHELX”というタイトルの論文は、「結晶構造決定の過程でオープンソースであるSHELXプログラム(およびBruker AXSバージョンSHELXTL)を1つ以上利用した際に、汎用的な引用文献として使用できます」という文言があり、実際にこの論文は6,600件以上もの引用を受けた。結果として、この論文を掲載しているジャーナルであるActa Crystallographica Section A インパクトファクターのみに基づいて作成されたジャーナルのランキングは、専門家の調査結果から編集されたものと比較して、中程度の相関関係しかない事が示されている[38]。また、科学情報研究所の元研究ディレクターであるAECawkellは、インパクトファクターの基礎となるScience Citation Index(SCI)は、「すべての著者が、自分のテーマに関連する以前の研究のみを注意深く引用し、世界中で発行されているあらゆる科学雑誌が網羅されており、かつ経済的制約がない場合において、完全に機能するだろう」 と述べている[39]。 ジャーナルはそのインパクトファクターを高めるように、編集方針を修正する事ができる[40][41]。たとえば高IFを目指すジャーナルは、一般的に研究報告よりも引用されやすい総説論文が全体を占める割合が高い場合がある[42]。 また、引用される可能性が低い記事(医学雑誌のケースレポートなど)の掲載を拒否する、あるいは(論文中に要約または参考文献を許可しないことによって、Journal Citation Reportsがそれを「引用可能な項目」と見なさないことを期待して)記事の形態を変更させることで、「引用可能なアイテム」の数(つまりインパクトファクター方程式の分母)を制限しようとする場合がある。アイテムが「引用可能」であるかどうかを調整することによって、300%を超えるインパクトファクターの変動が観察された例もある[43]。一方で、このように引用できないと見なされ、したがってインパクトファクターの計算に組み込まれない項目は、しかしながら実際に引用された場合、(簡単に除外できるにもかかわらず)方程式の分子部分に入れることができる。このような現象は、編集コメントと短いオリジナル記事の違いが必ずしも明白ではないため、実際にどの程度IFへ影響を与えているのか、その効果を評価するのは困難である。たとえば、編集者への手紙には、どちらかのクラスを参照している場合がある。 もう1つの、もうすこしあからさまではない戦略としては、論文の大部分(あるいは少なくとも引用数が多いと予想される論文)を、なるべく暦年の初めに発行することである。これにより、それらの論文は引用を収集するためのより多くの時間を得ることができる。必ずしも悪意のあるものとは限らないが、ジャーナルが同じジャーナル内の記事を引用することで、ジャーナルのインパクトファクターが増加することもある[44][45]。 編集方針を超えて、インパクトファクターを歪める可能性のある行為をジャーナルは取ることも可能である。たとえば、2007年に、IF0.66の専門誌であったFolia Phoniatrica et Logopaedica 強制引用 インパクトファクターは元々、各ジャーナルに掲載された記事の引用数を集計し、図書館員が購読する価値のあるジャーナルを決定するのに役立つメトリックとして設計された。それ以来、インパクトファクターはジャーナルの「品質」と関連付けられるようになり、機関レベルでも研究者や研究者の評価に広く使用されるようになった。したがって、それは研究の実践と行動の舵取りに大きな影響を及ぼすこととなった[52][53][54]。 すでに2010年頃には、国際的な研究助成機関において、インパクトファクターなどの数値指標を品質の尺度と見なすべきではないと指摘している[note 1]。
評価
重要性の尺度としての妥当性
インパクトファクターに影響を与る編集方針
インパクトファクターと品質の相関関係