インパクトファクターと引用分析は、一般に分野依存の要因の影響を受けると言われている[29]。また分野間だけでなく、同分野の異なる研究領域間でも比較が無効になる可能性もある[30]。出版後最初の2年間に発生する総引用の割合も、数学および物理科学では1?3％であるのに対し、生物科学では5?8％と、分野によって大きく異なっている[31]。したがって、インパクトファクターを使用して、分野を超えてジャーナルを比較することは困難である。

インパクトファクターは、ジャーナルだけでなくその中の論文を評価するために使用されることがある[32]が、外れ値による影響を大きく受ける。例えば、”A short history of SHELX”というタイトルの論文は、「結晶構造決定の過程でオープンソースであるSHELXプログラム（およびBruker AXSバージョンSHELXTL）を1つ以上利用した際に、汎用的な引用文献として使用できます」という文言があり、実際にこの論文は6,600件以上もの引用を受けた。結果として、この論文を掲載しているジャーナルであるActa Crystallographica Section Aのインパクトファクターは劇的に上昇し、2008年に2.051だったのに対して2009年は49.926となり、ネイチャー（31.434）やScience（28.103）を超えた[33]。一方、Acta Crystallographicaで2番目に引用されている記事は、2008年の引用数は28件のみであった[34]。このような現象が起きうるため、インパクトファクターはジャーナルの指標であり、個々の研究者や機関を評価するために使用すべきではない、という考え方が主流である[35][36][37]。

インパクトファクターのみに基づいて作成されたジャーナルのランキングは、専門家の調査結果から編集されたものと比較して、中程度の相関関係しかない事が示されている[38]。また、科学情報研究所の元研究ディレクターであるAECawkellは、インパクトファクターの基礎となるScience Citation Index（SCI）は、「すべての著者が、自分のテーマに関連する以前の研究のみを注意深く引用し、世界中で発行されているあらゆる科学雑誌が網羅されており、かつ経済的制約がない場合において、完全に機能するだろう」 と述べている[39]。
インパクトファクターに影響を与る編集方針

ジャーナルはそのインパクトファクターを高めるように、編集方針を修正する事ができる[40][41]。たとえば高IFを目指すジャーナルは、一般的に研究報告よりも引用されやすい総説論文が全体を占める割合が高い場合がある[42]。

また、引用される可能性が低い記事（医学雑誌のケースレポートなど）の掲載を拒否する、あるいは（論文中に要約または参考文献を許可しないことによって、Journal Citation Reportsがそれを「引用可能な項目」と見なさないことを期待して）記事の形態を変更させることで、「引用可能なアイテム」の数（つまりインパクトファクター方程式の分母）を制限しようとする場合がある。アイテムが「引用可能」であるかどうかを調整することによって、300％を超えるインパクトファクターの変動が観察された例もある[43]。一方で、このように引用できないと見なされ、したがってインパクトファクターの計算に組み込まれない項目は、しかしながら実際に引用された場合、（簡単に除外できるにもかかわらず）方程式の分子部分に入れることができる。このような現象は、編集コメントと短いオリジナル記事の違いが必ずしも明白ではないため、実際にどの程度IFへ影響を与えているのか、その効果を評価するのは困難である。たとえば、編集者への手紙には、どちらかのクラスを参照している場合がある。

もう1つの、もうすこしあからさまではない戦略としては、論文の大部分（あるいは少なくとも引用数が多いと予想される論文）を、なるべく暦年の初めに発行することである。これにより、それらの論文は引用を収集するためのより多くの時間を得ることができる。必ずしも悪意のあるものとは限らないが、ジャーナルが同じジャーナル内の記事を引用することで、ジャーナルのインパクトファクターが増加することもある[44][45]。

編集方針を超えて、インパクトファクターを歪める可能性のある行為をジャーナルは取ることも可能である。たとえば、2007年に、IF0.66の専門誌であったFolia Phoniatrica et Logopaedicaは、2005年から2006年までのすべての記事を引用した社説を発表し、その影響でそのジャーナルのインパクトファクターが1.44に増加した[46]。しかしながらこの操作の結果、このジャーナルは2008年および2009年のJournal Citation Reportsからは除外されてしまった[47]。

強制引用は、ジャーナルのインパクトファクターを膨らませるために、ジャーナルが記事の公開に同意する前に、編集者が著者に無関係な引用を記事に追加するように強制する慣行である[48]。2012年に発表された調査によると、強制引用は、経済学、社会学、心理学、および複数のビジネス分野で働く5人に1人の研究者によって経験されており、ビジネスやインパクトファクターの低いジャーナルでより一般的である[49]。主要なビジネスジャーナルの編集者は、慣行を否認するための団結表明などをしている[50]が、他の分野では強制的な引用の事例が報告されることがある[51]。
インパクトファクターと品質の相関関係

インパクトファクターは元々、各ジャーナルに掲載された記事の引用数を集計し、図書館員が購読する価値のあるジャーナルを決定するのに役立つメトリックとして設計された。それ以来、インパクトファクターはジャーナルの「品質」と関連付けられるようになり、機関レベルでも研究者や研究者の評価に広く使用されるようになった。したがって、それは研究の実践と行動の舵取りに大きな影響を及ぼすこととなった[52][53][54]。

すでに2010年頃には、国際的な研究助成機関において、インパクトファクターなどの数値指標を品質の尺度と見なすべきではないと指摘している[note 1]。実際、インパクトファクターは高度に操作されたメトリックである[55][56][57]。元々の目的を超えて継続的に広く使用されている理由の一つは、その研究の質との関係ではなく、むしろその計算方法の単純さに起因していると考えられる[58][59][60]。