インパクトファクターはWeb of Scienceに収録される雑誌の3年間のデータを元に算出する。そのため、第1巻第1号からWoSに索引付けされた新しいジャーナルについては、2年間の索引付け後にインパクトファクターを受け取ることになる（この場合、二年前（すなわち発行開始以前）の出版物については、出版数0引用件数0としてインパクトファクターが計算される）。また、第1巻以降の途中の巻号からWoSに索引付けされたジャーナルについては、3年間の索引付けがされるまで、インパクトファクターを取得できない。ただし時折JCRは、部分的な引用データに基づいて、索引付けが2年未満の新しいジャーナルにもインパクトファクターを割り当てることがある[12][13]。年度出版物やその他の不規則な出版物は、特定の年にアイテムを出版しないことがあり、カウントに影響を与える。また、インパクトファクターは2年に限らず、任意の期間で計算することができる。たとえば、JCRには5年間インパクトファクター（five-year impact factor）も含まれている。これは、特定の年のジャーナルへの引用数を、過去5年間にそのジャーナルに掲載された記事の数で割ることで計算される[14][15]。
使い方

ジャーナルインパクトファクターは、ジャーナル自体の評価だけではなく、個々の記事や研究者の評価のためにもよく使用される[16]。インパクトファクターのこの使用方法は、Hoeffelによって以下のように要約されている[17]。

インパクトファクターは、記事の品質を測定するための完璧なツールではありませんが、これ以上優れたものはなく、すでに存在しているという利点があるため、科学的評価に適した手法です。経験によれば、各専門分野で最高のジャーナルは、記事を受け入れるのが最も難しいジャーナルであり、これらはインパクトファクターの高いジャーナルです。これらのジャーナルのほとんどは、インパクトファクターが考案されるずっと前から存在していました。インパクトファクターを品質の尺度として使用することは、私たちの専門分野で最高のジャーナルの各分野で私たちが持っている意見とよく一致するため、広く普及しています。…結論として、一流のジャーナルは高レベルの論文を発表しています。したがって、それらのインパクトファクターは高く、逆ではありません。

しかしながらインパクトファクターは本来、記事レベルや個人レベルの指標ではなく、ジャーナルレベルの指標であるため、この使用法については議論の余地がある。例えばGarfieldは、Hoeffelに同意しているが[18] 、「単一のジャーナル内の記事ごとに[引用の]幅広いバリエーションがある」ため、「個人の評価における誤用」について警告をしている[19]。ガーフィールドはインパクトファクターに対する誤解に対して、次のように述べている。

「私は1955年に最初に雑誌「Science」においてインパクトファクターのアイデアについて言及した。〔中略〕1955年時点では「インパクト」というものがいつの日か大きな論議を巻き起こすものになるとは思い及ばなかった。インパクトファクターは原子力のように有難いようなありがたくないような存在となっている。 誤った方法で乱用されるかもしれないという認識はあったが、その一方で私はインパクトファクターが建設的に用いられることを期待したのである。」[20]
評価

インパクトファクターの使用に関しては、多くの批判がなされてきた[21][22][23][24]。2007年の調査では、最も根本的な欠陥は、インパクトファクターが正規分布にならないデータの平均を示していることであり、これらのデータの中央値を示すことがより適切であることが示唆された[25]。ジャーナルの重要性の尺度としてのインパクトファクターの有効性と、編集者がインパクトファクターを高めるために採用する可能性のあるポリシーの効果（すなわち、論文執筆者と論文読者の不利益）についても、より一般的な議論がある。他の批判は、学者、編集者、その他の利害関係者の行動に対するインパクトファクターの影響に焦点を当てている[26]。また、より一般的な批判としては、インパクトファクターの強調は新自由主義政策の学界への悪影響から生じていると主張し、単純にインパクトファクターを科学出版物のより洗練された測定基準に置き換えるだけでなく、研究評価と高等教育における科学的キャリアの不安定さの高まりに関して議論を深めることが必要である、という主張がある[27][28]。
重要性の尺度としての妥当性

インパクトファクターと引用分析は、一般に分野依存の要因の影響を受けると言われている[29]。また分野間だけでなく、同分野の異なる研究領域間でも比較が無効になる可能性もある[30]。出版後最初の2年間に発生する総引用の割合も、数学および物理科学では1?3％であるのに対し、生物科学では5?8％と、分野によって大きく異なっている[31]。したがって、インパクトファクターを使用して、分野を超えてジャーナルを比較することは困難である。

インパクトファクターは、ジャーナルだけでなくその中の論文を評価するために使用されることがある[32]が、外れ値による影響を大きく受ける。例えば、”A short history of SHELX”というタイトルの論文は、「結晶構造決定の過程でオープンソースであるSHELXプログラム（およびBruker AXSバージョンSHELXTL）を1つ以上利用した際に、汎用的な引用文献として使用できます」という文言があり、実際にこの論文は6,600件以上もの引用を受けた。結果として、この論文を掲載しているジャーナルであるActa Crystallographica Section Aのインパクトファクターは劇的に上昇し、2008年に2.051だったのに対して2009年は49.926となり、ネイチャー（31.434）やScience（28.103）を超えた[33]。一方、Acta Crystallographicaで2番目に引用されている記事は、2008年の引用数は28件のみであった[34]。このような現象が起きうるため、インパクトファクターはジャーナルの指標であり、個々の研究者や機関を評価するために使用すべきではない、という考え方が主流である[35][36][37]。

インパクトファクターのみに基づいて作成されたジャーナルのランキングは、専門家の調査結果から編集されたものと比較して、中程度の相関関係しかない事が示されている[38]。また、科学情報研究所の元研究ディレクターであるAECawkellは、インパクトファクターの基礎となるScience Citation Index（SCI）は、「すべての著者が、自分のテーマに関連する以前の研究のみを注意深く引用し、世界中で発行されているあらゆる科学雑誌が網羅されており、かつ経済的制約がない場合において、完全に機能するだろう」 と述べている[39]。
インパクトファクターに影響を与る編集方針

ジャーナルはそのインパクトファクターを高めるように、編集方針を修正する事ができる[40][41]。たとえば高IFを目指すジャーナルは、一般的に研究報告よりも引用されやすい総説論文が全体を占める割合が高い場合がある[42]。

また、引用される可能性が低い記事（医学雑誌のケースレポートなど）の掲載を拒否する、あるいは（論文中に要約または参考文献を許可しないことによって、Journal Citation Reportsがそれを「引用可能な項目」と見なさないことを期待して）記事の形態を変更させることで、「引用可能なアイテム」の数（つまりインパクトファクター方程式の分母）を制限しようとする場合がある。アイテムが「引用可能」であるかどうかを調整することによって、300％を超えるインパクトファクターの変動が観察された例もある[43]。