『ルパン三世』シリーズでは、1977年（昭和52年）放送の『ルパン三世』（TV第2シリーズ）から2010年（平成22年）放送の『ルパン三世 the Last Job』まで、二代目として長年にわたり石川五ェ門を演じていた。
『ルパン三世』（TV第1シリーズ）での大塚周夫から引き継ぐ形であったが、起用に際して「ハードな殺気をまとう男から若く甘いイケメンの剣豪へとキャラクターが代わり、声優交代が必要だ」と説明を受けたという[52]。そのため、視聴者から大塚と比較されることへの苦悩もありつつ[53]、演じる際は自身のカラーを出すことに留意したという[54]。
井上は五ェ門について、自身の代表作の一つであり大事なキャラクターで、「人生に有形無形の関りがあった」と発言している[54]。また「（五ェ門は）当初は二枚目だったが、途中からストーリーの都合で性格が一番変化させられることが多いキャラクターとなり、それも作品の深まりと捉え楽しくやることができた」と語っている[54]ほか、少ない台詞の中で存在感を出すことがいつも苦労する[55]と共に、五ェ門を演じる醍醐味でもあったという[56]。
これまで演じた中で思い出深いルパン作品には、『TV第2シリーズ』第112話「五右ヱ門危機一髪」や『ルパン三世 燃えよ斬鉄剣』を挙げている[54][57]。
『ルパン三世 風魔一族の陰謀』でレギュラー声優陣が一新された際は五ェ門役も一時的に塩沢兼人に交代したが、この件については2019年に「（Wikipediaの本項を通読した限りで感じたこととして）声優陣の交替は制作者の反乱である」と評し「残念なのは原作者の厳命を裏切り、声優に極秘だった点だ。セコさが悲しい」と語っている[58]。
原作者のモンキー・パンチが死去した際は「漫画・アニメ界の『巨星墜つ』の感一入です。「ルパン三世」ラストジョブまで33年間大変お世話になりました」とコメントし、報道のあった日はSNSを控え喪に服した[59]。その後、井上が死去した際には長年同シリーズで共演した小林清志が「五ェ門おまえもか！残されたのは不二子ちゃんとオレ次元と二人だけ[注 4]になっちまった。斬鉄剣も泣いている。」と追悼コメントを出している[41]。 『宇宙海賊キャプテンハーロック』の主人公・ハーロックという役はどういう経緯で話が来たのかは分からないが、当時は2004年時点ほどのアニメブームではなく、軽い気持ちで引き受けたという[28]。「あのマンガで有名なハーロックを俺がやるんだ」という気負った感じはなく、「お仕事1本入りました?」のような割と気楽な感じであった[28]。当時、井上も含め多くの大人はアニメ自体に2004年時点ほど魅力を感じておらず、期待もしていなかった[28]。ただし、段々とアニメブームが盛り上がってきて、「これはすごいことになるな」という予感はしていたという[28]。 ハーロックを演じるにあたり、原作のファンにとっては固定したハーロックのイメージがあるので、その期待にこたえられるか不安だったという。役作りでは今までで一番苦労したとのことで、男の悲哀や強さをさまざまな場面、台詞で重層的に表現しなくてはならず、声や口調もそれまでのアニメの主人公と違って派手に叫んだりはせず、抑えて演じたとのことである[60]。 声帯ポリープ切除のため[61]2話分休演しており、全話出演を果たせなかったことについては心残りだと語っている[60]。その一方で、代演を務めた徳丸完には感謝をしており[62]、井上の復帰と続投を決めたプロデューサーの田宮武に関しては「恩人」と語っている[63]。 2001年頃を境にハーロックは演じる機会はなかったが、2014年の『アオイホノオ』の劇中アニメで13年ぶりに、更に5年後の2019年にはゲーム『スーパーロボット大戦T』で再びハーロックを演じたが、前述したとおりこれが井上の遺作になった。同作プロデューサーの寺田貴信は「井上さんは物凄く拘ってハーロックを演じておられ、こちらからOKを出した台詞を自らリテイクされるなど、ご年齢を感じさせないお仕事ぶりでした」と語っている。そして収録後には「この歳になって、またハーロックを演じられるとは思っていなかった。ありがとう」という旨の言葉をもらったという[23]。 2013年には製作者たちが井上のファンであったことから、TBSドラマ『安堂ロイド』に俳優として大物政治家役でゲスト出演、続けて翌2014年にドラマ『家族狩り』にレギュラー出演し、認知症老人の役を演じている[64]。 年齢を重ねてからの実写作品での活躍について井上は、「（それまでハンサムな役が多かったため）僕をイケメンだと思ってくださる方もいて、ずっとプレッシャーでした。この年齢になって、自分の姿で演じることができて本当に嬉しいです」と喜びを語っている[65]。
ハーロック
実写作品