第二次世界大戦を経験。7歳頃に甲府空襲で自宅を失い、その影響による栄養失調で乳幼児だった末弟を亡くしている[29][30][31]。このことは「思い出したくない」と長年公表していなかったが、最晩年には戦争体験を語れる世代が減り「戦争をしたがる人、不感症の人が増えてきた」と感じたことから、SNSや講演会で話すことがあった[32][33]。

漫画家になりたかった時期もあり、小学校時代は、家に帰ると、隣の男子と物置きに閉じこもっており、画用紙とペンを持って毎日一生懸命描いていたという[3]。あの頃は手塚治虫がうけていたことから、手塚治虫の模写を一生懸命していたという[3]。

役者になる前は詩人になることを志望しており、学生時代には吉田一穂門下の添田邦裕に弟子入りしたこともある。そのため、日本作詩家協会に所属していたほか、『アニメージュ』で詩の連載をしたこともあった[注 3]。なお、芸名の「真樹夫」は、弟子入りの際名付けられた筆名「真樹岑」（読み同じ）を読みやすく変えたものである[34]。

かつてはフランス映画が好きであり、それが高じて高校卒業後はアテネ・フランセ仏語科に進学していた。同期生にはなかにし礼がいる[35]。

晩年は禅宗の僧となり、慈孝という僧名を持っていた[36]ほか、千葉県内の寺で住職を務めていた[10]。小林清志は羽佐間道夫との対談で井上が「住職の息子」だと発言している[37]が、これについて井上本人は「息子ではない」と否定している[38]。また、長期休暇には山寺に籠もり数日間ひたすら坐禅するなど修行の旅にも出ていた[39]。

趣味は古書収集[40]。読書家であり、小林清志は井上を追悼コメントの中で「なかなかの文学青年だった」と評している[41]。また、パソコンにも造詣が深く、本人曰く「8ビット時代から25台ほどつぶしている」とのこと[42]。

落語家の三遊亭小圓遊は同じ高校の1年先輩であり、演劇部で一緒だったことから親交があった[43][44]。

『ルパン三世』で共演していた栗田貫一は、追悼の際に「いつもいつも優しくしてくれた素晴らしい大先輩でした」とコメントしている[41]。
仕事に対する姿勢

井上がデビューしたころの声優業は、「あいつは吹き替えをやっている」と笑われることもあるなど「舞台俳優が片手間にアルバイト感覚でやっている」という認識が強く、自身も稼ぐために始めたこともあって、しばらくは声優業に否定的な考えを持ちながら行なっていた[8]。だが、アニメや声優がブームになり地位が確立されると、徐々に「やりがいのある仕事」に変わっていったという[3]。また、ブームを支持したファンには「仕事そのものの価値が今までの僕等の価値観ではとらえられないものに変ったんですね。その価値を皆さんが与えて下さったんです」「僕の人生観を変えさせてくれ、わずかではあるけども演技観も変えさせてくれるものだった」と感謝を表している[3]。

「声優である以前に俳優である」という姿勢とポリシーを抱いており、「声優」という呼ばれ方はあまり好ましく思っていなかった[45]。また、そのようにありたいという思想から、1990年代には舞台を敬遠する若手声優に「憤りの感情を抱いている」という主旨の発言をしていた[45]。ただし、晩年の2017年には「確かに昔はそういうことをずいぶん言っていましたけど、今はもうそういうことを言っても仕方がない」とも語っている[46]。

近年の若手声優に対しては「最近は即席の声優がたくさん出てきているが、演技の勉強が根本的に足りていない。もちろん、素晴らしい演技をしている声優はたくさんいる。でも、『これはまだだな』という演技の子も平気で活躍しているのは、あまり良いことではない」と語り、「どこかで聞いたことのあるような、口先の演技が横行していることはどうしても許せない。