代表作である『牟田刑事官事件ファイル』シリーズでは1983年10月の第1話から2007年6月の最新話（撮影は2005年8月）まで主役を務めたが、出演期間中の2001年に緊急入院するなど健康状態が危ぶまれた時期があった。また、この時期はNHKの金曜時代劇『山田風太郎からくり事件帖?警視庁草紙より?』出演期間中でもあった。晩年はツーカーの「ツーカーS」のCMに出演していた。

アニメーション作品では、ウォルト・ディズニーの『わんわん物語』で主人公・トランプ、スタジオジブリ制作の映画『耳をすませば』では「地球屋」の主人・西司郎（主人公の恋人の祖父）を演じた。
晩年

2010年3月、小野ヤスシの50周年記念パーティーで祝辞を述べたのが公の場での最後の姿となった。同年7月に軽症肺炎で東京都内の病院に入院して以後は療養生活を送っていたが、同年9月16日午後4時25分、東京都港区の病院で心不全のため死去[4]。86歳没。墓所は富士霊園。

遺作は2009年公開の『星の国から孫ふたり』（園長先生役）であった。また、2010年8月14日にTBS系で放送された『歸國』に出演する予定もあったが、体調が優れず降板していた[5]。

2010年10月24日に東京會舘にて小林のお別れ会が開かれ、発起人には森光子、淡島千景、石井ふく子、八千草薫、仲代達矢、草笛光子、司葉子、津川雅彦、大林宣彦、北大路欣也、古谷一行、中井貴一、槇坪夛鶴子、吉川一義、小谷承靖等がなった。参列した八千草や津川などが小林の思い出話をした。他に三浦友和、浜美枝、黒沢年雄、音無美紀子、かたせ梨乃、紺野美沙子、賀来千香子、地井武男、黒田福美、薬丸裕英が参列している。特に中井貴一が小林に、惜別の思いを語っている。
エピソード
対人関係

石井ふく子が運転免許取得の際に、小林が運転指導したという。石井は小林を兄のように慕っていたという。

森光子とは、映画・テレビドラマ問わず複数共演しているが、『若者よ挑戦せよ』（1968年、東宝）では嫁と舅のかたちで出演[注釈 1]。『せい子宙太郎‐忍宿借夫婦巷談』（1977-1978年、TBS系）と『二人だけの結婚式』（1983年、TBS系）と『拝啓、父上様』（2007年、フジテレビ系）で夫婦役での共演も複数している。（『拝啓、父上様』では、森も小林も特別出演という形で出演）

東宝映画『激動の昭和史 沖縄決戦』で共演した丹波哲郎は、毎日遅刻で現場に入った。これはスターは定刻より遅く現場に入るという風習からの行動であり、スター・システムの東映では日常的な事であったが、ある日ついに共演者の小林から「ここは東宝なんだ、明日からちゃんと定時に来るように」と説教されたという[6][注釈 2]。丹波とは他にも『八甲田山』『連合艦隊』『日本沈没』で共演している[注釈 3]。

中井貴一は、1981年に東宝で公開された小林主演による『連合艦隊』でデビューした。また、1983年に公開された『父と子』では小林の息子役で出演した。当時自身の進路を俳優に決めるか悩んでいた中井を、小林は40日の撮影中毎日夕食に連れ出し「君は顔が不自由だから、顔の仕事は厳しい。就職先なら広告代理店を紹介できるよ」と説いたという。しかし、最終日になると「君には俳優になってもらいたいんだ。アウトローがうける時代が必ず来るから、その逆である王道を歩いてもらいたい」と本音を明かし激励したという。

甥のさいとうあきひこはNHK『ステージ101』にヤング101のメンバーとして出演し、音楽活動を続けていた。

2009年11月20日に青山葬儀所で、葬儀・告別式とファンによる森繁久彌のお別れ会に訪れた際には、「お互い悪口を言いながら楽しんで仕事してきた。そういう楽しみがなくなった」と惜しんでいた。

映画監督の橋本幸治とは、橋本が助監督時代から交友があったことから、橋本の監督作である『ゴジラ』に出演した[7]。小林の長男がゴジラファンであったことから、ゴジラシリーズに出演経験のなかった小林は肩身が狭かったといい、『ゴジラ』の出演を受けて「やっと子供に尊敬される」と述べていたという[7]。橋本によれば、小林は別撮りの会見シーンでも相手の演技を観察して自身の受け芝居を考えていたといい、橋本は当時新人であった沢口靖子に出番が終わっても遊びに出るのではなく、小林のように相手の芝居を見るように教えていたという[7]。