父は日本画壇の鬼才と呼ばれた洋画家の上野山清貢[3]。戦時中は福島県三春町に疎開する[6]。

劇団手織座を経て[3][4]、1958年に日活入社[3]。その時に鈴木清順監督から「君はワルに向いている」と言われたことがきっかけで悪役俳優の道へ進む[3]。1959年に映画『昼下がりの暴力』で正式デビュー[3]。『刑事物語 知り過ぎた奴は殺す』『刑事物語 犯行七分前』（ともに1960年）の犯人として準主役を演じ、1965年に日活を離れるまで『流れ者』シリーズなどの日活暗黒街の常連悪役として定着[3]。ニックネームは「ニヒルな殺し屋」[3]。日活を退社後、大映に移り、『眠狂四郎』『女賭博師』シリーズなどに盛んに顔を出す[3]。また、変名で西原儀一監督のピンク映画にも出演している。

大映倒産後の1970年代からは活躍の場を主にテレビに移し、極太のもみあげがトレードマークの悪役俳優として、刑事ドラマや時代劇、特撮などに出演。その濃厚なキャラクターで強烈な存在感を見せた。上野山について、『イナズマンF』で共演した伴大介は「普段は段取りの話をする程度だったが、現場での呼吸はピッタリだった」[9]、『超神ビビューン』で共演した荒木しげるは「（上野山が）中心となって食事や遊びに行ったり、気遣いのおかげで仲良くやれた」[10] とそれぞれ述べている。

1989年、演劇集団「野の会」を結成[3][6]。父・清貢を題材にした『流転』を三百人劇場で公演し、政治家の鳩山一郎を演じた[3]。この頃より老人福祉としての大衆演劇を意識しはじめ、野の会で『将軍の桃園』『中野村の象物語』など中野の史実を題材にした大衆演劇を上演、老人の無料招待を行う[3]。1995年と1999年には、老人のための大衆演劇用劇場建設を公約に中野区議会議員選挙にいずれも無所属で立候補するなど、中野を起点に全国各地に小劇場を作る夢を追い続けていた[3]。また、JR中野駅南口で、パフォーマンススナック「カチンコ」を経営していた[3]。

1999年に、妻の母親の世話のため福島県福島市に転居する[6]。福島市内で居酒屋を経営する傍ら、OV作品にも出演して健在ぶりをアピールし、「福島のコーモンチャマ」として腹話術を使ったトークショーなどを行っている[2]。

2023年1月22日、胃がんのため、福島市の介護施設で死去[5][11]。89歳没。
人物

趣味は、植物育て[1]。特技は、歌[4]、殺陣[1][2]。既婚でニ男あり[3]。
出演
映画

ジャズ娘誕生（1957年、日活） - 通行人

幕末太陽伝（1957年、日活） - 相模屋の客

昼下がりの暴力（1958年、日活） - 山本

影なき声（1958年、日活） - 清水助手

事件記者 深夜の目撃者（1959年、日活） - 司令室警官

事件記者 狙われた十代（1960年、日活） - 徹也

コルトが背中を狙ってる（1960年、日活） - 野原健一

俺は流れ星（1960年、日活） - 醍醐

ある恋の物語（1960年、日活） - ゲン

飢えた牙（1960年、日活） - 税関吏A

借りは返すぜ（1960年、日活） - 五郎

金語楼の俺は殺し屋だ!（1960年、日活） - ハヤブサの留吉

刑事物語 灰色の暴走（1960年、日活） - 黒川

刑事物語 知り過ぎた奴は殺す（1960年、日活） - 須田二郎

刑事物語 犯行七分前（1960年、日活） - 神風

けものの眠り（1960年、日活） - 真木

今夜の恋に生きるんだ（1960年、日活） - 小山淳

情熱の花（1960年、日活） - 秋津省二

野郎! 地獄へ行け（1960年、日活） - 菊田

若い突風（1960年、日活） - 梶

静かな脱獄者（1960年、日活） - 土屋

素っ飛び小僧（1960年、日活） - 石岡

特捜班5号（1960年、日活） - 岡島

早射ち野郎（1961年、日活） - 小平

東京騎士隊 (1961年)

明日に向かって走れ!（1961年、日活） - 丈二

刑事物語 ジャズは狂っちゃいねえ（1961年、東宝） - 高木克彦

機動捜査班 秘密会員章（1961年、日活） - 大宮刑事

高原児（1961年、日活） - 三次

都会の空の非常線（1961年、日活） - 土屋

都会の魔窟（1961年、日活） - ジロウ

波止場気質（1961年、日活） - 健

兇悪の波止場（1961年、日活） - 嶋尾

大森林に向って立つ（1961年、日活） - 吉田健次

無鉄砲大将（1961年、日活） - トメ

無情の夢（1961年、日活） - 北川

野獣の門（1961年、日活） - 矢口

さすらい（1962年、日活）

上を向いて歩こう（1962年、日活） - 歌手

夜霧のブルース（1962年、日活） - 健次（野上組）

青い街の狼（1962年、日活） - 松井

若い爪あと（1962年、日活） - 梶原

激流に生きる男（1962年、日活） - 前田の弟

機動捜査班 無法地帯（1962年、日活） - 高木刑事

機動捜査班 暴力（1962年、日活） - 久夫

姿なき追跡者（1962年、日活） - ジャックの鉄

何か面白いことないか（1963年、日活） - ジャーナリスト

アリバイ（1963年、日活） - 下平

東京五輪音頭（1964年、日活） - 河野コーチ

執炎（1964年、日活） - 則義

俺たちの血が許さない（1964年、日活）

眠狂四郎炎情剣（1965年、大映） - 加倉井耀蔵

紅壺（1965年、センチュリー映画社） - 黒江編集長

続・兵隊やくざ（1965年、大映） - 八木曹長

大魔神怒る（1966年、大映） - 名越勝茂

野良犬（1966年、大映） - 松尾

三匹の女賭博師（1967年、大映） - 鏑木（マネージャー）

ギャングの帝王（1967年、東映） - 林