わずか8年のみの設置であった静岡県立吉原高等学校定時制課程吉永分校（1950年4月設置、1955年4月生徒募集停止、1958年3月廃校）に進学したが、中退。その後、静岡の春日製紙に勤務しながら同僚とハワイアンバンドを組み、ダンスホールで活動した。元々はスティール・ギターを担当していたが、後にベースに転向。当時のバンド仲間に元プロ野球選手の田村満がいる[8]。そもそも音楽を始めた動機は女性にモテたいからであり、父から「食えるわけないから辞めろ」と反対されたとのこと。

1959年にミュージシャンを目指して上京、最初の妻とともに新宿二丁目のアパートで暮らす。ミッキー・カーチスが在籍していたロカビリーバンド「クレイジーウェスト」に参加後、ジミー時田や寺内タケシが在籍していたカントリーウェスタンバンド「ジミー時田とマウンテン・プレイボーイズ」にベーシストとして加わり、立川・横須賀・横田の米軍キャンプで披露していた。

しかし1961年12月31日（日曜日）、巡業の往路で交通事故を起こしたことで所属事務所と関係が悪化し、1962年に「マウンテン・プレイボーイズ」を脱退後、小野ヤスシが在籍していた「桜井輝夫とザ・ドリフターズ」に参加。加藤茶と同時期の加入となった。のちに芸能界を引退しプロモーターに転身した桜井からいかりやにリーダーが交代し「碇矢長一とザ・ドリフターズ」にグループ名を改称。

いかりやリーダー体制を敷いた後、いかりやと対立した小野ら4人がドリフを脱退し、ドンキーカルテットを結成した。1964年に高木ブー、荒井注、石川サダオを加えて、脱退せず残った小山威、加藤茶、綱木文夫との7人で新生ザ・ドリフターズとして活動再開し、直後に小山、石川が脱退。1965年に仲本工事が加入し、その後に綱木が脱退したが、メンバーを補充せず、いかりや・加藤・荒井・高木・仲本の5人体制となった。

綱木脱退直後、ドリフは渡辺プロダクション（ナベプロ）所属となり、ナベプロは当時人気絶頂だったハナ肇とクレージーキャッツの後輩として、大々的に売り出した。ただし、いかりや自身が後に自著のあとがきで「師匠に付いたことはない」と記述している通り、クレージーの直弟子であったわけではない。なお、クレージーとの初対面の時に、クレージーのリーダーであったハナ肇から「いかりや長介」の芸名を与えられ（本名の長一より長介のほうが響きが良いという理由）[9]、以来その芸名で通すことになった。

1966年、ドリフはビートルズの日本武道館公演の前座としてステージに上がり、仲本のヴォーカルで『のっぽのサリー』（Long Tall Sally）を演奏した。

晩年出演したテレビCM（キリン・ラガー）では、エレクトリック・アップライト・ベースを演奏している。その際に撮影されたスチル写真が遺影に使われた。ベースライン自体は、スタジオミュージシャンの渡辺等の手によるものであった。

バンド時代のあだ名は「幡随院長兵衛」をもじって「バンス院長兵衛」。バンスとは、バンドの符丁でギャラの前借り（advanceより）のこと。当時のいかりやは、借金がかさんでいた。長兵衛は本名の長一から。いかりや逝去の際、バンド時代から親交の深かった立川談志が、追悼コメントで「ヤツ（いかりや長介）を今時『長兵衛』と呼ぶのも、もう俺ぐらいしか（=それだけ付き合いが古かった）いないんじゃないかな」と語っていた。
コメディアンとして

ザ・ドリフターズはTBSテレビの『8時だョ!全員集合』や、フジテレビの『ドリフ大爆笑』で大人気となった。

『全員集合』が開始された頃に、山田康雄に演技指導を受けていたというエピソードがあり、それが縁で『ルパン三世』の収録スタジオへ挨拶に行ったり、山田が『全員集合』の冒頭のコントに出演した。また、プライベートで山田と飲みに行くこともしばしばあったという。

『全員集合』の打ち合わせは土曜日の生放送の2日前の木曜日に行われていたが（通称・木曜会議）、いかりやを中心にネタが決められ、いかりやがネタを思いつくまで皆が黙っていることが多かった。他の作家がアイデアを出しても「つまらねぇよ」と却下することも多かった。この事について「彼らのネタは机上でしか考えてない様だったり、面白くてもドリフでは出来ない内容ばかりだった」と著書で述べており、加藤も後に「作家が考えたネタより、自分達で考えた方が観客には受けた」とコメントしている。若手放送作家だった高田文夫は『全員集合』のスタッフとして参加していたが、打ち合わせ時は余りに静かで重い空気に耐えられず、逃げ出した経緯をスポーツ紙の連載に記している。

ドリフのボーヤだった志村けんは「自分の考えたネタをいかりやさんに見せる時が一番緊張した」と、いかりやの没後のインタビューで述べている。いかりやは著書で志村のネタ作りの才能と積極的に提案する姿勢を高く評価しており、ドリフの正式メンバーに昇格させた理由の一つであったと語っている。

『全員集合』での「オイッスー！」「次、行ってみよう」『ドリフ大爆笑』"もしものコーナー"の「だめだこりゃ」などのフレーズがモノマネのネタにされる。特徴であった唇の形もよくネタにされていた。コントでは、抑圧的な憎まれボスというキャラ設定が主で、典型的なツッコミタイプである(『ドリフ大爆笑』の人気コーナー「ばか兄弟」（仲本とのコンビによるコント）シリーズ等でボケを演じることもある)。それに対して、加藤や志村らが反撃に出るといったスタイルで、それをギャグとして取り入れていた。60歳を超えてからも体を張って大量の水を被ったり、金たらいや一斗缶を頭に受ける等の芸風を通した。

ドリフのボーヤには、志村けん、井山淳、すわ親治らがいた。清水キョウイチ郎はいかりやの元弟子を自称していたが、いかりやの関係者から「そんなの知らない」という証言があり、詳細は不明である。尚、清水自身は「『渋谷とんぼ』という芸名を付けてもらう寸前に離れてしまったので、向こうは覚えていないかも知れない。でも当時数十人居たボーヤの中で、そこまで行くのはほとんどいなかった」とコメントしている。

1979年にドリフのマネージャーだった井澤健がナベプロから独立し、ナベプロから暖簾分け（非連結関連企業）の形で「イザワオフィス」を設立。ドリフはイザワオフィス所属となった、ドリフ時代のギャラ配分は、イザワオフィス移籍直後から6（いかりや）：1：1：1：1だったため、メンバーとの衝突も多かったとされ、ネタにもなった。ただし、諸経費等はいかりやのギャラからほぼ全て出していた（メンバーは全員給与の一部より営業などの諸経費を負担していた）ため、実際の取り分は他のメンバーよりもわずかに多かったに過ぎなかったとし、それをネタにしたコントもある。また、高木によると、2人で飲んでいた時の支払いはいかりやの奢りだったという。

私生活では結核を患った妻と1978年7月15日（土曜日）に離婚していた[10]。
俳優・タレント

1985年『全員集合』が放送終了し、俳優としての活動を始めた。1987年のNHK大河ドラマ『独眼竜政宗』で鬼庭左月斎役を演じ注目される。

1990年、黒澤明の新作映画『夢』に出演。第7話「鬼哭」で、放射能汚染で荒野と化した世界を苦しみながら彷徨う1本角の鬼を演じた。

1994年より始まった日本テレビの火曜サスペンス劇場・『取調室』シリーズでは、佐賀県警本部捜査一課の警部補・水木正一郎を演じ、佐賀県の観光振興をするとともに、本人はこの作品をライフワークと語っていた。

1992年?1996年のドラマ版『サザエさん』（フジテレビ）では磯野波平役を演じ、1997年に出演した『踊る大捜査線』の和久平八郎役ははまり役として認知された。

1998年のテレビドラマ『聖者の行進』（TBSテレビ）では物語のキーマンとなる弁護士・宇野淳市を演じ、1999年の『蘇える金狼』（日本テレビ）では主人公の最大の敵となる悪役・茂義賀津夫を演じた。『踊る大捜査線』に続く、若者向けテレビドラマでの好演で、名脇役としての人気が定着する。

2000年2月9日（水曜日）午前4時30分に荒井注が急逝した際には、弔辞を読んだ。弔辞の最後、いかりやは荒井に対して「じゃあいずれ」と締めくくった[11]。

2001年にはTBSの月曜ミステリー劇場『弁護士猪狩文助』シリーズが開始。