福岡県福岡市（現在の同市中央区）出身。福岡市立警固中学校[2]、福岡県立福岡中央高等学校卒業[3]。高校ではバスケットボール部で主将を務めバスケットボールで西南学院大学への推薦を受けるも、当時はバスケットボールで生きる道はなく、役者として生きる道を選択する。戸籍上は正扶三（まさふみ）であったが、小学生の頃から「斉加年」と名乗り続け、改名し戸籍上も「斉加年」（1983年）となる[1]。
推薦を断り一浪し、西南学院大学文学部英文科入学。演劇部で演劇に没頭する。1954年には、中退し単身東京へ。松村達雄が創立した劇団五十人劇場に入る。しかし1年あまりで解散。福岡に帰り結婚する。そして1957年に劇団民藝水品演劇研究所に3期生として入る[1][4]。1959年には研究所の廃止を受けて、岡村春彦や常田富士男らとともに、劇団青年芸術劇場（通称・青芸’59?’67）を旗揚げする[1][4]。劇団民藝第三稽古場を無料で使用しての旗揚げであった（後に家賃を払う）。顧問として、劇団民藝の宇野重吉、滝沢修、観世栄夫、福田善之、林光も参加し、別役実のデビュー作の上演するなど、小劇場運動の黎明期の中心であった。青芸とも関わった、評論家の菅孝行はこの劇団について「安保闘争のデモは皆勤だった劇団」と語っている[5]。宇野重吉のアドバイスにより、1964年（1965年とも）に劇団民藝に復帰[1]、2000年に退団するまで37年間、劇団民藝の中心俳優・演出家として60公演に参加した。この間新劇俳優として、演劇鑑賞会の舞台に最も多く出演している。[1][4][6]新劇俳優として、初めて商業演劇の舞台に立ち（'66東宝「ラブ」。有馬稲子、フランキー堺）、森光子との共演舞台も多く、特に「放浪記」は1986年より出演。最後まで森光子と共に舞台に立った。2007年には、地方からの公演要望も多く、「演劇の出前」として、劇団海流座を立ち上げ、代表を務めた[1]。
映像では、繊細な奇人芸術家・善良だが内気なインテリといった役柄を得意としており、特にNHKへの出演は多く、大河ドラマではたびたび大役を演じた。『風と雲と虹と』での国司でありながら将門の乱をたきつける皇族・興世王役での怪演をはじめ、『花神』での桂小五郎役は、本来二枚目人気スターの当たり役なだけに（しかもこのドラマでは準主役的ポジション）、民放や現在のNHKでは考えられない起用であったが、高い知性やリーダーシップと神経質さを併せ持つ桂像を構築して見せた点など、同シリーズでの功績は大きい。
1972年の『明智探偵事務所』では準レギュラー・「博多訛りの」怪人二十面相役を務めた。
善人としての持ち味は山田洋次がよく活かし、『男はつらいよ』シリーズには2度、恋敵役で登板したほか、冒頭夢場面の端役と葛飾の巡査役を兼ねるような形で軽い顔出しを重ねた（実質、準レギュラー）。山田監督の愛弟子・高橋正圀脚本のテレビドラマ『ぼくの姉さん』でも倍賞千恵子の夫となる美術教師として準主演だった（こちらも善良なインテリキャラクターだった）。他に『沖田総司』の近藤勇役、『動乱』の高倉健、吉永小百合に次ぐ三番手ポジションである憲兵役などが映画での大役である。
第1回[7]、第23回[8]紀伊国屋演劇賞（1966年、1986年）、第11回「新劇」演技賞受賞。
役者のほかに絵本作家、絵師としての活動も行っており、ボローニャ国際児童図書展にて、1976年の『魔法おしえます』と1977年の『多毛留』で、2年連続グラフィック大賞を受賞したほど（『魔法おしえます』は子供の部、『多毛留』は青少年の部での受賞。大賞を2年連続で受賞したのは史上初）[1]。角川文庫の夢野久作作品など、表紙やイラストも多く手掛けている。
本文・挿絵とも米倉による著書『おとなになれなかった弟たちに…』は、1987年以来、中学1年生の国語教科書（光村図書）に採用されている[9]。
2014年8月26日、知り合いの結婚式に出席するため滞在していた福岡市のホテルで倒れ、同日午後9時33分、搬送先の同市内の病院で腹部大動脈瘤破裂のため死去[11]。