1943年、東京音楽学校予科作曲部(現：東京芸術大学音楽学部作曲科)に合格したものの、乗杉嘉壽校長から呼び出しを受け、受験者全員の入試の成績一覧表を示されて「お前は最下位の成績で辛うじて受かったに過ぎない。大芸術家の倅として、恥ずかしく思え!」と叱責され、衝撃を受けた。橋本國彦に近代和声学と管弦楽法、下総皖一と細川碧に対位法を学ぶ。

1944年10月、学徒動員で徴兵され陸軍戸山学校軍楽隊に配属。東京音楽学校からは伊藤栄一、梶原完、萩原哲昌ら14人の配属者がいたが[4]、芥川は8か月の教育期間を首席で卒業し、教育総監だった土肥原賢二中将から銀時計を賜った。その後、作曲係上等兵として團伊玖磨、奥村一、斎藤高順と共に終戦まで勤務。様々な隊歌や軍楽隊向けの作編曲を行う。

1945年8月に戦争が終わって東京音楽学校に戻ったとき、戦後の人事刷新で作曲科講師に迎えられた伊福部昭と出会い、決定的な影響を受けた。当時の進駐軍向けラジオ放送でソ連音楽界の充実ぶりを知り、ソ連への憧れを募らせた。ソ連の音楽もまた、彼の作風に影響を及ぼす。

1947年に東京音楽学校本科を首席で卒業する。本科卒業作品『交響管絃楽のための前奏曲』は伊福部の影響が極めて濃厚な作品である。伊福部が初めて音楽を担当した映画『銀嶺の果て』ではピアノ演奏を担当した。

1949年、東京音楽学校研究科を卒業する。在学中に作曲した『交響三章』や『ラ・ダンス』もこのころしばしば演奏された。1950年、『交響管絃楽のための音楽』がNHK放送25周年記念管弦楽懸賞に特賞入賞する。このとき、もう一人の受賞者は團伊玖磨だった。同年3月21日、『交響管絃楽のための音楽』が近衛秀麿指揮の日本交響楽団（NHK交響楽団の前身）により初演され、作曲家・芥川也寸志の名は一躍脚光を浴びた。同じ1950年には、窓ガラス越しのキスシーンで有名な東宝映画『また逢う日まで』（監督；今井正）に、ピアノを弾く学生の役で出演する。

1953年に同じく若手作曲家である黛敏郎、團伊玖磨と共に「三人の会」を結成する。作曲者が主催してオーケストラ作品を主体とする自作を発表するという、独自の形式によるコンサートを東京と大阪で5回開催した。同年開催された毎日映画コンクールでは、『煙突の見える場所』が音楽賞を獲得している。

1954年、当時まだ日本と国交がなかったソ連に、自作を携えて単身で密入国する。ソ連政府から歓迎を受け、ショスタコーヴィチやハチャトゥリアン、カバレフスキーの知遇を得て、ついには自分の作品の演奏、出版にまでこぎつけた。当時のソ連で楽譜が公に出版された唯一の日本人作曲家である。中国から香港（当時イギリス領）経由で半年後に帰国する。以後、オーケストラ作品を中心に次々と作品を発表し、戦後の日本音楽界をリードした。芥川也寸志

1956年、アマチュア演奏家たちの情熱に打たれて新交響楽団を結成する。以後、無給の指揮者としてこのアマチュアオーケストラの育成にあたった。1976年、当時としては画期的な、1940年代の日本人作曲家の作品のみによるコンサート「日本の交響作品展」を2晩にわたり行い、その功績を讃えられて翌年には鳥居音楽賞（後のサントリー音楽賞）を受賞した。その後もショスタコーヴィチの交響曲第4番の日本初演を行うなど活発に活動をした。一方で、同団においては一部の作品を除いて自作の演奏をなかなか行わず、ようやく1986年に創立30年記念演奏会を自作のみで行った。

1957年にはヨーロッパ旅行の帰途、インドに立ち寄ってエローラ石窟院のカイラーサナータ寺院で、巨大な岩を刳り貫いて造られた魔術的空間に衝撃を受け、このときの感動から『エローラ交響曲』を作曲、代表作の一つとなった。この頃から、動的な作風の代わりに静謐な作風を模索するようになる（いわゆる「マイナスの作曲論」などに代表される）。この『エローラ交響曲』は、伊福部と同様に若き芥川に芸術観形成で大きな影響を与えた早坂文雄に捧げられた（芥川は修業時代、早坂の許で映画音楽作曲のアシスタントを勤めた）。

1958年6月16日、京都五条の旅館にて松竹映画『欲』のための音楽を作曲中、芥川の部屋に京都大学医学部助教授夫人（35歳）が乱入し、服毒自殺を遂げるという事件が発生する。この女性は芥川に熱烈な思慕を寄せ、一方的に恋文攻勢や待ち伏せ（現在でいうストーカー行為）を繰り返していたが、恐れをなした芥川にきっぱり撥ねつけられ、絶望して覚悟の死を選んだものである。

1959年『Nyambe』が放送初演。『エローラ交響曲』で見せ始めた前衛的な語法が前面に押し出せれ、半音階的趣味、無調性、微分音なども多用されている。

1960年には大江健三郎の台本でオペラ『暗い鏡』を発表。原爆後遺症に苦しむ青年を描いた問題作として話題となった。この作品はのちにテレビオペラ『ヒロシマのオルフェ』と改作される。

1962年には『絃楽のための音楽 第1番』が東京現代音楽祭で初演される。ポスト・ヴェーベルン的な点描様式と日本の間の美学が組み合わされ、その静謐な作品は武満徹に捧げられた。1966年にはこの作品の編成を拡大した「絃楽オーケストラのための『陰画』」を放送初演。自身の「マイナス空間論」と「男と女の性」に関する探求を深めた。

1966年には新交響楽団が労音から独立。この動きはマスメディアにも取り上げられ、社会問題として扱われた。

1967年12月、芥川を中心にアマチュア合唱団「鯨」が創立する。

1967年には、それまでの作風から転換し、再びオスティナートを前面に押し出した作風へ回帰する。その背景には、松村禎三の「頭だけで考えていては何もできない」という言葉があったという。　その後は、「オスティナータ・シンフォニカ」（1967）や「舞踏組曲『蜘蛛の糸』」（1968）、「オーケストラのためのラプソディ」（1971）などを発表。それまでの前衛的手法から徐々に従来持っているオスティナート技法を取り戻していくことになる。　1969年の「チェロとオーケストラのためのコンチェルト・オスティナート」では、徹底的なオスティナートを堅持した作風を披露した。

1977年から1984年まで、NHKの音楽番組『音楽の広場』に司会として黒柳徹子とともに出演した。『音楽の広場』のほかにも、音楽番組のみならず彼はテレビの司会を何度か務めている（テレビ東京『木曜洋画劇場』）。ラジオの分野では1967年より死の前年までTBSラジオ『百万人の音楽』で野際陽子とパーソナリティを務めた。ダンディな容貌とソフトだが明晰な話し方で、お茶の間の人気も高かった。

1978年、第1回日本アカデミー賞で『八甲田山』と『八つ墓村』が最優秀音楽賞と優秀音楽賞を受賞した。

1988年夏、日ソ音楽交流の一環で松村禎三らと訪ソし、ヴァレリー・ゲルギエフの指揮するオーケストラが芥川の『オーケストラのためのラプソディ』などを演奏する音楽祭コンサートに出席する予定だったが、渡航直前の6月、健康診断を受けた際に進行した肺癌が見付かり、東京都中央区の国立がんセンターに入院、手術治療を受け、いったんは成功。退院後は北軽井沢の別荘で静養しながら、なかにし礼の詞による合唱曲『佛立開導日扇聖人奉讃歌“いのち”』の作曲を続けたが、11月に再び病状が悪化し再入院。それまでに合唱パート全てと六分の一ほどのオーケストレーションはできていたものの、残りの完成の遅れを気にかけた芥川は、作曲家仲間の松村禎三と黛敏郎に相談し、黛の弟子で新進作曲家であった鈴木行一に残りのオーケストレーションの完成を依頼。