1904年（明治37年）に福岡県三潴郡田口村（現、大川市）に生まれた。近くには水の都柳川があり、その風景は後年の『誰か故郷を想わざる』のモチーフになった。7歳で父が死亡、田口村を離れ、朝鮮に渡り感情起伏の激しい少年時代をすごした。故郷喪失の悲しみは「人生の並木路」のモチーフとなったが、最初は仁川に、その後京城で暮らした。従兄弟から大正琴をもらったのもこの頃である。古賀政男が初めてマンドリンを手にしたのは中学三年（京城善隣商業学校）のときで、一番仲のよかった兄からマンドリンを送られた。
京城善隣商業学校を出て大阪の商店に勤めたのち、1923年（大正12年）に東京の駿河台にある明治大学に入学し、明治大学マンドリン倶楽部の創設に参画した。当時の明大マンドリン倶楽部は、ボッタキアーリ、ラウダス、バッチなどのマンドリンの大曲が演奏されていたが、古賀も「幻想的狂想曲」（ロマーノ）の難曲を独奏するなどの活動が見られている。1928年（昭和3年）夏には自殺未遂を図る。蔵王の夕暮れを見て「影を慕いて」の詩が浮かんだと言われている。その年の秋の定期演奏会は明治記念館講堂で開催されたが、このとき佐藤千夜子と知遇を得た。また、このとき「音楽は和也」の理念が生れた。1929年（昭和4年）6月、明大マンドリン倶楽部の定期演奏会で『影を慕いて』(ワルツ・ギター合奏）を発表。その年の暮れには、佐藤千夜子の歌唱とマンドリンオーケストラを率いて、「文のかおり」など自作品をビクターで吹込んだ。1930年（昭和5年）秋には『影を慕いて』をビクターで佐藤千夜子の歌唱によって吹込む。この時は、まだマンドリン・ギター演奏家「古賀正男」だった。1931年（昭和6年）1月、新譜でレコードは発売されたが、売れ行きは芳しくなかった。尚、『影を慕いて』の創作過程については、菊池清麿による古賀政男の研究評伝に詳細に記されている。
大学卒業後の1931年、日本コロムビア専属となった。当初作曲に自信が無く文芸部の社員を希望したが、結局作曲家として契約した。この時、東京音楽学校在籍時の藤山一郎と出会ったが、『酒は涙か溜息か』、『丘を越えて』、『影を慕いて』の3曲がSPレコードで発売され、以降多くのヒット曲を世に出した。（なお、藤山は東京音楽学校卒業後、ビクター専属となる。）
1933年（昭和8年）には、松平晃が歌唱した『サーカスの唄』がヒットしたが、直後離婚騒動などもあり、体を壊し、1933年の晩秋から翌年にかけて伊東で静養した。翌1934年、コロムビアからテイチクに移籍したが、ビクターから迎えた藤山一郎、ディック・ミネ、楠木繁夫、美ち奴などを擁し、『緑の地平線』『二人は若い』『東京ラプソディー』『あゝそれなのに』『青い背広で』『人生の並木路』などの作品はヒット曲となった。
1938年（昭和13年）秋、外務省の音楽文化親善使節として渡米。渡米直前にコロムビアに復帰した。1939年（昭和14年）秋、アメリカNBC放送で古賀の作品が取り上げられた。帰国後は『誰か故郷を想わざる』『目ン無い千鳥』『新妻鏡』『なつかしの歌声』等がヒット曲となった。
戦後の1948年（昭和23年）に近江俊郎が吹込んだ『湯の町エレジー』がヒット。同年には「古賀ギター歌謡協会」(後の古賀ギター学院）を設立した。
1960年代には過去に自らの前で「悲しき竹笛」を歌った、美空ひばりの歌の作曲を手がけた。1965年（昭和40年）発表の『柔』は日本レコード大賞を受賞し、翌1966年（昭和41年）発表の『悲しい酒』もヒット曲となった。
作曲活動の傍らで1959年（昭和34年）には日本作曲家協会を創設。初代会長となった。晩年の1974年（昭和49年）には『広島平和音楽祭』を開催した。
1978年（昭和53年）7月25日に永眠。直後の8月4日、国民栄誉賞を贈られた。
主な作品
丘を越えて（1931年） 歌：藤山一郎
酒は涙か溜息か（1931年） 歌：藤山一郎
私此頃憂鬱よ（1931年） 歌：淡谷のり子
影を慕いて（1932年） 歌：藤山一郎
強くなってね（1933年） 歌：渡辺光子
サーカスの唄（1933年） 歌：松平晃
ほんとにそうなら（1933年） 歌：赤坂小梅
夕べ仄かに（1935年） 歌：松島詩子
緑の地平線（1935年） 歌：楠木繁夫
東京ラプソディ（1936年） 歌：藤山一郎
男の純情（1936年） 歌：藤山一郎
女の階級（1936年） 歌：楠木繁夫
ああそれなのに（1936年） 歌：美ち奴
うちの女房にゃ髭がある（1936年） 歌：杉狂児・美ち奴
青い背広で（1937年） 歌：藤山一郎
人生の並木路（1937年） 歌：ディック・ミネ
のばせばのびる（1937年） 歌：楠木繁夫
青春日記（1937年） 歌：藤山一郎
人生劇場（1938年、1959年） 歌：楠木繁夫（1938年版）、村田英雄（1959年版）
誰か故郷を想わざる（1940年） 歌：霧島昇
なつかしの歌声（1940年） 歌：藤山一郎・二葉あき子
新妻鏡（1940年、1965年） 歌：霧島昇・二葉あき子（1940年）、島倉千代子（1965年）
紫紺の歌（明治大学第一応援歌）（1941年） 歌：霧島昇
そうだその意気（国民総意の歌）（1941年） 歌：霧島昇・松原操・李香蘭
南の花嫁さん（1942年） 歌：高峰三枝子