広島藩士、加藤七郎兵衛の三男として広島市大手町（現在の中区大手町）に生まれる。父・七郎兵衛は家禄13石の下級藩士だった。
明治17年（1884年）10月、海軍兵学校7期卒業。明治21年（1888年）11月、海大甲号学生。日清戦争に巡洋艦「吉野」の砲術長として従軍、黄海海戦に大いに活躍した。日露戦争では、連合艦隊参謀長兼第一艦隊参謀長として日本海海戦に参加。東郷平八郎司令長官と加藤参謀長は弾丸あめあられの中、戦艦「三笠」の艦橋に立ちつくし、弾が飛んできても安全な司令塔には入ろうとせず、兵士の志気を鼓舞した。その後、海軍次官、呉鎮守府司令長官、第一艦隊司令長官を経て、大正4年（1915年）8月10日、第2次大隈内閣の海軍大臣に就任。同年8月28日、海軍大将に昇進。以後、加藤は寺内正毅・原敬・高橋是清と3代の内閣で海相に留任。大正10年（1921年（大正10）、ワシントン会議には日本首席全権委員として出席。大正11年（1922年）6月12日、政友会に支持されて組閣。
高橋内閣が政友会の内紛で瓦解したのを受け、元老・松方正義は、過去4代の内閣で海軍大臣を務めた加藤友三郎を第一候補に、野党憲政会総裁・加藤高明を第2候補として推薦した。憲政会は、当時衆議院で100名くらいの議席しかなく、政友会では、加藤友三郎が辞退すれば高橋への大命再降下もあり得ると考えていたが、第2候補が加藤高明であることを知って、大慌てで加藤友三郎と折衝し、政友会党員の入閣を求めず、無条件で支持することを伝えた。こうして加藤友三郎内閣が発足した。内閣は、貴族院の最大会派の研究会から4人、交友倶楽部から3人の閣僚をとったが、交友倶楽部は貴族院における政友会の別働隊であり、このことによって、衆議院での政友会の支持を確保していた。
寺内内閣の時に、ロシア革命への干渉戦争（ロシア革命干渉戦争）として始められたシベリア出兵は、ワシントン会議開催時点で出兵を続けているのは日本だけであった。会議で、日本は条件が整い次第、撤兵することを約束した。内閣は6月23日の閣議で、10月末日までの沿海州よりの撤兵方針を決定し、翌日、政府声明として発表。撤兵は予定通り進められた。残る日露間の焦点は、干渉戦争の中で生み出された極東共和国を日露間の緩衝国とすることと、日本が保障占領していたロシアの北樺太から撤兵することの2点にあったが、前者は、11月15日に極東共和国自体が、ソビエト社会主義共和国連邦（ソ連）に吸収される結果となり、日本の意図は水泡に帰した。
ワシントン会議に全権代表として臨んだ加藤を、各国の記者などはその痩身から「ロウソク」と呼んで侮っていたが、海軍の代表であり八八艦隊計画の推進者でもあった彼が、米国発案の「五五三艦隊案」を骨子とする軍備縮小にむしろ積極的に賛成した事が「好戦国日本」の悪印象を一時的ながら払拭し、彼は一転して「危機の世界を明るく照らす偉大なロウソク」と称揚されたという。
米国案の五・五・三の比率受諾を決意した加藤は、海軍省宛伝言を口述し、堀悌吉中佐（当時）に次のように筆記させた。「国防は軍人の専有物にあらず。戦争もまた軍人にてなし得べきものにあらず。……仮に軍備は米国に拮抗するの力ありと仮定するも、日露戦争のときのごとき少額の金では戦争はできず。しからばその金はどこよりこれを得べしやというに、米国以外に日本の外債に応じ得る国は見当たらず。しかしてその米国が敵であるとすれば、この途は塞がるるが故に……結論として日米戦争は不可能ということになる。国防は国力に相応ずる武力を備うると同時に、国力を涵養し、一方外交手段により戦争を避くることが、目下の時勢において国防の本義なりと信ず。」
加藤内閣が実施した海軍軍縮は、現にある主力艦を沈めたりスクラップ化するほか、海軍軍人の整理・削減、造兵廠職工の大量解雇など本格的なものであったが、反面、条約に規定のない補助艦艇では、拡大強化される面もあった。陸軍でも、将兵・馬匹の整理・縮小、在営期間を短くするなど、兵役期間の短縮などが図られた。当時の陸軍大臣・山梨半造の名をとって山梨軍縮という。
アメリカは、九カ国条約の厳密な履行のために、日本が中国での特殊権益を保有することを認めた石井・ランシング協定の廃棄を要求し、大正12年（1923年）4月14日、協定の廃棄・失効が正式に確認された。ワシントン体制は、原則として、当該条約発効以降に日本を含む加盟国は、新たに中国への優越的な地位を得ることを認めないという一面を持っていた上、日本側は山東省の利権を放棄したので、国内では協調外交への不満が蓄積されていった。
同年2月1日、ソ連のヨッフェ駐華全権代表が、後藤新平日露協会会頭（東京市長）の招きで来日した。加藤も交渉に乗り気で、北樺太問題や尼港事件で予備交渉が続けられたが、ソ連側の代表交代などがあり、その後、日本で関東大震災などが起きたため翌年5月まで延期された。
