1930年、レニングラードに戻り、レニングラード専門学校にて勉強し、5年後の1935年に卒業した[8]。その後は織物工場職長、工場長として勤務中に大粛清に遭遇する。1938年から1939年までレニングラード市長を務めた。
独ソ戦前後

1939年から1940年まで織物工業人民委員[注釈 2]を務め、以後、軽工業を中心に主に経済関係のポストを歩む。1939年に党中央委員に選出される[6]。1940年、人民委員会議副議長（副首相）となった。大祖国戦争（独ソ戦）においてはソ連国家防衛委員会の委員にもなった[6]。そして、避難評議会副議長としてナチス・ドイツの侵攻に対し、ヨーロッパ・ロシアの企業・工場をウラル山脈以東に疎開させることや[9]、鉄道の安定運行の維持に尽力した。1943年、ロシア共和国人民委員会議議長（首相）に昇進した[6]。

第二次世界大戦終結後は、1946年に党政治局員候補となり、合わせてソ連邦副首相に就任した。1948年2月から大蔵大臣。同年9月4日には党政治局員に昇進した。

コスイギンの後見人であったアンドレイ・ジダーノフが1948年8月に突然死すると、その古くからの政敵だったラヴレンチー・ベリヤとゲオルギー・マレンコフが共謀し、ジターノフ派を排除するようヨシフ・スターリンを説得した結果、粛清が実行された。この際、ジターノフ派のニコライ・ヴォズネセンスキー国家計画委員会議長、アレクセイ・クズネツォフ治安担当書記、そしてコスイギンらが標的となった。粛清に際してはレニングラード事件なる事件がでっち上げられ、ヴォズネセンスキーら数名の共産党員が逮捕・処刑された。一方、コスイギンは軽工業大臣に降格となり、名目上は1952年まで政治局員だった。
フルシチョフ時代

スターリンの死から半年後の1953年9月に工業製品大臣となり、12月にはスターリンの後継首相であるマレンコフの下で閣僚会議副議長（副首相）に復帰した。ニキータ・フルシチョフの権力が優勢になると、1956年にゴスプラン（国家計画委員会）第一副議長に任命された。1957年の反党グループ事件に際しては、フルシチョフを支持した。その理由についてコスイギンは後に「（マレンコフ一派が勝利した場合）血が再び流れると考えたからだ」と述べている。

そして同事件後にフルシチョフが名実共に党・国家の最高実力者となると、コスイギンのキャリアは着実に回復した。1957年6月に副首相に再び就任し（3度目）、政治局から改名された幹部会の会員候補となった。1959年3月にゴスプラン議長。1960年5月4日に閣僚会議第一副議長（第一副首相）に昇進し、同時に幹部会の正会員となった。キューバ危機後には、米ソ関係改善のためのスポークスマン役を演じた。そしてコスイギンは、1960年から1962年にかけて、フルシチョフ、フロル・コズロフ、レオニード・ブレジネフと並び、「ビッグ4」と呼ばれたソ連最有力政治家のうちの一角を占めるようになった。しかし、1962年11月にフルシチョフがゴスプランの管理やコスイギンの経済改革計画を批判した後は、指導部の中枢からは外された。
ソ連邦首相として

1964年10月14日、宮廷クーデターとも言える手段で第一書記兼首相のフルシチョフが失脚した。これに伴い、同年10月に後任の首相に就任した。コスイギンは陰謀とは無縁な潔癖な政治家で、フルシチョフ追放の計画については直前まで知らされていなかった。計画を知らされたコスイギンはKGBがバックにいることを確認した後に計画に賛同した。

コスイギンは第一書記（後に書記長）に就任したブレジネフ、最高会議幹部会議長となるニコライ・ポドゴルヌイ（当初は第二書記）と「トロイカ」と言われる集団指導体制を組む。西側からは当初「ブレジネフ・コスイギン政権」と表現されていた。

1964年10月、ブレジネフはソ連の宇宙飛行士を称える式典の中で党の権限の強化を呼びかけたが、これはブレジネフによるコスイギン追い落とし工作の序章だった。コスイギンは元来よりブレジネフと不仲だった。そして、プラウダなどのソ連の新聞は「非現実的な経済計画を策定した」として閣僚会議とその議長であるコスイギンを批判した。アメリカのジョンソン大統領と（1967年）

コスイギンは主に経済を中心とする内政を担当したが、首相就任後の早い段階で、ブレジネフが党書記長として国を代表して外交権を行使することに異議を唱えた。コスイギンは非共産圏では一般的であるように、政府の長が外交を行うべきであると考えていた。そしてコスイギンが主導して外交を行った結果、ヘンリー・キッシンジャー米大統領補佐官らはコスイギンがソ連の最高指導者であるとみなすようになっていた。デタントの波に乗ってイギリスのハロルド・ウィルソン首相ら西側首脳とも積極的に会談を行い、西側陣営との軍備管理交渉を主導するなど平和的共存を模索した。1967年の第三次中東戦争は米ソ関係の改善をもたらし、米国政府は協力をさらに促進するためにコスイギンをリンドン・ジョンソン大統領との首脳会談に招待した。会談では、両首脳は弾道ミサイル迎撃システムの制限について合意することはできなかったものの、米ソの友好的かつ開放的な雰囲気を醸成することに成功した。1970年8月12日、西ドイツのヴィリー・ブラント首相が訪ソした際には、モスクワ条約に調印し、西ドイツとの関係がさらに改善された。1971年にはロックフェラーら米代表団と会談し、コスイギンは、米ソ関係、環境保護、軍備管理及びその他の問題について自身の見解を示した。

また、1966年にはインド・パキスタン両国を仲介し、タシュケント宣言に署名させるなど第二次印パ戦争の解決に尽力した。さらにフィンランドのウルホ・ケッコネン大統領と緊密な友好関係を築き、冷戦下にあって両国間の活発な貿易を継続することに成功した。1972年にはイラクとの間で友好協力条約を締結し、以前のアブドルカリーム・カーシム政権時のように、バース党とソビエトとの間で強力な関係が構築された。

経済面では、1965年9月には計画・管理面における企業分権化を図る経済改革（コスイギン改革）を推進するが、1960年代末までに改革は頓挫し、ソ連経済は停滞した。また、コスイギンは消費財の増産を主張したが、これに対してブレジネフは側近のコンスタンティン・チェルネンコと共に、レーニンが軽工業よりも農業に関心があったことを引き合いに出し、コスイギンの主張を批判した。