1898年11月23日にロシア帝国のオデッサで、ユダヤ系（カライ派）農民の家庭に誕生する。12歳で学校をやめ、農民やメッセンジャーボーイとして働いた。1914年に第一次世界大戦の勃発と共にロシア軍に志願し、機関銃手となる。負傷や上等兵への昇進を経て、ロシア・フランス派遣軍の一員としてフランスに赴く。1917年の10月革命に同調したため、フランス当局に逮捕された。1919年8月にロシアに戻ると赤軍に投じ、ロシア内戦の終結まで極東でコルチャーク軍との戦闘に従事した。

1926年にソビエト連邦共産党に入党した。1927年に大隊長となり、フルンゼ軍事大学で学び、1930年に卒業した。第2騎兵師団参謀長、師団長を歴任し、4年間の参謀本部勤務の後にベッサラビアで騎兵軍団長に就任した。スペイン内戦では共和国軍の軍事顧問を務め、「マリーノ大佐」と呼ばれていた。その後少将に昇進し、フルンゼ軍事大学教官となる。
第二次世界大戦

第二次世界大戦中の1941年にオデッサ軍管区の第9独立軍第48軍団長に任命される。同年6月の独ソ戦開始後、8月には南部戦線で第6軍・12月から第12軍の指揮を執った。1942年には第2親衛軍を指揮し、スターリングラードの戦いでドイツ軍を破った。この戦いが終結した後の1943年2月から上級大将に昇進して南部戦線司令官となり、さらに戦局の推移に伴い、南西戦線・第2ウクライナ戦線・第3ウクライナ戦線を指揮し、ルーマニア・ハンガリー・スロバキアへの突破に成功した。1944年9月にソ連邦元帥に列せられ、ルーマニア軍の降伏を受け入れた。1945年4月に連合国のルーマニア管理委員会委員長を務めた。

1945年8月にザバイカル戦線に異動となり、日本軍との戦いに従事した。
戦後彭徳懐と

終戦後、ザバイカル軍管区司令官。1946年より最高ソビエト代議員。1947年にソ連極東軍総司令官に就任。朝鮮戦争の際は中国人民解放軍や朝鮮人民軍と緊密な連携を持った。1954年に極東総軍が解散したため極東軍管区司令官に転じる。

1956年3月にイワン・コーネフの後任として陸軍総司令官・国防第一次官（副国防大臣）に就任。翌年にゲオルギー・ジューコフの後任として国防大臣に就任した。1959年にロシア共和国最高会議代議員を兼任した。1952年には党中央委員会委員候補、1956年に中央委員会委員に選出された。晩年は糖尿病と心臓の持病に苦しみ、国防大臣に在任したままモスクワで死去した。

@media screen{.mw-parser-output .fix-domain{border-bottom:dashed 1px}}死後顕彰のため戦車学校やオデッサ市議事堂に彼の名が冠せられた。ライサ夫人との間に三男一女がいる。[要出典]。
顕彰ソ連邦英雄2回
レーニン勲章5回