1895年9月30日にロシア帝国のヴィチュガにて、8人の子の4番目に誕生する。司祭の家庭であり、生活は貧しかった。神学校で学んでいたが、第一次世界大戦の勃発を受けて軍人を志す。1915年2月にアレクセーエフ軍事学校に入校し、戦時の速成教育のため4ヶ月で卒業した。卒業後は准尉としてノヴォホペル連隊に入隊し、革命までに大尉、大隊長に昇進していた。
両大戦間

1919年に予備連隊の副小隊長として赤軍に入隊し、間も無く中隊長、大隊長となった。第11ペトログラード狙撃師団第429狙撃連隊副連隊長として、白衛ポーランド軍と戦う。その後第48狙撃師団長となる。ヴァシレフスキー（1928年）

1931年5月に労農赤軍戦闘訓練局に移り、縦深戦闘戦術の立案に参加した。この頃ゲオルギー・ジューコフと知り合う。1931年から1936年に国防人民委員部参謀勤務学校を経て、沿ヴォルガ軍管区参謀部で勤務した。

1936年秋、創設されたばかりの参謀本部アカデミーに入校。その後参謀本部アカデミーの講座長を務め、1937年10月、参謀本部勤務に戻る。参謀本部では、ボリス・シャポシニコフの庇護を得て、ヨシフ・スターリンにも紹介された。1940年5月に参謀本部作戦局副局長となり、ドイツ派遣のソビエト連邦政府代表団に加わる。
独ソ戦スターリングラード近郊で破壊されたドイツ軍の装備を視察するヴァシレフスキー（左）とフルシチョフ（1943年）1944年、捕虜になったアルフォンス・ヒッター中将（英語版）を尋問するヴァシレフスキー元帥（テーブル中央）とイワン・チェルニャホフスキー大将（テーブル右側）

第二次世界大戦勃発後、1941年秋に参謀次長/作戦局長に任命され、モスクワの防衛を準備し、12月1日にはドイツ軍に対する逆襲計画を立案した。

1942年初め、モスクワの防衛成功に気を良くしたスターリンは、全戦線で攻勢に転移することを決定した。シャポシニコフ参謀総長とヴァシレフスキーは、これに反対したがこれを止めることはできなかった。赤軍の攻勢は失敗し、同年春、シャポシニコフは体調を崩し、ヴァシレフスキーが参謀総長代行となった。同年6月24日、ヴァシレフスキーは正式に参謀総長となった。スターリングラード攻防戦時、同方面の3個戦線の行動を調整し、勝利に導いた。

1943年2月16日にソ連邦元帥に昇進（開戦時は少将に過ぎず、昇進の速さはジューコフに次ぐ）した。同年夏、ソ連はドイツ軍のクルスク攻勢を察知し、ジューコフと共に防衛計画を立案した。

1944年春まで南部と南西戦線（後に第3と第4ウクライナ戦線）の行動を調整した。セヴァストポリ攻略時、乗車していた車が触雷し軽傷を負い、久しぶりにモスクワで休暇を取ることができた。バグラチオン作戦時、第1沿バルトと第3白ロシア戦線の行動を調整し、その功績によりソ連邦英雄の称号を授与された。

1945年2月、第3白ロシア戦線司令官イワン・チェルニャホフスキーの戦死後、ヴァシレフスキーはその後任となった。間も無く第1沿バルト戦線も彼の指揮下に入り、東プロイセン・ケーニヒスベルクを奪取した。ドイツ降伏後、戦勝記念観閲式に参加した。
対日参戦写真中央（1945年旅順）

その後は対日参戦をにらんで、関東軍の撃破計画の立案に従事した。1945年6月末には極東に派遣され、7月にヴァシレフスキーは極東ソ連軍総司令官に任命された。