1939年に家族とともにリトアニアに亡命。リトアニアがソ連に併合されると、1940年にはシベリア地方に抑留され、タイガでの森林伐採にまわされた。このとき雪の強い照り返しで目を傷め、以後色付きのめがねをしているとされる。なお、父はこの抑留中に命を落としている。
軍人に

ヴワディスワフ・アンデルス率いるポーランド亡命政府軍に入隊志願したが失敗し、同時期に編成された親ソ連派のポーランド軍団への入隊を図る。1943年、ロシアのリャザンに設けられた士官学校で学び、ヘンルィク・ドンブロフスキの第2歩兵師団に偵察小隊の指揮官として配属される。大戦末期におけるヴィスワ川での戦闘やワルシャワ解放などに参加した。1945年5月にナチス・ドイツが敗北し、第二次世界大戦が終結すると軍内で地位を固めた。

1947年からポーランド労働党（1948年からポーランド統一労働党）員。上級歩兵学校とK.スヴェルチェフスキ名称参謀本部アカデミーを優秀で卒業、1957年に第12機械化師団長を務めた。1960年には軍政治総局長に、1965年には軍参謀総長に就任し、1962年に国防次官、1968年4月から1983年11月まで国防大臣を務める。
首相就任

1980年7月に北部の都市・グダニスクで食肉の値上げを原因に起きたストをきっかけに造船所の工員レフ・ヴァウェンサ（レフ・ワレサ）が自主管理労働組合「連帯」を組織し、委員長に就任した。民衆からの民主化への要望が高まる中、ヤルゼルスキは1981年2月に首相に就任。また、同年の10月から党第一書記を兼任することになる。
戒厳令

その後も高まる民主化運動とそれに伴うソ連の内政介入への対抗策として1981年12月13日にポーランド全土に戒厳令を布告したものの、民衆の民主化要求に背くこの行為は、共産圏を除く世界各国から激しい非難を浴びる結果となる。戒厳令中の1983年2月に、史上初のポーランド出身のローマ教皇であるヨハネ・パウロ2世がポーランドを訪問した際には、直接的な批判は避けながらもヤルゼルスキに対し、「人間の顔をした社会主義」を実現するよう強く求めた。

修道会寄宿舎で学んだ経歴を持ち、信心深いカトリック教徒であるヤルゼルスキは「この時のローマ教皇との会見がその後の方向転換の大きなきっかけとなった」と後に語っている。

なお、ヨハネ・パウロ2世はこれ以降も連帯をはじめとする民主化運動への有形無形の協力と、社会主義政権への圧力を粘り強く掛け続けた。その後ヤルゼルスキは、1981年から1983年まで救国軍事会議議長、1983年からはポーランド軍総司令官となった。
民主化

教皇訪問後の1983年7月には戒厳令が解除され、ヤルゼルスキは社会主義の枠内での経済改革を試みたが、「連帯」率いる労働者からの支持が得られず効果は上がらなかった。その後1985年11月には国家評議会（ポーランド語版）議長（ポーランド語版）に就任したが、同年にソ連ではペレストロイカ政策を押し進めるミハイル・ゴルバチョフが共産党書記長に就任し、その結果ポーランドをはじめとする東欧諸国にも民主化の波が急激に押し寄せた。

この様な民主化の波を受け、1989年2月以降数度にわたり行われた「円卓会議」と呼ばれる「連帯」を中心とする反体制側との会議で、上院の新設や下院立候補の制限緩和、「連帯」の合法化などの大幅な民主化政策の実施についての合意を成立させ、民主化への道筋をつけることに成功した。
初代大統領就任

その後1989年6月に行われた部分的自由選挙[注釈 1]では「連帯」系候補者が地滑り的な大勝利を収め、8月2日には統一労働者党（共産党）出身のチェスワフ・キシチャク内相を強引に首相に指名したものの、｢連帯｣が認めず組閣に失敗し、その後8月24日に「連帯」出身のタデウシュ・マゾヴィエツキが首相に指名された。

ヤルゼルスキ自身は先立って行われた円卓会議での合意の下、ポーランドの初代大統領に選出され、1990年12月まで大統領を務めたが、初の自由選挙で大統領に選出されたかつての政敵、ヴァウェンサにその座を譲って政界を引退した。しかし12月22日のヴァウェンサの大統領就任式には招待されず、ポーランド亡命政府がヴァウェンサにレガリアを引き渡すところをテレビで見る羽目となった。
晩年ヤルゼルスキ（81歳時）
2006年の撮影

政界を引退してからのヤルゼルスキは回想録を出版した後、民主化されたポーランド政府から年金を受け取って生活していた。しかし2007年4月17日、1981年の戒厳令布告の際の民主化弾圧の責任を問われ、ポーランド検察によって起訴された。

しかし高齢であることを考慮され、自宅から毎月裁判所に出廷することを許された。