カジミェシュは1440年にヴィリニュスへ入城し、6月29日に貴族会議においてリトアニア君主に選出された。一連の動きはポーランド貴族の不安を掻き立てながら、主にヨナス・ゴシュタウタスのお膳立てによって進んだ。これにより、個人的な紐帯によって成立していたポーランドとリトアニアの脆弱な同君連合は解消された。カジミェシュ即位の報はポーランドでは猛反発をもって迎えられ、リトアニアには軍事的圧力までかけられた。カジミェシュが未成年のため政務はヨナスを議長とする貴族会議に委ねられ、幼い大公は宮廷の役人たちにリトアニアの言語と慣習を教わった。
カジミェシュの治世下では、公、マグナート、バヨライ(一般貴族)といったリトアニアの貴族階級は、法的権利や地位、信仰、民族性といった面でポーランドの貴族階級との同化が進んでいった。また彼は、リトアニアの国境を変更しないこと、リトアニアでポーランドの役人を使わないことを約束し、さらにはリトアニアに関する取り決めには貴族会議の同意を必要とするという決議も了承した。ジェマイティヤに同地域の王領地代官を選出する権利も認めている。カジミェシュはリトアニアで最初の、生まれながらのカトリック教徒の君主である。
ポーランド統治ヤン・マテイコによる肖像画
1447年、兄ヴワディスワフ3世の死後3年間にわたり空位だったポーランド王位を継承し、1454年にハプスブルク家のエリーザベトと結婚した。彼女は神聖ローマ帝国君主(ローマ王)アルブレヒト2世とボヘミア王家およびハンガリー王家の女子相続人であるエリーザベト・フォン・ルクセンブルクの遺児であったが、神聖ローマ皇帝位はハプスブルク家の別系統のフリードリヒ3世の手中にあった。この結婚はヤギェウォ家のボヘミアとハンガリーの王位請求権を強化させることを狙ったものであったが、同時にカジミェシュ4世は皇帝位をめぐる争いに否応なく引き込まれることになった。
同年、カジミェシュ4世はドイツ騎士団に対抗するプロイセン同盟との同盟を結び、併合によってプロシアをポーランド領に組み込むことが決まった。しかしプロイセン同盟がドイツ騎士団への反乱を開始すると、騎士団は予想以上に頑強な抵抗を見せ、十三年戦争に発展した。カジミェシュ4世とプロイセン同盟はドイツ騎士団を撃破し、その拠点マルボルク城を陥落させた。第二次トルンの和約でドイツ騎士団は、王領プロイセンに対するポーランドの主権、プロシア公領に対するポーランドの宗主権を認めるに至った。1457年に義弟のハンガリー王兼ボヘミア王ラディスラウス・ポストゥムスが没すると、カジミェシュ4世夫妻の関心はラディスラウスの保っていた王冠を掌中にすることへと次第に移っていった。 1469年、ラディスラウスの摂政でボヘミア王となっていたイジーの要請により、長男ヴワディスワフがイジーの後継者に決定、2年後の1471年にイジーが亡くなった後にヴワディスワフがボヘミア王に就いた。しかし、ハンガリー王マーチャーシュ1世(ラディスラウスの死後王位を継承)はイジーと対立していたためヴワディスワフと衝突、カジミェシュ4世はヴワディスワフの支援に回った。1490年にマーチャーシュ1世が子のないまま没し、ヴワディスワフはハンガリー王位も継承(ウラースロー2世)、ヤギェウォ家の領土は大幅に増加した。 一方、1471年にノヴゴロド共和国と同盟を結んだが、モスクワ大公イヴァン3世によってノヴゴロド共和国は併合され、大オルダの君主アフマド・ハーン
東欧諸国との関係