永保3年（1083年）に陸奥守となり、清原氏の内紛に介入して後三年の役が始まる。ただしこの合戦は朝廷の追討官符による公戦ではない。朝廷では寛治元年（1087年）7月9日に「奥州合戦停止」の官使の派遣を決定した事実も有る事から、『後二条師通記』にはこの戦争は「義家合戦」と私戦を臭わせる書き方がされている。

後三年の役において動員した兵は、石井進の国衙軍制の概念[3] にそって分類すれば、国守軍の「館の者共」、つまり受領国守の私的郎党として動員した近畿から美濃、そして相模国の武者[注 1] と、清原氏勢力外の陸奥南部の「国の兵共」。「地方豪族軍」として陸奥奥六郡の南三郡を中心とした藤原清衡の軍と、出羽の吉彦秀武の軍からなると思われる。

最終局面での主要な作戦が吉彦秀武から出ていること、及び前九年の役の例を勘案すれば、最大兵力は秀武の軍、次に清衡の軍であり、国守軍は陸奥南部の「国の兵共」を加えたとしても、それほど多かったとは思えない。

寛治元年11月に義家は出羽金沢柵にて清原武衡・清原家衡を破り、12月、それを報告する「国解」の中で「わたくしの力をもって、たまたまうちたいらぐる事をえたり。早く追討の官符を給わりて」と後付けの追討官符を要請するが、朝廷はこれを下さず、「私戦」としたため恩賞はなく、かつ翌寛治2年（1088年）正月には陸奥守を罷免される。

何よりも陸奥国の兵（つわもの）を動員しての戦闘であり、義家自身が国解の中で「政事をとどめてひとえにつわもの（兵）をととのへ」、と述べているように、その間の陸奥国に定められた官物の貢納は滞ったと思われ、その後何年もの間催促されていることが、当時の記録に残る（『中右記』永長（1096年）12月15日条、永長2年（1097年）2月25日条）。当時の法制度からは、定められた官物を収めて、受領功過定に合格しなければ、新たな官職に就くことができず、義家は官位もそのままに据え置かれた。
弟・義綱の台頭

寛治5年（1091年）6月、義家の郎党・藤原実清と弟・源義綱の郎党・藤原則清が河内国の所領の領有権を争い、義家・義綱兄弟が兵を構える事件がおきた。

義綱は同年正月に、藤原師実が節会に参内する際の行列の前駆を務めた他、翌寛治6年（1092年）2月には藤原忠実が春日祭使となって奈良に赴く際の警衛、寛治7年（1093年）12月には源俊房の慶賀の参内の際に前駆を務めるなどが公卿の日記に見えるが、義家の方は長治元年（1104年）までそうした活動は記録にない。

寛治7年10月の除目で、義綱は陸奥守に就任。翌8年（嘉保元年・1094年）には出羽守を襲撃した在地の開拓領主・平師妙（もろたえ）を郎党に追捕させ、従四位上に叙されて官位は兄と並び、翌嘉保2年（1095年）正月の除目で、事実上陸奥守よりも格の高い美濃守に就任する。

ところが、その美濃国における比叡山領荘園との争いで僧侶が死亡したことから、比叡山側は義綱の配流を要求して強訴に及ぶが、関白・藤原師通は大和源氏の源頼治と義綱に命じてそれを実力で撃退する。この時も比叡山延暦寺・日吉社側の神人・大衆に死傷者が出、比叡山側は朝廷を呪詛した。さらに4年後の承徳3年（1099年）6月に、当事者の師通が38歳で世を去ったことであり、朝廷は比叡山の呪詛の恐怖におののいた。この件の影響か、この後義綱が受領に任じられることはなかった。
院昇殿から死没まで

義家は後三年の役から10年後の承徳2年（1098年）に「今日左府候官奏給云々、是前陸奥守義家朝臣依済舊國公事、除目以前被?（そう）行也（件事依有院御気色也）、左大史廣親候奏」（『中右記』正月23日条）と白河法皇の意向と正月に陸奥守時代の官物を完済したこともあり、やっと受領功過定を通って、4月の小除目で正四位下に昇進し、10月には院昇殿を許された。しかし、その白河法皇の強引な引き上げに、当時既に形成されつつあった家格に拘る公卿は反発し、中御門右大臣・藤原宗忠はその日記『中右記』承徳2年10月23日条の裏書きに「義家朝臣は天下第一武勇の士なり。昇殿をゆるさるるに、世人甘心せざるの気あるか。但し言うなかれ」と書く。

康和3年（1101年）7月7日、次男の対馬守・源義親が、鎮西に於いて大宰大弐・大江匡房に告発され、朝廷は義家に義親召還の命を下す（『殿暦』）。しかし義家がそのために派遣した郎党の首藤資通（山内首藤氏の祖）は翌康和4年（1102年）2月20日、義親と共に義親召問の官吏を殺害してしまう。12月28日ついに朝廷は義親の隠岐配流と資通の投獄を決定する。

『中右記』によると、長治元年（1104年）10月30日に義家・義綱兄弟は揃って延暦寺の悪僧追捕を行っているが、これが義家の最後の公的な活躍となる。

嘉承元年（1106年）には四男の源義国（足利氏・新田氏の祖）が、叔父で義家・義綱の弟・源義光等と常陸国において合戦し、6月10日、常陸合戦で義家に義国を召し進ぜよとの命が下される。義国と争っていた義光、平重幹等にも捕縛命令が出る中で義家は同年7月15日に68歳で没する。翌日、藤原宗忠は日記『中右記』に「武威天下に満つ、誠に是れ大将軍に足る者なり」と追悼する。死後は三男の源義忠が家督継承し、河内源氏の棟梁となった。
義家死後の河内源氏

翌年の嘉承2年（1107年）12月19日、隠岐に配流されていた源義親が出雲国目代を殺害し、周辺諸国に義親に同心する動きも現れたため、白河法皇は因幡国の国守であり院近臣でもあった平正盛に義親の追討を命じる。翌年の天仁元年（1108年）1月29日に正盛は義親の首級を持って京に凱旋し、正盛が白河院の爪牙として脚光を浴びる。この凱旋に対して、藤原宗忠は『中右記』に「故義家朝臣は年来武者の長者として多く無罪の人を殺すと云々。積悪の余り、遂に子孫に及ぶか」と記す。

天仁2年（1109年）、義忠が郎党の平成幹に暗殺される事件が発生。犯人は義綱と子の源義明とされ義親の子(義忠の弟とも)・源為義が義綱一族を追討、義綱は佐渡島へ流され義明は殺害された（天承2年（1132年）に義綱も追討を受け自殺）。