頼朝配下の東国武士団は独立心が強く、同族程度の団結以外に大きな一つの組織に結集する事を知らず、戦では個々の功名にはやって各個撃破されるような体であったものを、頼朝は御家人として一つにまとめ上げた。
文治元年（1184年）4月、頼朝の推薦を受けずに朝廷の官職についた御家人たちの容姿を細かくあげつらって罵倒する記述があるが、これは頼朝が御家人一人一人の容貌を含めて熟知していた事を示すものである。ある合戦の報告を聞いて「○は討ち死に、△は遁走、というがそんな事はあるまい。○が遁走、△が討ち死にの間違いだろう」と指摘し、調べてみるとその通りであったというエピソードが『吾妻鏡』に多くある。側近の一人で公事奉行人の藤原俊兼が贅沢な衣服をまとっているのを見た頼朝は、刀で小袖を切り落とし、「千葉常胤や土肥実平などは善悪も判断できぬ程度の武士だが、衣服などは粗悪な品を用いて贅沢を好まない。だからその家は裕福で多くの家人・郎党を養い勲功をあげようとしている。それなのにお前は財産の使い方も知らず、身の程をわきまえておらん」と訓戒を加えた。このように側近官僚と東国御家人の双方ともによく知りぬき、適材適所を使いこなしていたのである。
異母弟義経や従兄義仲を滅ぼしているところから、｢身内に厳しい人物｣との印象が強い。反面、同母弟源希義の死に怒り狂い、仇に徹底的に復讐している面もあり、概して一条能保や足利義兼のような母方から繋がる縁者は優遇している傾向がある。 自分の妻子には甘く、巻狩りで12歳の息子源頼家が鹿を仕留めた時にははしゃぎ過ぎて妻の北条政子に窘められている。
生涯において前線で戦うことは少なかったが、個人的な戦闘能力は意外と高く、石橋山の戦いでは鎧武者を一撃で倒すなど叔父源為朝譲りの強弓を披露している。 戦術家・前線指揮官として義仲や義経に劣っていたことは本人も自覚していたが、軍事組織を運営する能力では上回っており、彼らとは違った意味で名将と言える。
頼朝の開いた政権は制度化され、次第に朝廷から政治の実権を奪い、後に幕府と名付けられ、王政復古まで足掛け約680年間に渡り長く続くこととなる。武家政権の創始者として頼朝の業績は高く評価されており、ほとんどの日本人は義務教育で頼朝の名を学んでいる。
その一方で、人格は「冷酷な政治家」と評される場合が多い。それは、多くの同族兄弟を殺し、自ら兵を率いることが少なく（頼朝自身は武芸は長けていたといわれるが、戦闘指揮官としては格別の実績を示していない）、主に政治的交渉で鎌倉幕府の樹立を成し遂げたことによる。判官贔屓で高い人気を持つ末弟・義経を死に至らせたことなどから、頼朝の人気はその業績にもかかわらずそれほど高くなく、小説などに主人公として描かれることも稀である。
以上は概ね現代における評価であるが、頼朝は過去にも多くの人物により評されてきた。
北条政子と御家人
頼朝の死後に起きた承久の乱で朝廷と幕府が争うと、北条政子は集まった御家人らに対し次のように述べた。「故・右大将軍（頼朝）が朝敵を滅ぼし関東を開いて以降、官位も俸禄も、その恩は山より高く海より深い。（中略）恩を知り名を惜しむ人は、早く不忠の讒臣を討ち恩に報いるべし。」これを聞いた御家人らは、ただ涙を流し報恩を誓った。頼朝の幕府内での位置と、御家人からの高い評価を知ることが出来る。
保暦間記
頼朝の死因を自らが滅ぼした源義広、義経、行家、安徳天皇の亡霊によると記している。当時からその生涯は罪深いものとして捉えられていたことを伺わせる。
豊臣秀吉
武辺咄聞書によると、鶴岡八幡宮白旗神社の頼朝像を参った際に、次のように述べたと伝わる。「我と御身は共に微小の身から天下を平らげた。しかし御身は天皇の後胤であり、父祖は関東を従えていた。故に流人の身から挙兵しても多く者が従った。我は氏も系図も無いが天下を取った。御身より我の勝ちなり。しかし御身と我は天下友達なり。」冗談ながらにも、頼朝の業績は血統に拠るものがあると評している。
徳川家康
頼朝の事績を多く記した吾妻鏡を集めて写させた。源氏の新田氏流を自称していた家康は頼朝を崇拝しており、吾妻鏡を読み頼朝の行動を学んだといわれる。
新井白石
読史余論の中で、政治面での功績には一定の評価を与えつつも、頼朝の行動は朝廷を軽んじ己を利するものであるとし、総じて否定的な評価をしている。挙兵から四年間も上洛せず、東国の土地を押領し家人に割け与えたのは、既に独立の志を持っていたとする。源義仲を討った理由は、義仲が朝奨に預かったことを憎んだからであり、また義仲が後白河法皇を幽閉した罪を問わなかったことを責めている。源義経との対立に関しては、朝臣に列していた義経を京で襲ったことは、臣たる者の仕業では無いとし、襲った理由は、義経が朝賞に預かったと共に、義経の用兵を恐れたからだとする。義経が驕りに加え梶原景時の讒言により誅されたとの論には、驕りも讒言も無く誅された源範頼の例を挙げて反論し、「頼朝がごとき者の弟たる事は、最も難しいと言うべき」と記して評を終えている。
この他に「成敗分明（『玉葉』九条兼実）」、「ぬけたる器量の人（『愚管抄』慈円）」、「頼朝勲功まことにためしなかりければ（『神皇正統記』北畠親房）」、等がある。総じて政治的能力への評価は高いが、論評者が勤王家かどうか、儒教の倫理観に近いか等の見方によって全体の評価が上下する傾向があるほか、時代によっても評価が揺らぐのも特徴と言える。宮澤賢治のように奥州文化の破壊者として批判的に見る者もいる。
「我の死後は堂塔も孝養も要らぬ、ただ頼朝の首を刎ね我が墓前に供えよ」は平家物語に記された文言であり、物語ゆえにかその真偽を疑う声もある。
この遺言は戦国武士の感覚ならともかく、平安時代末期の武士感覚から考えてありえない遺言であるという説が近年では強く、清盛はむしろ頼朝との和睦と後白河法皇との協調政治を望んだとも言われている。しかし清盛の後を継いだ宗盛が暗愚だったため、宗盛の反対で何ひとつ実現しなかったと言う。
一方で、遺言に従ったのか清盛の墓所ははっきりと伝わっておらず、玉葉の治承5年（1181年）8月1日にも平家物語と似た意の清盛の遺言と共に、それ由に平家が頼朝を許す筈がないと記されている。
末弟・源義経を逐うに至った経緯は、古くから多くの人々の興味を呼び、物語が作られ、研究が成されている。
吾妻鏡では、8月6日、京に在った義経は頼朝の内挙を得ずに任官し、憤った頼朝は義経を平家追討軍から除いたことになっている（元暦元年八月十七日条）。しかし、この記述は同じ吾妻鏡の他の記事と齟齬を見せているとの説もある。8月3日、頼朝は義経に伊勢の平信兼追討を命じ（八月三日条）、義経は12日に出発している。つまり任官以前に義経は西海遠征から外れていたとも考えられる。また、26日、義経は平家追討使の官符を賜っている（文治五年閏四月三十日条）。頼朝は義経に対して何の処罰も下していないのであると言う。一方で、頼朝が義経の無断任官を知ったのは8月17日であるから、それ以前に何らかの命を義経に下しているのは当然であり、平家追討使の官符を賜っているのも、朝廷は頼朝に諮らず義経を検非違使に任じたのであるから、頼朝に諮らず平家追討の官符を下しても、不思議は無いとも考えられる。