カスターはミシガン州モンローで兄弟と幼い時を過ごした後、オハイオ州ホープデイルのホープデイル大学に進学した[注釈 2]。大学時代、貧しい生まれのためにカスターは同級生と石炭運びの仕事を行い、部屋代を稼いでいた。1856年にホープデイル大学を卒業、両親は聖職者になることを望んだが[4]、カスターは難関であるウェストポイントの入学試験に合格して陸軍の士官候補生となった。カスターは1860年度のクラスで教育を受けたが学業成績は芳しくなく[注釈 3]、通常であれば佐官停まりが見えている状態だった。また気性の激しいカスターはしばしば騒動を起こし、退学を警告される事も少なくなかった。しかし幸運な事に南北戦争の勃発が彼に立身出世の機会を与える結果となった。
南北戦争カスター「大尉」（1862年）

在学中に南北戦争が勃発、卒業を一年繰り上げて騎兵少尉に任官[5]、第一次ブルランの戦いでは第2騎兵隊の士官として初陣を飾った。第5騎兵隊に移って幾つかの戦いを経験した後、騎兵中尉として1862年にジョージ・マクレラン少将率いるポトマック軍に参加、半島方面作戦で南軍の軍旗を戦場で奪い取る功績を挙げている。マクレランはカスターの勇敢さを称賛して、彼を一時的に名誉大佐の権限を与えて自らの副官に指名、カスターが歴史の表舞台に立つ切っ掛けとなった[6]。1862年11月にマクレラン将軍がエイブラハム・リンカーンとの対立で陸軍最高司令官とポトマック軍司令官を解任され失脚すると、カスターも中尉に戻って前線勤務に復帰した。

カスターはポトマック軍の騎兵旅団長を務めていたアルフレッド・プレソントン中佐の配下に入った。カスターはプレソントン中佐に多大な影響を受け、プレソントンもカスターを評価して重用した。カスターは後に「世の中のどんな父親もプレソントンが私に注いだ愛情以上の事は出来ないだろう」と感謝の言葉を残している。チャンセラーズヴィルの戦いを経てプレソントンが少将に昇進すると、部隊はゲティスバーグ方面作戦で南軍を捕捉する役割を与えられた。カスターはプレソントンの騎兵旅団の中でも最も勇敢な士官として評判を集め、取り分けブランディ・ステーションの戦いでは大胆不敵な戦い振りを示した。プレソントンが政治的駆け引きのために政治家の息子を准将に引き立てると、軍の批判を避けるために有力な士官を一時的に昇格させる必要があった。かくしてカスターは別の同僚と共に正規軍中尉から義勇軍准将へ昇格し、より大きな部隊を任されるチャンスを得た[7]。アルフレッド・プレソントン（右）とカスター（左）

彼の軍人として最大の軍功は1863年6月28日、ゲティスバーグの戦いで訪れた。戦いの3日前に将軍へ昇進したカスターは騎兵旅団の司令官として参戦、南軍きっての騎兵司令官として知られていたスチュアート将軍と相対する機会に恵まれた。1863年7月3日、ピケットの突撃の後にスチュアート将軍の騎兵攻撃を、グレッグ准将の騎兵旅団と迎え撃ったカスター騎兵旅団は激しい白兵戦闘の末に南軍騎兵を追い払って撃退した。南軍の攻撃の中でもっとも厄介だった騎兵攻撃を跳ね除けたカスターの功績は高く称賛された[8]。