生まれたときは小柄で、背丈が包丁ほどしかなく、ひ弱な赤ん坊だったといわれる。生後6週間目に一家はマルセイユへ転居した。以降、コルシカ島のバスティア、エルバ島のポルトフェッラーイオ、パリ、ナポリ、マドリード、と主に母親らとともにヨーロッパのあちこちを転々とする。というのも、生粋のボナパルト主義の父ジョゼフ・レオポールと根っからの王党派の母ソフィーの間で政治思想の違いによる確執が生じ、それが夫婦の間に不和をもたらしていたのである。この確執はのちに『レ・ミゼラブル』の、マリユスの父ポンメルシー大佐とマリユスの祖父ジルノルマンの確執の原型となる。いずれにせよ、生まれたときの状態や長きにわたる父親不在の生活のおかげで、マザーコンプレックスが非常に強かった。

1812年、母と次兄ウジェーヌと一緒に再びパリに帰る[注 5]。1814年、次兄ウジェーヌとともにサン・ジェルマン・デ・プレ教会[注 6] の近くの寄宿学校に入る。その間にナポレオンによる帝政が完全に終わりを告げ、父ジョゼフ・レオポールはスペイン貴族の地位を剥奪され、フランス軍の一大隊長に没落してしまう。彼は寄宿学校に4年とどまるものの、最後の2年はリセ・ルイ＝ル＝グラン[注 7] にも通った。父親は彼を軍人にするつもりだったが、本人は詩作に夢中で[4]、1816年7月10日には詩帳にこんな言葉を残している。

――シャトーブリアンになるのでなければ、何にもなりたくない。

17歳でアカデミー・フランセーズの詩のコンクールで一位を取り、自ら詩の雑誌も発行した[4]。母ソフィーはヴィクトルの才能を認め、文学での成功を期待していたが、幼馴染であり恋人であったアデール・フシェ[注 8] との結婚には猛反対していた。彼は18歳のときから始めた文通を翌年に再開する。しかし、その年（＝1821年）6月27日に母ソフィーが他界する。ユーゴー一家に二度と娘を逢わせないと誓っていたアデールの両親も、彼の情熱に折れてしまい、結婚を了承した。同年10月12日、アデールとサン・シュルピス教会[注 9] で結婚し、ル・シェルシュ・ミディ通り[注 10] に居を構えるに至る。1822年には、『オードと雑詠集』によって国王から年金をもらえることになり、ロマン派の旗手として目覚ましい活躍を始める[4]。

1823年7月16日、長男レオポール[注 11] が誕生する。すべてが順風満帆に見えたが、同年10月9日にひ弱だったレオポールが亡くなってしまう。翌年の1824年8月28日に生まれた長女にはレオポルディーヌ[注 12] と命名する。

1825年4月29日、23歳という若さでレジオンドヌール勲章（シュヴァリエ、勲爵士）を受ける。同年5月29日にはランスで行われたシャルル10世の聖別式にも参加した。こうして少しずつ名誉が与えられてゆく中で、少年時代は疎遠であった父ジョゼフ・レオポールとの仲も親密になっていった。愛する父のために、それまで疎んじてきたナポレオンを讃える詩を書いたところ、これをきっかけにナポレオンを次第に理解し、尊敬するようになる。さらに、聖別式でウィリアム・シェイクスピアのフランス語訳詩を耳にしたことで、シェイクスピアを尊敬するようになる。

翌1826年11月2日には次男シャルル[注 13] が生まれ、創作熱も加速していくが、1828年1月28日、パリで父ジョゼフ・レオポールが他界する。しかし、悲しみにくれる一方で朗報もあり、同年10月31日、父の才能を受け継いだ三男フランソワ＝ヴィクトル[注 14] が誕生する。

1830年4月、ジャン・グジョン通り[注 15] へ転居する。そこで七月革命の混乱が押し寄せる。たとえルイ18世から年金を貰っていた身分であっても、七月革命に参加していたのは『エルナニ』でともに文学革命に参加した仲間であったため、己に危害が加えられる心配はなかった。

そんな混乱のなか、同年7月28日、次女アデール[注 16] が誕生する。