ただし、祐宮の皇位継承はこの時点では確定したものではなかった。祐宮を産んだ中山慶子の実家中山家は羽林家であり、慶子は天皇の正室になれる五摂家の娘ではなかったためである[23]。すでに孝明天皇には正室・九条夙子（英照皇太后）があり、夙子は女御から准后、皇后へと昇格していくことになっていた。そのため、夙子に皇子が生まれ成長したなら、祐宮が将来に即位する可能性は低くなってしまう状況であった[24]。また、有栖川宮幟仁親王（男系で霊元天皇の4世孫）は、光格天皇の猶子（養子）として仁孝天皇から親王宣下を受け、有栖川宮熾仁親王（男系で霊元天皇の5世孫）・伏見宮貞教親王（男系で崇光天皇の15世孫、女系で霊元天皇の6世孫）は、仁孝天皇の猶子として、孝明天皇から親王宣下を受けていた[24]。これら三人の親王は、いずれも皇位継承の有力候補であった[25]。したがって、夙子に皇子が生まれなくとも、祐宮が親王になる以前に、孝明天皇が崩じる場合などは、三人の親王の一人が皇位継承する可能性もあった[24]。以上のような事情があったものの、孝明天皇は、自身の祖父・光格天皇の幼名を与えるほど、唯一の皇子である祐宮に大きな期待を抱いていた[22]。

生後30日目の10月22日、参内始で、祐宮は初めて孝明天皇に会った[26]。この時、天皇は祐宮に人形を与え、祐宮は生母の中山慶子の局（部屋）を宮中での在所とすることになった[22]。

ただし当時は皇子は生母の実家でしばらく育てられた後に御所に戻る慣習があったため、祐宮は四歳まで中山邸で育てられ、折りにふれて御所に参内するという生活を送った[27][28]。@media all and (max-width:720px){.mw-parser-output .mod-gallery{width:100%!important}}.mw-parser-output .mod-gallery{display:table}.mw-parser-output .mod-gallery-default{background:transparent;margin-top:.3em}.mw-parser-output .mod-gallery-center{margin-left:auto;margin-right:auto}.mw-parser-output .mod-gallery-left{float:left;margin-right:1em}.mw-parser-output .mod-gallery-right{float:right}.mw-parser-output .mod-gallery-none{float:none}.mw-parser-output .mod-gallery-collapsible{width:100%}.mw-parser-output .mod-gallery .title,.mw-parser-output .mod-gallery .main,.mw-parser-output .mod-gallery .footer{display:table-row}.mw-parser-output .mod-gallery .title>div{display:table-cell;text-align:center;font-weight:bold}.mw-parser-output .mod-gallery .main>div{display:table-cell}.mw-parser-output .mod-gallery .gallery{line-height:1.35em}.mw-parser-output .mod-gallery .footer>div{display:table-cell;text-align:right;font-size:80%;line-height:1em}.mw-parser-output .mod-gallery .title>div *,.mw-parser-output .mod-gallery .footer>div *{overflow:visible}.mw-parser-output .mod-gallery .gallerybox img{background:none!important}.mw-parser-output .mod-gallery .bordered-images .thumb img{outline:solid #eaecf0 1px;border:none}.mw-parser-output .mod-gallery .whitebg .thumb{background:#fff!important}

父・孝明天皇

母・中山慶子

外祖父・中山忠能

中山邸での日々京都御苑の中山邸跡。祐宮（明治天皇）は4歳まで中山邸で暮らした。

祐宮は安政3年9月29日に御所に移る4歳までを中山邸で過ごした。外祖父の中山忠能が父親代わりであり、母慶子は典侍として宮中にいたから、外祖母の中山愛子（肥前国平戸藩主松浦清の娘）が母親代わりであった[29]。中山家には新たに井戸が掘られ、「祐井」と名付けられた。この井戸は現代まで保存されている[16]。

忠能が祐宮に最初に与えた玩具は木剣、竹刀、木馬だった。祐宮が特に好きだったのは木馬だった。四足の下に箱車がついていて高さ一尺四、五寸の木馬であり、祐宮はこれにまたがってハイハイと声をかけ、侍女や忠能が引いて歩いた。木馬が壊れた時には侍女も忠能も馬になった[30]。

乳は乳母によって与えられた。当初は九条家の家臣の妻が乳母となったが、途中から学者・木村縫殿之助の妻ライに替わった[31][30]。乳母にも自身の赤子がいるので、赤子を伴っての中山邸入りとなった。この赤子たちと祐宮は幼友達になった[31]。祐宮は乳母のライのことを「ライ公」と呼び、殿之助とライの子で1歳年下の禎之介のことを「禎ボン」と呼んでいた[30]。

禎ボンが祐宮の金魚を握りつぶしてしまった時には祐宮はいきなり禎ボンを殴りつけるなど[30]、幼友達との喧嘩も多かったことから、祐宮の短気な性格とも伝えられてるが[31]、こうした喧嘩はごく普通の子供同士の喧嘩であり、むしろ微笑ましいといってよい[30]。乳母やその赤子のほかにも、中山邸には、中山忠光のような型破りな人間や、儒学者・田中河内介のような熱血漢もいた。このような中山家で養育されたことは、祐宮に大きな影響を与えた[32]。

ただ、当時の中山家は経済的に困窮しており、前述のように、産殿造営の際も朝廷に借財するなど家計に苦労していた。嘉永6年（1853年）2月には、女官が中山家の家計を心配して、祐宮の宮中帰還を提起するなど、実際にかなり援助を必要とする経済事情であった。そうした中で、祐宮は質実に育てられたと考えられる[33]。

祐宮は嘉永6年9月22日（1853年11月3日）の1歳の誕生日までは、比較的順調に育ったが、誕生日を過ぎて数日した頃、風邪にかかり、高熱が続いた。生母慶子は、10月15日以来、中山家に泊まり込んで、祐宮の看病に努め、11月23日にようやく宮中へ帰った[22]。孝明天皇も祐宮の病気のことを心配していたと推察されるが、当時の慣行では、天皇が臣下の中山邸に行幸して祐宮を見舞うことは考えられないことであり、見舞いには行けなかった[34]。同年12月24日、祐宮が全快すると、天皇は祐宮を看護した労をいたわり、忠能に銀15枚・絹・真綿を、忠能の母綱子（正親町三条実同娘）に銀3枚・絹・真綿を下賜し、以下乳人（めのと）代等に至るまで慰労の品を下賜した。綱子は曾孫にあたる祐宮の回復に歓喜して「吾命（わがいのち）いきかえるよりうれしきは 此日（このひ）の御子（みこ）の今日の御祝」と詠んだ。綱子らと祐宮の侍女は北野社に詣で、皇子回復に感謝の念を込めて、お百度参りを行った。こうして祐宮は、孝明天皇や中山家の人々の愛情を受けて、最初の病を乗り切った[34]。

その後、祐宮は1歳の間に、何度か10日以上にわたる病気にかかり、二歳の時には水痘にかかり、3歳の時の安政3年（1856年）1月にも高熱を出した[35]。このように、祐宮は、時折体調を崩したが、この程度の発病は現代の幼児にも普通のことであり、医薬が未発達なために、祐宮の病気が現代より長引くのは当然で、回復できず死亡に至る乳幼児が多い当時において、回復できた祐宮の体は特に弱かったわけではなかった[35]。

祐宮も3歳半になると、好き嫌いの感情をはっきり示すようになった。安政3年（1856年）3月25日の参内の時は輿（こし）に乗るのを嫌がったので乳人が抱いて参内した。また群衆の目や儀式を嫌ったため、中山邸から御所の北の朔平門に近い穴門までの間、道路を横断して幕を張り、一般の通行を止めて参内した。それ以降も同様の方法がとられた。このように自我の発達してきた祐宮に対して、孝明天皇の愛情は一層深まった[36]。

安政三年（1856年）5月下旬に祐宮が参内すると、天皇は祐宮が可愛くてしかたがなく、宮中に泊まらせるように命じた。そこで、曽祖母の綱子と一緒に泊まった。滞在は三十数日にも及んだ[36]。9月22日（11月3日）、祐宮は4歳の誕生日を迎え、例年と同様に天皇から祝いの品を与えられた。その翌日、忠能に、祐宮を宮中に戻すようにとの天皇の命が伝えられた。こうして9月29日、祐宮は中山邸から御所に移った。曽祖母の中山綱子は、皇子誕生以来、寝食を忘れて日夜養育に専念してきたので、涙があふれて祐宮と別れることができなかった。綱子はその後も祐宮に会うためにたびたび参内した[36]。祐宮は中山家の人々と屋敷に愛着を持った。宮中で暮らすようになっても、中山邸の杏の実を毎年届けて貰っていた[37]。