しかし1810年10月、バージニア州リッチモンドでの公演を終えた直後に、父デイヴィッドが突如家族を捨て失踪してしまう。当時エリザベスは長女ロザリーを身ごもっており、また夫の実家からエドガーのみを引き取ってきた後だったが、出産の準備のために収入が途絶え、出産の前後は貧困生活に苦しまねばならなかった[6]。産後の肥立ちも悪く、1811年1月には舞台に復帰していたが、結核にかかり同年12月に他界する。両親を失った子供たちは、兄ウィリアムが父方の実家に、エドガーが両親と親交のあったリッチモンドのアラン家に、ロザリーがアランの友人宅にそれぞれ引き取られることになった[7]。

エドガーを引き取ったジョン・アランは成功した商人であり、タバコや織物、小麦、墓石から奴隷まで幅広い商品を扱う輸入業者であった[8]。彼は1803年にフランセス・ヴァレンタインと結婚していたが子宝に恵まれず、自身たちと同じスコットランド系の孤児を望んでいた夫人が特に希望してエドガーを養子にしたいと申し出たのである[9]。ポーはこの際に「エドガー・アラン・ポー」の名が与えられるが、しかし養子とするための正式な手続きは行なわれていなかった[10]。
大学時代まで

1815年、前年に米英戦争が終結し時局が安定したため、アラン一家は事業拡大のためイギリスに渡った。ポーはアランの生まれ故郷であるスコットランドのアーヴィンで短期間グラマースクールに通った後、1816年に一家とともにロンドンのチェルシーに移りここで寄宿舎生活を送った。しかし養母フランセスが健康を害したため転地療養を繰り返し、これに併せてポーも転校を余儀なくされた[11]。1817年の秋季からはロンドン郊外のストーク・ニューイーストンにあるマナー・ハウス学校に通った。ここでの寄宿舎生活はのちに「ウィリアム・ウィルソン」で生かされることになる[11]。

1820年になるとアランのロンドンでの事業拡大が失敗に終わったことがはっきりし、6月に一家はリッチモンドに戻ることになった。アメリカに戻ったポーはアイルランド人の経営する英語・古典学校に通い、ここでフランス語、ギリシャ語、ラテン語や古典文学を学んだ。ポーは外国語では抜群の成績を収めており、また詩作もこの頃に始めている。一方義父アランはリッチモンドでの経営も思わしくなく、1825年には商会を解散したうえ自宅も売却せざるを得なくなった。しかしちょうどその頃にアランの伯父にあたるウィリアム・ゴールドが死去し、アラン家に75万ドルと見積もられる莫大な遺産が転がり込んだ[12]。アラン家はふたたび金満家になり、その祝いにリッチモンドの本通りに豪奢な2階建ての家を購入することができた[13]。

1826年、ポーは前年に開校したばかりのヴァージニア大学に入学した。大統領から退いたトマス・ジェファーソンが設立し自ら総長を任じていた大学で、学生の自主的活動を重んじ、学課も自由選択制をとっていた。ポーはここの学生寮で生活しながら、ギリシア語、ラテン語、フランス語、ドイツ語、イタリア語、スペイン語を学び、そのほか古代地理、美文学、修辞学なども受講し、文学ではウェルギリウス、トゥキディデス、ユウェナリス、ホメロス、ヘシオドスといった古典文学の他、シュレーゲル兄弟、ノヴァーリス、ティーク、ホフマン、ゲーテ、シラーなどのドイツ文学に親しみ、図書館にも熱心に通った[14]。サラ・エルマイラ・ロイスター

しかし、大学生活は心楽しいことばかりではなかった。ポーは大学に入る前年、近所に住む美少女サラ・エルマイラ・ロイスターと恋に落ち、密かに婚約を交わしていたのだが、大学に入って以降に彼女へ送った恋文の返事がまったく来なかったのである。ポーは知らなかったのだが、彼の送った手紙はエルマイラの父親に破り捨てられていたのである。その後、エルマイラは父親により豪商の息子に嫁がされることが決まった[15]。

失恋に続き金銭面での問題が起こった。義父アランからの送金が遅れたために生活が困窮し始め、ポーは小遣い銭を得るためにトランプ賭博に手を出すようになった。その後義父の送金が届いてからも賭博をやっては負け続け、その負債額は2000ドルに及んだ。事情を知ったアランはポーの生活費の借金は返済してやったが、賭博の負けは絶対に返済しようとしなかった[16]。
陸軍、士官学校時代陸軍時代のポーが最初に配属された、ボストン港にある独立砦。

借金を抱え大学を辞めざるをえなくなったポーは、1827年3月に家出同然にリッチモンドの実家を出てボストンに向かった。ボストンに着いてからはアンリ・ル・ランネという偽名を使い、店員や新聞記者のアルバイトをして生活費を得ていたが[17]、5月になってエドガー・A・ペリーという偽名を使い、また年齢も18歳を22歳と偽って、アメリカ合衆国陸軍に入隊した[18]。最初の配属先はボストン港内にある砦で、給与は月5ドルであった[17]。