1820年になるとアランのロンドンでの事業拡大が失敗に終わったことがはっきりし、6月に一家はリッチモンドに戻ることになった。アメリカに戻ったポーはアイルランド人の経営する英語・古典学校に通い、ここでフランス語、ギリシャ語、ラテン語や古典文学を学んだ。ポーは外国語では抜群の成績を収めており、また詩作もこの頃に始めている。一方義父アランはリッチモンドでの経営も思わしくなく、1825年には商会を解散したうえ自宅も売却せざるを得なくなった。しかしちょうどその頃にアランの伯父にあたるウィリアム・ゴールドが死去し、アラン家に75万ドルと見積もられる莫大な遺産が転がり込んだ[12]。アラン家はふたたび金満家になり、その祝いにリッチモンドの本通りに豪奢な2階建ての家を購入することができた[13]。

1826年、ポーは前年に開校したばかりのヴァージニア大学に入学した。大統領から退いたトマス・ジェファーソンが設立し自ら総長を任じていた大学で、学生の自主的活動を重んじ、学課も自由選択制をとっていた。ポーはここの学生寮で生活しながら、ギリシア語、ラテン語、フランス語、ドイツ語、イタリア語、スペイン語を学び、そのほか古代地理、美文学、修辞学なども受講し、文学ではウェルギリウス、トゥキディデス、ユウェナリス、ホメロス、ヘシオドスといった古典文学の他、シュレーゲル兄弟、ノヴァーリス、ティーク、ホフマン、ゲーテ、シラーなどのドイツ文学に親しみ、図書館にも熱心に通った[14]。サラ・エルマイラ・ロイスター

しかし、大学生活は心楽しいことばかりではなかった。ポーは大学に入る前年、近所に住む美少女サラ・エルマイラ・ロイスターと恋に落ち、密かに婚約を交わしていたのだが、大学に入って以降に彼女へ送った恋文の返事がまったく来なかったのである。ポーは知らなかったのだが、彼の送った手紙はエルマイラの父親に破り捨てられていたのである。その後、エルマイラは父親により豪商の息子に嫁がされることが決まった[15]。

失恋に続き金銭面での問題が起こった。義父アランからの送金が遅れたために生活が困窮し始め、ポーは小遣い銭を得るためにトランプ賭博に手を出すようになった。その後義父の送金が届いてからも賭博をやっては負け続け、その負債額は2000ドルに及んだ。事情を知ったアランはポーの生活費の借金は返済してやったが、賭博の負けは絶対に返済しようとしなかった[16]。
陸軍、士官学校時代陸軍時代のポーが最初に配属された、ボストン港にある独立砦。

借金を抱え大学を辞めざるをえなくなったポーは、1827年3月に家出同然にリッチモンドの実家を出てボストンに向かった。ボストンに着いてからはアンリ・ル・ランネという偽名を使い、店員や新聞記者のアルバイトをして生活費を得ていたが[17]、5月になってエドガー・A・ペリーという偽名を使い、また年齢も18歳を22歳と偽って、アメリカ合衆国陸軍に入隊した[18]。最初の配属先はボストン港内にある砦で、給与は月5ドルであった[17]。その一方で、ポーはボストンで自分の詩集を出版するための印刷業者を探し、同年7月に第一詩集『タマレーン、その他の詩集』を出版している。しかし「一ボストン人」の名で出版された40ページのこの詩集は、事実上何の反響も起こさなかった[19]。

1827年11月、ポーの連隊はウォールタム号に乗ってサウスカロライナ州のムールリ砦に移動した。ポーは大砲の弾を準備する特別技術兵に昇進し、給与も二倍になった[20]。1828年にはヴァージニア州にあるモンロー要塞に移り、ポーは翌年1月、下士官が到達できる最高の階級である特務曹長に昇進した。しかしポーは5年ある勤務期間の早期除隊を希望するようになり、指揮官のハワード中尉に自分の本名と年齢を明かした上で相談した。彼はポーに、義父のジョン・アランに連絡を取るよう指示し、ポーはアランに手紙を送ったが、この手紙は無視された。しかし1829年2月28日に義母のフランセスが死去し（ポーは電報を受けてリッチモンドに戻ったが、既に死去した後だった）、このことがアランの態度を和らげたのか、彼はようやくポーの希望通り除隊の上でウェスト・ポイント陸軍士官学校に入学することを許可した[21]。

ポーは4月に除隊したが、しかし士官学校の入学者は既に定員に達しており、入学は翌年の7月まで待たなければならなくなった。その間リッチモンドで生活する気になれなかったポーは、実兄ヘンリーが引き取られているボルティモアの父の実家を訪れることにした。祖父にあたる「ポー将軍」は既に死去しており、ここには祖母にあたるエリザベス・ポー、その娘のマライア・クレム、その子供のヘンリーとヴァージニア、そしてポーの実兄ウィリアムが住んでいたが、ポーの予想に反し、祖母の年金と叔母のわずかな収入を頼りに非常に貧しい生活をしていた。ポーはこの家での滞在を諦め、ボルティモアに安アパートを探すことに決めた[22]。またこの間、ポーは第二詩集の出版を計画していたが、義父アランに頼んだ出版費用が送金されず企画倒れに終わった。しかしその後、長詩「アル・アーラーフ」が複数の雑誌に掲載されたことから世間の注目を集め、12月にボルティモアのハッチ・アンド・ダニング社から『アル・アーラーフ、タマレーン、および小詩集』と題した第二詩集を出版することができた[23]。

1830年7月、ポーは入学試験を経てウェスト・ポイント陸軍士官学校に入学した。しかしここでの生活はポーが想像したほど自由なものではなく、詩も小説も読むことを禁じられていた[24]。この年の10月、義父ジョン・アランはルイザ・パターソンと再婚するが、この結婚と、さらに彼が別の恋人との間に婚外子をもうけていた問題でポーと口論になり、その結果義父により勘当が言い渡された[25]。