シュペーアは1930年12月のビアホールでの党集会に参加したが、後に、当時は若者の一人として政治にはあまり関心も知識もなかったと主張している。彼はこの時にヒトラーをはじめて見たが、党のポスターに描かれているような茶色の制服姿ではなく身なりのきちんとした青いスーツ姿で参加していたことに驚いた[11]。シュペーアはこのときヒトラーの説く、共産主義の脅威やヴェルサイユ条約の破棄といった問題への解決方法に影響されたこともさることながら、何よりヒトラーという人物に強い影響を受けたと述べている[12][13]。数週間後、シュペーアはまた党集会に出席したが、このときの司会はヨーゼフ・ゲッベルスであった。ゲッベルスが聴衆を逆上に追い込み感情を煽るやり方にシュペーアは嫌な思いをさせられたものの、ヒトラーから受けた強い印象を忘れることができなかったという[14]。1931年3月1日、彼は国民社会主義ドイツ労働者党（ナチ党）に入党した。党員番号は 474,481 であった[15]。党内で数少ない自家用車の所有者として国民社会主義自動車軍団（NSKK）に入団した[16]。

1932年春に助手としての給料が下げられ、更に助手の期限が切れたのを機にシュペーアはテセノウの下を離れ、ベルリンからマンハイムに戻った[17]。マンハイムで建築家として独立して仕事を始めた[17]。しかし父親から回してもらった貸し店舗の改築ぐらいしか仕事はなかったという[18]。

1932年7月、ナチ党の選挙運動のためにベルリンへ赴いた際、ナチ党ベルリン大管区組織部長カール・ハンケ（シュペーアは彼の別荘の改築を無償で請け負った事があった[19]）がベルリンの党大管区の建物の改修を計画していたベルリン大管区指導者ヨーゼフ・ゲッベルスにシュペーアの事を紹介した[20]。これがシュペーアにとって重大な転機となった[21]。シュペーアはこの仕事に熱心に取り組んだ。ゲッベルスはこの時期11月6日の国会議員選挙の選挙活動に忙しく、たまに視察に現れるぐらいであったが、改築作業が終わった後にはシュペーアに宛てて「非常に短い期間であったにもかかわらず、貴殿が改築を期限内に終わらせ、その結果すぐに新しいオフィスで選挙活動に邁進できた事を、我々は極めて心地よく感じている。」と書いて送っている[22]。

この仕事が終わった後、シュペーアはマンハイムに戻った[23]。1933年1月30日のアドルフ・ヒトラーの首相就任もマンハイムで聞いた[24]。1933年3月に宣伝大臣秘書官カール・ハンケから再びベルリンに招集され、宣伝大臣ゲッベルスの国民啓蒙・宣伝省の建物改修を任せられた[25]。ヒトラー初期のお気に入り建築家、パウル・ルートヴィヒ・トロースト。ヒトラーは自らも建築家でありたいと思っていたが、大家のトローストには意見しにくく、共同作業が可能な若いシュペーアを歓迎した[10]。

ゲッベルスはシュペーアの仕事ぶりに感銘を受け彼をヒトラーに紹介し、ヒトラーは彼のお気に入りの建築家である新古典主義建築家のパウル・トロースト（ドイツ語版）教授が行なっていた総統官邸の改修を手伝うよう命じた[26]。シュペーアはヒトラーの依頼に応え、総統官邸のうちヒトラーが大衆の前に姿を見せるためのバルコニーを追加するという貢献を見せた[27]。シュペーアはこうしてヒトラーの内輪の仲間の重要な一員かつ親しい友人となり、ナチ党の中でも独特の地位を得た。シュペーアによれば、ヒトラーは官僚的と見た人物には強い軽蔑を隠さず、一方でシュペーアのような芸術家の仲間たちには、彼自身がかつて建築や芸術への野心を持っていたためにある種の絆を感じたのか、非常に尊敬した態度を見せていた。
党主任建築家ヒトラーと「ドイツ・スタジアム」の建設現場を視察するシュペーア（1938年3月21日）

1934年1月21日にトローストが死去し、シュペーアが党主任建築家の地位を引き継いだ[28]。主任建築家となってからの彼に与えられた初期の仕事は、レニ・リーフェンシュタールの映画『意志の勝利』の舞台となり、彼の業績の中でももっとも有名なニュルンベルクの党大会会場であった[29]。自伝で彼は、最初のデザインではパレード会場がまるで「射撃祭（ドイツ語版）」に見えてしまうと自嘲気味に語っている。彼は一からデザインを作り直し、党大会広場の設計図を完成させた。

広場は古代アナトリアのヘレニズム期の建築、「ペルガモンの大祭壇」（ベルリンのペルガモン博物館に収められているもの）のドーリア式建築を参考とし、これを24万人を収容できる巨大な規模に拡大したものであった[30]。1936年の党大会では、シュペーアはパレード会場を130基の対空サーチライトで囲み、夜間には垂直に照射して光の大列柱を作り出した[31]。この「光の大聖堂」のヴィジュアルインパクトは今も語り草となっている。以後1938年まで毎年9月、この会場はニュルンベルク党大会のために使用された。シュペーアはニュルンベルクで他にもさまざまなナチ党の建築を計画したが、殆どは実現しなかった。例えば、オリンピックに代わる競技大会の会場となる、40万人収容のスタジアム、「ドイツ・スタジアム」（de:Deutsches Stadion (Nurnberg)）はその一例である[32]。

これら党建築の設計に当たり、シュペーアは「廃墟価値の理論（ドイツ語版）（Ruinenwerttheorie）」を創案した[33]。ヒトラーが熱烈に支持したこの理論によれば、今後新築されるすべての建築は、数千年先の未来において美学的に優れた廃墟となるよう建築されるべきだということであった[33]。