1937年にジョンソンはオースティン及び周辺町村を含むテキサス州第10下院議員選挙区の補選に出馬した。彼は妻の大きな支援を受けながら、ニューディール政策の推進を選挙公約に掲げて選挙活動を繰り広げ当選した。下院議員になるとフランクリン・ルーズベルトはこの若いテキサス人に関心を示し、新人議員にとって非常に重要な意味を持つ海軍軍事委員会の委員にジョンソンを指名した。また下院議員として、主に自身の選挙区に電気をもたらすことをはじめ地元発展のために奔走した。

1941年にジョンソンはテキサス州の現職上院議員の死去に伴い上院の補欠選挙に出馬する決意をして、民主党上院議員候補に名乗りを上げて現職テキサス州知事でラジオパーソナリティのW・リー “パピー” オダニエルと民主党候補指名を争った。当時のテキサス州は民主党の牙城で民主党での指名を得ることは即議員に当選すると言われた時代であったが、当時有名だった州知事を前にジョンソンは当初全く歯が立たないと予想された。しかし、力強い選挙活動を展開して、きわどい差まで追い込んだが結局ジョンソンは敗れた。
第二次世界大戦海軍少佐の制服に身を包んだジョンソン下院議員（1942年）

上院補選の選挙運動の終盤において、ジョンソンはもし戦争が始まったら招集に応じて戦地に赴き敵と戦うという公約を掲げていたが、程なくして1941年12月7日(アメリカ・ハワイ時間)朝、日本軍の真珠湾攻撃で、翌8日にアメリカは日本に宣戦布告し第二次世界大戦に参戦した。大戦中ジョンソンは海軍少佐として従軍し、銀星章、アジア太平洋従軍記章および第二次世界大戦戦勝記念章を受章した。しかし戦後になって銀星章受章の背景には極めて政治的な目論見があったことが臆測されるようになった。

1940年6月20日、下院議員時代に初めて平時の徴兵を行うための法案が議会に提出された時、予備役海軍少佐だったジョンソンは自身の招集を免除する約束を取り付けた上でこの法案に同意した。ところが翌年アメリカが大戦に参戦すると、一転して海軍省次官ジェームズ・フォレスタルに自分を非戦闘員として配置するよう求め、テキサスと西海岸の造船工廠の検査役となった。

アメリカ軍が各地で日本軍に対して劣勢な中、1942年春ごろになると、ジョンソンはルーズベルトに、今度はより戦闘地域に近い戦地に自らを配置にするよう求めた。情報が軍の指揮系統を経由する間に歪められることを予想したルーズベルトは、南西太平洋地域で信頼できる情報源を得たいと考えていた。そしてフォレスタルの提案により、ルーズベルトはジョンソンを南西太平洋の偵察隊に配置した。ジョンソンはオーストラリアのメルボルンで司令長官ダグラス・マッカーサーと会い、第22爆撃隊に配属された。偵察目標はニューギニア島にある日本海軍のラエ飛行場だった。司令官は外部の偵察員などかえって足手まといだと感じていたが、ジョンソンはその必要性を強く主張した。

1942年6月9日、ニューギニア付近のポートモレスビーおよびサラマヌアで勇気ある行動を見せた。南西太平洋地域の情報活動任務でジョンソンは戦闘に関する情報を直接得るために、ニューギニアのまだ日本が制空権を握っている空域で危険な任務を帯びた偵察を志願した。ジョンソンの搭乗するB-26マローダー爆撃機とともに偵察活動に出た部隊は日本軍の攻撃を受けたが、ジョンソンの搭乗機はその前にエンジントラブルで引き返しており、爆弾も投下せず、戦闘には参加していなかった[2]。マッカーサーはジョンソンと生き残った偵察員に最高位から3番目に位置する銀星章を授与した。

帰国後、ジョンソンは「我々の軍用機は日本の戦闘機にはるかに劣っていた」、「士気は高くなかった」などと正直に委員会に報告している。しかしその活動内容は非難を浴びたため、ルーズベルトは軍務に就く議員を議会に戻すことを命じた。
上院議員

1948年の大統領選挙と同時にジョンソンは再び上院議員選挙に挑戦、このときは民主党候補の指名を受けて、共和党候補を破り当選した。ジョンソンはその圧勝により「地滑りリンドン(Landslide Lyndon)」と呼ばれた。上院では軍事委員会の委員に指名され、1950年の後半には調査小委員会の結成に貢献した。その後この委員会の委員長となり、防衛費と予算効率の多くの調査を行った。これらの調査の結果によりジョンソンは他の議員の尊敬と共に全国的な注目を集めた。やがて彼は「論争を最小限に抑えて案件を処理する能力に長けている」と言われ、立法の魔術師というあだ名がつけられた[3]。

上院議員として数年の活動後にジョンソンはリーダーシップを発揮して、1953年には少数党院内総務に選出された。ジョンソンの最初の活動は委員会への選出から年功制を取り除くことであった。1954年にジョンソンは上院議員に再選され、民主党は上院で多数派となりジョンソンは多数党院内総務となった。そして「同僚議員を説得する力と他人を操作する技術」をフルに生かして本会議と委員会の運営を支配し多くの法案を成立させるために尽力した[4]。
1960年大統領選挙

ジョンソンは上院院内総務としての実績により、1960年大統領選挙で民主党における有力な大統領候補とみなされることになった。しかしこの年3月のニューハンプシャー州の予備選から勝ち上がってきたマサチューセッツ州選出の上院議員、ジョン・F・ケネディに獲得した代議員数で差をつけられて、またジョンソン自身の立候補宣言が遅すぎたこともあって7月の民主党大会で彼は409票を得たが、その2倍近い806票を得たケネディが民主党大統領候補に選出された。そして民主党大会の最終日にケネディが副大統領候補に指名したのは対立候補であったジョンソンであった。

リベラルな北部出身のケネディがジョンソンを副大統領候補に指名したのは、南部テキサス州出身のジョンソンと組むことで、南部の保守票を獲得することにあった。これは当時も現在も正副大統領の組み合わせで南北のバランスを取ることは普通のことであった。しかし当時の副大統領は閑職とされており、政権内部でリーダーシップを取ることはなく、この時ジョンソンの政治指南役で同じテキサス州のサム・レイバーン下院議長は副大統領候補を受諾したジョンソンに失望したとされ、フランクリン・ルーズベルト大統領時代に副大統領を務めた同じくテキサス州出身のジョン・ナンス・ガーナーは「副大統領なんぞ、たんつぼほどの値打ちもない」とジョンソンに語っている[5][注釈 1]。

同年11月、民主党のケネディ＝ジョンソンは小差で共和党のニクソン＝ロッジに勝利して、トルーマン大統領以来8年ぶりに民主党の大統領が誕生することとなった。
副大統領NASAで演説を行うケネディ（壇上）、その横にジョンソン

1961年1月に大統領就任後のケネディは、人種差別問題に関心の深いジョンソン副大統領を大統領雇用機会均等委員会の委員長に任命した。そのほかにも副大統領としてジョンソンはいくつかの執務を無難にこなした。内政についてはもともとニューディーラーであったジョンソンの見識の深さはやがて大統領になってから発揮されたが、外交について見識を深めることはなかった。

ベトナム情勢の悪化が進む中でケネディ政権は、アメリカ軍の正規軍人から構成された「軍事顧問団」の派遣と軍事物資の支援を増強することを決定、ケネディはジョンソンと国防長官ロバート・マクナマラを1961年にベトナムに派遣し情勢視察に当たらせた。ジョンソンはベトナム視察の報告書の中で「アメリカが迅速に行動すれば、南ベトナムは救われる」として早急な支援を訴え[7]、マクナマラも「我々は戦争に勝ちつつあると、あらゆる数値が示している」と報告し[8]、ケネディの決定を支持した。

副大統領在任中はケネディ兄弟の高い人気の陰に隠れて典型的な「外交儀礼用の副大統領」に終始し、ワシントン政界では「ほとんど何でもない男」であった。形式的な存在に過ぎず政権内では孤独であった[4]。ジョンソンは政権と議会の板挟みになった上に政権側がジョンソンの頭越しに議会と取引をすることもあり、もはやジョンソンが上院に復帰しても院内総務時代の指導力を取り戻すことは困難となった。それどころか、議員時代の立場と政権の方針の相違から、上院議員への復帰能力すら怪しくなっていた。1963年10月31日の大統領記者会見で「来年の大統領選挙で、副大統領候補はジョンソンとお考えですか？」という記者の質問に対してケネディは「その通り、答えはイエスです」と答えている[9]が、翌日のある新聞には「ジョンソンの首がつながった」という露骨な表現まで現れた。まさに大統領の胸三寸で政治生命が左右される状況で、ジョンソンにとっては忍耐の日々であった。
アメリカ合衆国大統領空港の大統領専用機機内で大統領就任の宣誓をするジョンソン。ケネディ大統領暗殺の直後のため機内で直ちに宣誓が行われた。 右隣は前大統領夫人のジャクリーン・ケネディ。 左隣は妻のレディー・バード・ジョンソン。
突如として訪れた一期目

1963年11月にケネディとジョンソンが副大統領の地元であるテキサス州を遊説することとなったのは、翌年の大統領選挙で保守層が強い南部諸州の中でテキサス州だけはどうしても勝たなければならないと考えたケネディが最初の遊説地に選んだのが発端であった。南部では、人種差別問題へのケネディの強硬な姿勢と公民権法案の議会提出により、政権への反感が高まっていた。

11月21日、ジョンソンはケネディに同行してテキサス遊説を開始した。最初の遊説地サンアントニオとフォートワースを訪ねた後、翌11月22日12時前にダラスのラブフィールド空港に到着。ダラス市内のパレードに際しては、ジョンソンの乗った自動車は、シークレットサービスの警護車を間に挟んで大統領夫妻の乗った車の2台後から進んで行った。現地時間12時30分、2発の銃弾を受けてケネディ大統領はオープンカーの後部座席で崩れるように倒れた[10]。