第二次世界大戦後、彼は戦死した兄ジョセフ・P・ケネディ・ジュニアに代わり政界に入った。1946年にジェームズ・M・カーレイがボストン市長になるために民主党下院議員を辞職した時、ケネディはその議席をかけた選挙に立候補した。父のジョセフが実業家であったこともあり、政治資金には困らなかったので、実現不可能な公約をする必要はなく理想主義を語ることができた。長く精力的なキャンペーンの末に、大差で共和党候補に勝ち、29歳で下院議員となった。当初は父のジョセフとコネがあった同じアイルランド系のマッカーシー上院議員の赤狩りに協力していた。リベラル派のエレノア・ルーズヴェルトはそのことを忘れず、後々までケネディを嫌っていた。下院3期目の1952年には上院議員選挙に出馬し、約70,000票の票差で共和党候補ヘンリー・カボット・ロッジ・ジュニアを破った。以後の彼の支持基盤は北部都市圏のリベラル派インテリ層となる。
ケネディは1953年9月12日にフランス系移民の名門の娘であるジャクリーン・リー・ブーヴィエと結婚した。彼はその後2年間に多数回の脊柱の手術を受け上院本会議を長期にわたって欠席したが、手術から回復するまでの間、8名の上院議員の政治的に勇敢であった行為についての本「勇気ある人々」を出版した。この本はその後ピューリツァー賞を受賞したが、代作の噂が生じた[要出典]。
ケネディは組織犯罪と労働組合の腐敗を追及する上院マクレラン委員会の委員として名を連ねていた。実弟の司法長官ロバート・F・ケネディはこの委員会の首席顧問として司法省から回され検事役を務めた。この委員会による最大の功績は、アメリカ一の組合員数を誇ったトラック運転手組合チームスター組合とマフィアとのつながりを明らかにしたことである。これによりチームスター組合のボス、ジミー・ホッファとマフィアの深い関係が暴かれ、以後ケネディ兄弟対ホッファ、及びケネディとホッファと関係の深かったマフィアの因縁の対立が始まる。
また、マクレラン委員会はバティスタ政権下(1959年にカストロが政権を握る前の独裁者政権)のキューバからのヘロインの中継基地が、南部の港湾都市で、港湾労働者組合をマフィアが抑えていたニューオーリンズであると特定した。この委員会の活動によりケネディ兄弟は知名度を高めた。
11月8日の総選挙は歴史に残る接戦でリチャード・ニクソンに勝ったが、43歳で当選したケネディは最も若い大統領および最初のカトリック教徒だった(セオドア・ルーズベルトはケネディより若い42歳で大統領になったが、ウィリアム・マッキンリーが暗殺された後を埋めるため自動的になったもので、選挙で選ばれた大統領はケネディが史上最年少である)。その選挙運動に関するセオドア・H・ホワイトの1961年の著書『 The Making of the President 1960 』は、ベスト・セラーであるだけでなく、しばしば高校と大学のアメリカ政治と歴史のコースの中で補足のテキストとして使用される。
Theodore Harold White , " The Making of the President 1960 " (ピューリッツァー賞受賞)
T.H.ホワイト・著、渡辺恒雄・小野瀬嘉慈・訳 『大統領になる方法』(上巻・下巻の全2巻) 弘文堂 1964年
シオダー・H.・ホワイト・著、渡辺恒雄・小野瀬嘉慈・訳 『大統領への道』(フロンティア・ライブラリー) 弘文堂 1965年 (『大統領になる方法』の改題新装版)
ケネディは民主党予備選挙に7度出馬し全て勝ち抜いたが、民主党幹部はカトリック教徒である彼が大統領候補になれば民主党は勝てないと判断した。彼らの声を代表して元大統領のハリー・S・トルーマンはミズーリ州インディペンデンス市で記者会見を行い、テレビを通じてケネディに出馬を思いとどまるよう訴えた。ケネディはこれを逆手にとってニューヨークで記者会見を開き、全ての予備選に出馬したのは自分だけであること、14年間の自分の政治経歴が大統領職に十分でないのであれば、トルーマン自身を含めて歴代の大統領の大部分が経験不足ということになること、44歳以下の人間が国家に対して責任ある地位に就けないのであれば、建国の父たちは存在し得なかったことを挙げて反論し、国民の支持を増した。
1960年7月13日、民主党大会においてケネディは大統領候補に指名され、副大統領候補にはテキサスの上院議員リンドン・B・ジョンソンを指名した。ケネディはその指名受諾演説でその後有名になる「ニュー・フロンティア精神」を掲げた。この演説の中でケネディはアメリカ国民に対し、「現状維持に固執するのではなく新しい未来への先駆者となるよう」呼びかけた。
この選挙では初めてテレビ・ディベートが取り入れられ、選挙に大きな影響を与えた。ケネディはマクレラン委員会の活動により名を高めていたとはいえ、現職副大統領のニクソンの知名度にははるかに及ばなかった。この事実を反映するように、テレビ・ディベートの直前に行われた支持率調査ではニクソンの支持率が勝っていた。しかし、ケネディはテレビ演説で好印象を残したことが幸いしてニクソンに勝利できたとされる。
ケネディの好印象の理由の一つは、ケネディが着ていたスーツの色と言われる。演説の時、ケネディは濃い色のものを、それに対してニクソンは薄い色のものを着ていた。