設立当初のキングズ・カレッジのキャンパスはウォール街付近のトリニティ教会敷地内に置かれ[注釈 2]、サミュエル・ジョンソン教授1人と学生8人で開始した[注釈 3]。アメリカ合衆国独立以前に創立されたコロニアル・カレッジ9校のうち、イギリス国王の勅許により設立されたのは、コロンビア大学とウィリアム・アンド・メアリー大学の２校のみである。

1784年州法により「コロンビア・カレッジ」（Columbia College）と改称され、1896年に大学院の設置とともに「コロンビア大学」（Columbia University）となった[11]。

コロンビア大学が最初に大きな成果を挙げたのは理工学分野である。X線写真・FM放送・MPEG2技術等は工学部の研究成果の一例で、米国初の原子核分裂もコロンビア大学で成功している（1939年）。レーザーやメーザー、MRIの技術も物理学部で開発されており、これまで35人がノーベル物理学賞を受賞した。

医学教育の歴史も古く、米国初の医学博士号は同校メディカル・スクールで授与されている。また政治学科が世界で最初に設置されているほか、人類学科は米国初の設置である。キャンパス中央に位置するロウ記念ホール (Low Library)

伝統的に地域研究に力を入れており、米国の対外政策にも大きな影響を及ぼしてきた。7つの地域研究所と12の研究センターで全世界を網羅し、地域研究所の数としては全米最多である。アジア地域専門のウェザーヘッド東アジア研究所、その上位機関の国際公共政策大学院、ロシア研究拠点として米国最大規模のハリマン研究所などには世界各地から研究者が集まっている。また、アメリカで唯一日本経済を専門とする日本経済経営研究所がある。

人文学研究では、イディッシュ語を中心とするユダヤ文化研究、映画理論を中心とする表象文化研究などの分野で世界的に著名な研究者を数多く擁する。また、1912年にジョーゼフ・ピューリツァーの寄付により設立されたジャーナリズム大学院は、アイビー・リーグ唯一のジャーナリズム大学院である。ピューリッツァー賞の選考委員会も同校に設置されており、毎年4月にキャンパスで受賞者が発表される[12]。

世界各国で国家元首となった卒業生が多く、毎年9月、国連総会が開催される時期に各国の大統領、首相、外相等をキャンパスに招待したシンポジウムが開催されている。一方で伝統的にリベラルな校風でも知られており、1968年に起こった大学紛争（en: Columbia University protests of 1968）は、1968年に全米で学園紛争が拡大するきっかけとなった。

大学のマスコットは獅子。ロゴはイギリスの国章に着想を得ており[13]、1910年頃から使われている。大学のロゴである王冠はキングズ・カレッジ時代から引き継がれた。

校訓は「汝の光によって我等は光を見る」（In Thy light shall we see the light）。旧約聖書・詩編36編9節の一節から取られている。
著名な関係者詳細は「コロンビア大学の人物一覧」を参照ロウ記念ホール前のアルマ・マーテル像

大学の公式発表によると、1901年から2023年までにノーベル賞を受賞した教員や卒業生は87人にのぼる（en:List of Nobel laureates affiliated with Columbia University）。2000年以降の受賞は以下20人である[5]。また2024年の時点でコロンビア在籍中の教員に、受賞者は10人いる[5]。

化学賞 - ウィリアム・ノールズ（2001年）、ロバート・グラブス（2005年）、マーティン・チャルフィー（2008年）、ロバート・レフコウィッツ（2012年）、ヨアヒム・フランク（2017年）、ルイ・ブラス（2023年）、計6人

経済学賞 - ジェームズ・ヘックマン（2000年）、ジョセフ・E・スティグリッツ（2001年）、エドムンド・フェルプス（2006年）、アルヴィン・ロス（2012年）、計4人