1874年（明治7年）に起工し、土木技師リチャード・ブラントン設計の下遊廓跡地に公園、公園から港に向かって新道路が建設され、1876年（明治9年）に竣工した。それぞれが現在の横浜公園と日本大通りとなった。なお、この折に馬車道や海岸通りも整備されている。当時の関内は日本大通りを境に北西側が日本人居住地、南東側が外国人居留地（山下居留地）となっていたが、この公園は外国人と日本人の共同使用が認められた公園であったことから、「彼我公園」（ひがこうえん）と呼ばれた。

1878年（明治11年）7月、居留地の「横浜弄鞠倶楽部」の需に応じ、公園中央に楕円形の外人運動場（クリケットグラウンド）が設けられた。この運動場は料金を徴収して倶楽部に貸与するものだった[6]。

この運動場では1896年（明治29年）5月23日には日本で最初の野球の国際試合が旧制一高ベースボール部と外人クラブの間で行われた。

1901年（明治34年）12月7日には、後に慶應義塾大学ラグビー部となる同好会（バーベリアン・敷島クラブ合同チーム[7]）と、横浜の外国人スポーツクラブYC&ACが、日本初のラグビーユニオンの試合かつ日本初のラグビー国際試合を行った[8][9][10]。41-5でYC&ACが勝利したが、バックスの塩田賢次郎は、この国際試合で日本人初のトライを行った[11]。

1899年（明治32年）の居留地制度廃止に伴って公園は横浜市へ返還され、運動場の貸与期限は1909年（明治42年）に満了した。翌1910年（明治43年）にかけて、宮内省技師の茂出木朝二郎の設計による改修が実施された。日本における野球人気は確固たるものとなっており、公園中央のクリケットグラウンドは姿を消し、公園南東隅に野球場が建設された[6]。

1921年（大正10年）6月には横浜市内初の公立図書館として、園内の図書館建設事務所内に「横浜市立図書館仮閲覧所」を開設するも、1923年（大正12年）9月1日に関東大震災で全焼し、1926年（大正15年）3月20日に再建。1927年7月に野毛坂の旧老松小学校跡（現：横浜市中央図書館）に移転した[12]。

関東大震災では、横浜公園は避難所となり、また焼失した諸官公庁の仮庁舎が置かれるなどした。横浜市震災復興計画に基づき、横浜公園の復興工事が1925年（大正14年）4月18日に起工し、1929年（昭和4年）3月28日に竣工した。この工事で公園南東隅に横浜公園運動場（名称は運動場だが形状は野球場）、公園北西隅に横浜公園音楽堂（野外音楽堂）がそれぞれ建設された[6]。同年4月23日、昭和天皇による復興状況視察があり、公園内で奉迎式が行われた[13]。

1936年（昭和11年）11月には公園内の横浜市から無償貸与された敷地に神奈川県立武道館（神奈川県学務部所管）が開館した。

太平洋戦争後はアメリカ合衆国により、公園内の「フライヤー体育館」（FAC3618、接収期間:1952年7月26日[14]-1953年11月12日[15]）および「横浜チヤペルセンター」（FAC3672、接収期間：1952年7月26日[14]-1978年6月19日[16]）が接収された。

横浜公園運動場（野球場）はGHQ接収期間中にルー・ゲーリック・メモリアル・スタジアムと改称され、接収解除後の1955年（昭和30年）に当時の平沼亮三横浜市長によって横浜公園平和野球場と改称された。