19世紀半ばまでは、先住民族であるサン人の小さな集落のひとつにすぎなかった。
オランダ人の入植

1853年のトランスヴァール共和国成立以降も、開拓のためオランダ系移民のボーア人が定住したとは言え、大きく変わるものではなかった。しかし、1886年にウィットウォーターズランド（『白水の峰』を意味するアフリカーンス語）の金鉱脈が発見され、アフリカ各地からの移住者が増加した。一方、かねてより自国の南ア拠点であるケープ植民地の勢力伸長を狙っていたイギリスは、この機会をとらえて1890年にセシル・ローズ率いる入植民部隊を南ローデシア（現ジンバブエ）に投入し、金鉱の利権を巡ってボーア人側との緊張を高めていった。

この結果として19世紀末から20世紀初頭にかけて戦われたボーア戦争において、イギリスはボーア人に勝利して金鉱をおさえた。ただ、その後、イギリス人とボーア人は和解し、黒人の権利を踏みにじりつつ鉱山労働などで酷使するアパルトヘイト政策（1948年?1994年）を施行していった。
アパルトヘイト時代

アパルトヘイト統治時代、市内はアフリカーナー（ボーア人）とイギリス系が住む白人居住区と、アフリカ系やカラードなど有色人種が住む黒人居住区に分断され、黒人の白人居住区への立ち入りを厳しく制限した。殊に、1959年のバントゥー自治促進法の公布にあたっては、ヨハネスブルグにおいてもアフリカ人居住地域ソフィアタウンが取り壊され、約6万人の住民が市域南部のソウェトに強制移住させられた。白人居住区にはさまざまな優遇政策が実施され、ソウェトの住民の不満は高まっていった。1976年に至り、学生を中心としたアフリカ系住民による大規模な暴動であるソウェト蜂起が勃発し、国内外に波紋を投げかけることとなった。この事件をひとつの契機としてアパルトヘイト政策は曲がり角を迎え、1994年にようやく全面廃止されるに至った。
アパルトヘイトの廃止後

この廃止を受けて旧白人・黒人居住区間の移動制限が撤廃されたため、1990年代には職を求めてアフリカーナー居住区に多くのアフリカ系とカラードが移住した。しかし現実には彼らのほとんどは職を得ることができなかったため、失業者による犯罪が多発し、市内の治安が極端に悪化していった。
21世紀

2000年に周辺の自治体と合併し、ヨハネスブルグ市都市圏が発足した。

2002年には「持続可能な開発に関する世界首脳会議」が開催された。これは、1992年にリオデジャネイロで開催された地球サミットを受けたものである。

この国際会議において、「持続可能な開発に関するヨハネスブルグ宣言」が出された。

しかし依然として、金鉱での採掘が難しくなってきたことなどによる経済の悪化や、人口流入や失業者による治安の悪化、さらに、治安の悪化を理由とする富裕層や企業の移転にともなうさらなる経済の悪化といった悪循環が起こってきた。また、犯罪多発とともに、エイズの蔓延の問題も、近代都市・国際都市としてのヨハネスブルグの暗部であり続けている。
政治
行政区域の変遷

アパルトヘイト廃止以前は、ヨハネスブルグ市内には人種居住区別に11の行政区（アフリカーナー行政区7・アフリカ系、カラード行政区4）が設置されていた。行政区域はきわめて非効率的で、市政府は税支出の90%をアフリカーナー居住区に、アフリカ系やカラード居住区への税支出は10%にすぎなかった。

1995年に、アパルトヘイト廃止にともない成立した市政府は、税支出の民族別不均衡の是正に取り組むと同時に、民族別居住区の撤廃を実施した。

1999年に、周辺の自治体と合併することで市域の拡大を行い、ヨハネスブルグ市都市圏が発足した。このとき、市内を民族構成や地域構成を基に約30万人を目安とした新たな11行政区・109地区に再編した[16]。

2006年2月、市政府は行政サービスの効率化を図るため、市議会の議決を経て7行政区へ再編した[17]。
行政F区のヒルブロウ・タワー

市長：タペロ・アーマド（Thapelo Amad、2023年1月27日就任）

議会
市議会

市議会議長 -

市議会構成 -

治安有刺鉄線を張り巡らす商店

ヨハネスブルグは、世界の中で甚だしく治安の悪い犯罪凶悪都市のひとつとされる。アパルトヘイト時代は比較的良好だったヨハネスブルグの治安は、見る影もなく悪化した。

実際に、南アフリカ共和国は都市部での犯罪性向が強い。2011年に発表された犯罪統計によると、主要都市が所在する3州（ヨハネスブルグを含むハウテン州、西ケープ州、クワズル・ナタール州）で、南アフリカ共和国における殺人事件の59.1%、住居侵入強盗事件の73.5%、性的犯罪の56.4%が発生している。さらに南アフリカ全体での犯罪件数も多く（殺人が年間1万5,940件（1日あたり43.6件）、殺人未遂が1万5,493件（1日あたり42.4件）、武装強盗が10万1,463件（1日あたり277.9件）、強盗が5万4,883件（1日あたり150.3件）、強姦を含む性犯罪が6万6,196件（1日あたり181.3件）発生した[18]。

なお、これらの数字および被害者の数の多くはギャング同士の抗争や酒場での喧嘩が原因で、観光客がこの被害に遭うことは少ないとする意見もある[19]。しかし、実際はヨハネスブルグでは昼間であっても、犯罪多発地区への立ち入りは非常に危険であり、日本の外務省などは、そのような地区への立ち入りはしないように勧告している[20]。

とりわけヨハネスブルグ中央部界隈の治安の悪さは、戦時下にない地域としては世界でもワーストクラスとなってしまった。どの店でもショーウィンドウには鉄格子が据えつけられ、治安の悪い地区には有刺鉄線が張りめぐらされた商店もある。

ヨハネスブルグ中心部のヒルブロウにあるポンテタワーは、白人が去りギャングが制圧した建物で、この周辺の治安が特に悪化している。

治安の悪化によって、富裕層から中産階級層のオフィスや居住地は北部のサントン地区などの郊外へ移転し始めた。彼らが移住して行った先の地区は中心部にホテルが併設された大型ショッピングセンターが存在するなど、地区内で生活が完結する一種のゲーテッドコミュニティとなっている。これらの高級施設や区画は、高圧電線、窓の鉄格子、電子防犯装置、銃火器で武装した警備員、警備犬の巡回によって、治安は比較的良好に保たれている。
背景ヨハネスブルグの中でも危険度が高いとされるヒルブロウ地区。治安悪化にともない白人富裕層が逃げ出したこともあり、近代的なビル群が林立するわりには車道の交通量が不自然に少ない。

ヨハネスブルグにはアパルトヘイト廃止後、職を求めて国内からは元より、国外からも不法入国者を含めて、多くのアフリカ系黒人とカラードが一挙に流れ込んだ。しかし、アパルトヘイト時代の黒人に対する教育環境は非常に貧しく、非識字者が多いことはもちろんのこと、四則計算のような算数の初歩程度の知識すら有さない者も多い。南アフリカ共和国に隣接する国家から流入する者も同様である。こうした初等教育すら受けていない黒人たちが高層ビルの林立する近代都市で職を得ることは難しい。その結果、一部の者を犯罪へ駆り立て、多くの犯罪組織が作られることとなり、ヨハネスブルグの治安は急速に悪化した。これを嫌った白人富裕層は、ヨハネスブルグからサントンなどの近郊へと移住し、さらに企業も移転していった。こうした悪循環でヨハネスブルグではますます仕事の機会がなくなり、ついには街の一部（ヨハネスブルグ中心部など）は完全なゴーストタウンと化した。写真にある近代的な高層ビル群や高級マンションには、逃げ出した白人たちに代わって、周辺諸国からの不法移民や市街地に流れ込んできた貧困層の黒人たちが、不法入居者として住みつき、麻薬取引を始めとする犯罪の温床と化した。

また、南アフリカの都市では、経済的な貧困に加えて、すでに死因の1位となっているエイズ蔓延による深い絶望感、さらにアパルトヘイト時代に鬱積した不満の反動とが複雑に絡み合い、銃器が簡単に入手できる環境から、実に簡単に殺害行為が引き起こされるようになってしまった。