直家の子・宇喜多秀家は、豊臣政権下で父の遺領をほぼ継承し、57万4,000石の大大名となる。これに相応した城とするため天正18年 - 慶長2年（1590年 - 1597年）の8年間にわたる大改修が行われ、近世城郭としての体裁を整えた。秀家は「岡山」に本丸を構え、石山城の本丸を二之丸内郭に、二之丸を西之丸とし、そして内堀を挟んで二之丸、その西に三之丸の郭を整備した。これらは織豊系城郭に特徴的な高石垣の積まれた城である。本丸は本段、中の段、下の段に分かれた構造で、本段の北寄りに金箔瓦を使用した壮麗な4重6階の望楼型天守を建てた。そしてそのままでは本丸の東側の守りが極めて薄い構造となったため、旭川本流を城郭の北から東側に沿うように極端に寄り添わせる形とし、天然の堀としている。ただしこの付け替えによる明らかに不自然な形の流路は、城下に洪水を多発させる原因となり、やがて放水路としての百間川の整備へとつながる[注釈 5]。そして城を南から取り巻くように西国往来の道筋を変えて、直家時代の城下町を拡大整備し、引き続き領内の有力商人を勧誘して経済活動を発展させるよう努めた。築城には義父となった秀吉の意向が大いに働いていると言われている[注釈 6]。

こののち城は「岡山城」、城下町は「岡山」の呼称が定着した。
江戸時代岡山城天守の古絵図月見櫓（国の重要文化財）西之丸西手櫓（国の重要文化財）

慶長5年（1600年）、関ヶ原の戦いで西軍の主力となった秀家は八丈島に流刑となり、宇喜多家は改易となった。代わって小早川秀秋が備前・美作52万石の領主として入城した。秀秋は本丸中の段を拡幅し、三之丸の外側に15町余の外堀を掘り三之外曲輪の整備をして城下町の拡大を行った。この外堀工事に農民だけでなく武士も使役し20日で完成したため、「廿日堀、二十日堀（はつかぼり）」と呼ばれている[5]。慶長六年には、中の段南隅に沼城天守を移築したとされ、これは大納戸櫓と呼ばれ、岡山城最大の櫓で二層の大入母屋造りの上に望楼を乗せた形式の三層四階の櫓であった[6]。秀秋は2年後の慶長7年（1602年）10月に岡山で急死し、嗣子がなく小早川家は断絶した。

慶長8年、備前28万石は播磨姫路城主池田輝政の次男忠継に与えられたが、幼少（5歳）であったので兄の利隆が「備前監国」として代政した。利隆は「石山」の西端の西之丸を整備したと言われている[注釈 7]。慶長18年（1613年）に忠継は岡山城に入ったが、慶長20年（1615年）に死去した[注釈 8]。

元和元年（1615年）、忠継の弟・忠雄が淡路より31万5千石で入封した。幕府の格式に見合った城とするため、忠雄は本丸中の段を大幅に北側に拡張し、本段の御殿に加え新たに表書院も設けている[注釈 9]。また大手の南門を造り替え、城下の西端を限る用水路の西川を整備するなど、ここに岡山城の縄張りが完成する。重要文化財に指定されている月見櫓はこの頃の創建とされ、中の段の北西角の隅櫓で一部地下付き、本葺き、総白漆喰塗籠の壁仕上げの二階建てである。城外からは二層の望楼型、城内からは三層に見える。

江戸期の縄張は「岡山」に本丸、二之丸内郭（東南の郭）、「石山」付近に二之丸内郭（西の郭）、西の丸が置かれそれらの南に二之丸、その西南に三之曲輪[注釈 10]、中堀の外に三之曲輪の内、西に三之外曲輪の内と言う配置である。本丸には天守の他に3つの御殿、大納戸櫓を含む高層（3層以上）の櫓が9棟（城全体では11棟）、さらに2層の櫓、櫓門が多数あった。石山の二之丸内郭には池田家祖廟、西之丸に前藩主の隠居所がおかれ、二之丸内郭（東南の郭）、二之丸は上級武士の屋敷地であった。三之曲輪と三之曲輪の内の北側には西国往来が通り、町人地として領国経済の中心となっていた[注釈 11]。三之曲輪の内の南半分は小早川氏時代の武家地であり、三之外曲輪は武家地、外堀を隔てて寺町や下級武士の屋敷や町人町がさらに広がっていた。

寛永9年、（1632年）忠雄の子・光仲が因幡鳥取へ転封し、入れ代わって因幡鳥取から池田光政が31万5千石で入封した。光政は利隆の子であり、姫路城で生まれたが、父の死後元和元年（1615年）に鳥取城主となっていた。以後、幕末まで光政系池田氏の居城となる。

寛文6年（1669年）?貞享3年（1686年）にかけて百間川の改修整備が実施され、貞享4年（1687年）からは光政の子・綱政により14年の歳月をかけて後楽園[注釈 12]を造営する。周囲を土塁と竹垣[注釈 13]で囲み、庭園の形をとるものの城を守る郭の役割を期待していたとされる。ともに郡代津田永忠によるものであり、永忠は閑谷学校、藩の新田開発などにも手腕を発揮した。

光政によって正保二年(1645年)に遷宮された東照宮(現在、玉井宮東照宮)が、岡山城の鎮守として存在する。この神社には岡山一の祭礼である東照宮御神幸がある。御神幸の際、岡山城まで御神幸の列が途切れ事無く続き、藩主の御拝礼の後、御還御していた祭礼である。
明治時代以降

明治2年（1869年）の版籍奉還により藩主・池田章政は岡山藩知事に任ぜられ、岡山城は藩の府城たる役割を終えて兵部省管轄、つまり存城となった。明治6年（1873年）の廃城令により順次建物の取り壊し・堀の埋め立てが行われていき、明治15年（1882年）頃までには、天守・月見櫓・西之丸西手櫓・石山門を残すのみとなった。明治23年（1890年）、旧藩主池田章政に払い下げられた後、池田家は岡山県に提供し、明治29年（1896年）には本丸趾に県立岡山中学校が建てられた。随所にあった堀の埋め立ては何度かに分けて行われた。

こうして昭和初期頃までには城跡と見受けられるのは本丸を残すのみとなり、五重の濠に囲まれた巨大な城郭は市街地へと姿を変えた。
昭和時代

ここからは年表形式にて、主なできごとを紹介する。岡山城の航空写真（1931年）

1931年（昭和6年） - 天守が国宝に指定。


1945年（昭和20年） - 6月29日の岡山大空襲で天守・石山門を焼失。

1950年（昭和25年） - 文化財保護法の施行により、焼け残った月見櫓・西之丸西手櫓が重要文化財に指定。

1964年?1966年（昭和39年?昭和41年） - 天守を鉄筋コンクリートにて再建。同時に不明門・廊下門・六十一雁木上門・塀の一部も再建。現在の天守は瓦に桐紋が使われるなど、秀家当時のイメージで再建されている。なお、天守再建時に本来の出入り口である塩蔵の出入り口の他に、天守台に正面出入り口としてもう一つ出入り口を設けた。現在はこちらから直接天守地階に入るようになっている。

1987年（昭和62年） - 「岡山城跡」として史跡に指定。

平成時代

1996年（平成8年） - 築城400年記念事業として、創建当時の天守には金の鯱が載っており金烏城と呼ばれていたことから金鯱を施す。

2006年（平成18年） - 日本100名城（70番）に選定。

2014年（平成26年） - 1月21日までに本丸下の段での発掘調査にて、軍事倉庫として使われたとみられる「槍櫓（やりやぐら）」と「旗櫓（はたやぐら）」の遺構が出土、「御城内御絵図（おんじょうないおんえず）」（1700年作製）にはない石段跡も見つかる[7]。

令和時代

2021年（令和3年）7月30日から2022年（令和4年）11月まで耐震補強などを含めた「令和の大改修」が行われている[8][9]。
天守焼失前の岡山城天守（1934年（昭和9年））焼失前の岡山城天守再建天守

岡山城天守は国宝に指定されていたが、1945年（昭和20年）の岡山空襲で焼失してしまった[10]。

外観復元天守は1966年（昭和41年）に完成したが、これは後に建築家となる岡山市出身の早稲田大学理工学部建築学科の学生が戦前に卒業論文のためにまとめていた実測図がもとになっている為、初代天守の内部構造は分かっている。[10][11]。ただし、再建天守と焼失以前の岡山城について、外観は変わっていないとする資料と外観にも違いがあるとする資料に分かれている[12]。また、外観の色に関する記録は残っておらず、再建時に市がどのような判断をしたかや、1996年（平成8年）の初めての塗り直し時の塗料の基準もよくわかっていない[10]。岡山城は烏城と呼ばれているが、外観の色に関する資料は永山卯三郎の「県通史」に簡単な記述がある程度とされる[10]。又、名古屋城のように古写真も残っていて消失前の天守の内部には他の城の天守には見られない御殿のような書院造りの部屋もあった。