明治政府の殖産興業のスローガンの元、1895年の製鉄事業調査会設置、翌1896年3月30日の製鐵所官制発布、そして1891年の本格的な建設開始をえて、1901年2月5日に東田第一高炉で火入れが行われた。建設費は日清戦争で得た賠償金で賄われている。八幡村（現北九州市八幡東区）が選ばれたのは、軍事防衛上や原材料入手の利便性などが挙げられている。当時は、単に製鐵所と呼んでいた。操業当初、技術上の問題から故障が多発、銑鉄がほとんど取れず、11月18日の作業開始式では国の高官が集まっていた中、銑鉄の練成に失敗し、高官たちは茫然となってしまった。その後も銑鉄がほとんど取れず、それに伴い赤字が膨れ上がり、遂に1902年7月に操業を停止する事態となってしまった。
その後、1904年2月に日露戦争が勃発した。鉄の需要が急激に増えたため政府は製鐵所の操業再開を決め、急激な需要増に対応するよういち早い再開を求めたが、製鐵所を設計した東京帝国大学工学部教授・野呂景義は原因が分からないままでの再開はいけないと反対し、まず現場の者から聞き取り調査を行った。その声を元に[要出典]野呂は高炉を改良し、7月23日、高炉に再び火が入った。改良は成功、多くの銑鉄を得ることができた。その後も日に日に銑鉄の量が増していった。戦争が終わると今度は民間から鉄の需要が増え、技術革新、重工業の発展に伴う需要増加に応えるため、第一期拡張工事（1906年〜1910年）、第二期拡張工事（1911年〜1915年）、そして第一次世界大戦で大幅に増えた鉄鋼需要に応え、第三期拡張工事（1917年）、1927年には年間銑鉄生産量年100万トン計画が立案され、海に築く製鉄所の先駆けとなった洞岡高炉群の建設決定（1938年完成）と、次々と拡張してゆき、国内の大半の需要を八幡製鐵所が賄うようになった。
当初は農商務省管轄だったが、中央省庁再編によって1925年に商工省管轄となり、それは1934年の日本製鐵発足まで続いた。
第一次世界大戦後の不況により、製鉄企業の合理化が推し進められ、1934年1月29日に日本製鐵株式會社法により、官営製鐵所・九州製鋼株式會社・輪西製鐵株式會社・釜石鉱山株式會社・富士製鋼株式會社・三菱製鐵株式會社・東洋製鐵株式會社の官民合同で日本製鐵株式會社を設立した。この時官営製鐵所の名称が八幡製鐵所へと変更された。一連の出来事は製鉄大合同と呼ばれ、国内のシェアのほとんどを日本製鐵が占めることとなった。
日本製鐵になっても拡張は止まらず、1936年の珪素鋼板工場作業開始、1938年日本最初の1000トン高炉である洞岡第三高炉火入れ、初の日鉄式コークス炉である洞岡第五コークス炉作業開始と、日本製鐵の中心となっていた。
第二次世界大戦中は、1941年の航空機用鋼増産や翌年の重要事業所認定など日本鉄鋼業界の中心であったため連合軍の爆撃目標となり執拗な爆撃を繰り返されたが製鉄所は溶鉱炉の火を守り通した。しかし終戦まぎわの1945年には燃料不足によって二つの高炉が稼動停止する事態となった。
戦後は原燃料の不足や国内情勢の混乱などにより日本の鉄鋼業界は壊滅状態であったが、1946年に八幡製鐵所での集中生産が開始された。1949年にGHQの要請の元、アメリカの第一線技術者が八幡製鉄所に派遣された。日本からもアメリカへの技術調査団を派遣し、その後の鉄鋼業界の発展に一役買った。
1950年4月に「過度経済力集中排除法」により日本製鐵は八幡製鐵株式會社・富士製鐵株式會社・日鐵汽船株式會社・播磨耐火煉瓦株式會社に解体され、八幡製鐵所は八幡製鐵が所有することとなった。
1950年から1956年までの第一次合理化計画で、世界銀行の援助を受けながら、世界最大の50トン転炉建設など工場の近代化に努めた。また、海外企業との技術提携や合弁製鉄所建設など積極的な国際化を進めた。
1958年には戸畑製造所が発足、翌年東洋一の高炉が完成するなど、以後八幡地区から戸畑地区への移行が進んでいく。
1970年3月31日に八幡製鐵と富士製鐵株式會社が合併し、新日本製鐵株式會社が発足する。合併理由は過当競争の是正や国際競争力を強化するためとされる。およそ20年前の日本製鐵解体から再び合併する形となり、さらにあまりにも大規模な企業になることから大きな議論を巻き起こした。合併後は、「八幡マスタープラン」と呼ばれる目標を作り、八幡地区から戸畑地区への鉄源集約や最新機器を取りそろえた工場へと変貌していった。
1972年には東田第一高炉が休止された。その後も1990年に本事務所を八幡地区（枝光）から戸畑地区（飛幡町）へ新築移転するなど、さらに戸畑地区への集約が進んだ。
年表
1901年（明治34年）2月5日 - 官営製鐵所 東田第一高炉火入れ。
1901年（明治34年）11月18日 - 作業開始式。
1902年（明治35年）7月 - 高炉・転炉休止。
1904年（明治37年）7月23日 - 高炉再火入れ。
1913年（大正2年） - セメント製造開始。
1917年（大正6年）9月30日 - 九州製鋼株式会社設立。
1917年（大正6年）11月1日 - 東洋製鐵株式会社設立。
1919年（大正8年）5月12日 - 東洋製鐵の溶鉱炉火入れ。
1921年（大正10年）4月16日 - 東洋製鐵の工場を借入れ、戸畑作業所とする。
1928年（昭和3年）11月7日 - 九州製鋼の工場を借入れ、西八幡工場とする。
1930年（昭和5年）2月 - 専用鉄道（炭滓線）運転開始。
