明治政府の殖産興業のスローガンの元、1895年の製鉄事業調査会設置、翌1896年3月30日の製鐵所官制発布、そして1891年の本格的な建設開始をえて、1901年2月5日に東田第一高炉で火入れが行われ、同年11月18日には東京から多数の来賓を迎えて作業開始式が祝われた。建設費は日清戦争で得た賠償金で賄われている。八幡村（現北九州市八幡東区）が選ばれたのは、軍事防衛上や原材料入手の利便性などが挙げられている。当時は、単に製鐵所と呼んでいた。
当時の日本には近代的な製鉄事業に必要な知識経験がないため、最新技術を採用するという方針により、ドイツのグーテホフヌンクスヒュッテ（GHH）社に計画を依頼し、高い給料で多数のドイツ人技師を雇用して、操業が開始された。しかし、当初はコークス炉がなく、使用した鉄鉱石の性質も欧州とは異なるため、銑鉄の生産が予定の半分程度にとどまり、計画した操業成績をあげることができなかった。それに伴い赤字が膨れ上がり、遂に1902年年7月に操業を停止する事態となった。そこで、政府は調査委員会を設置し、その検討をもとに、コークス炉を建設し、原料も精選する方針が立てられた。
その後、1904年2月に日露戦争が勃発し、鉄の需要が急激に増えた。政府は、コークス炉の完成を受けて製鐵所の操業再開を決め、4月6日に第2次火入れが行われたが、わずか17日間で操業停止に追い込まれた。そこで、東京帝国大学工学部教授を退任して民間の技術指導に当たっていた野呂景義に、原因調査が依頼された。炉内をより高温に保つため、高炉の形状を改め、操業方法も改善するという野呂の提案を受け、高炉が改造され、7月23日に第3次火入れが行われた。この改良は成功し、その後は順調に操業を進めて、多くの銑鉄を得ることができた。そして、翌年の2月25日には、以前から建設が進められていた東田第二高炉に火入れが行われ、銑鉄の生産量がほぼ2倍になった。
戦争が終わると今度は民間から鉄の需要が増え、技術革新、重工業の発展に伴う需要増加に応えるため、第一期拡張工事（1906年?1910年）、第二期拡張工事（1911年?1915年）、そして第一次世界大戦で大幅に増えた鉄鋼需要に応え、第三期拡張工事（1917年）、1927年には年間銑鉄生産量年100万トン計画が立案され、海に築く製鉄所の先駆けとなった洞岡高炉群の建設決定（1938年完成）と、次々と拡張してゆき、国内の大半の需要を八幡製鐵所が賄うようになった。
当初は農商務省管轄だったが、中央省庁再編によって1925年に商工省管轄となり、それは1934年の日本製鐵発足まで続いた。
第一次世界大戦後の不況により、製鉄企業の合理化が推し進められ、1934年1月29日に日本製鐵株式會社法により、官営製鐵所・九州製鋼株式會社・輪西製鐵株式會社・釜石鉱山株式會社・富士製鋼株式會社・三菱製鐵株式會社・東洋製鐵株式會社の官民合同で日本製鐵株式會社を設立した。この時官営製鐵所の名称が八幡製鐵所へと変更された。一連の出来事は製鉄大合同と呼ばれ、国内のシェアのほとんどを日本製鐵が占めることとなった。
日本製鐵になっても拡張は止まらず、1936年の珪素鋼板工場作業開始、1938年日本最初の1000トン高炉である洞岡第三高炉火入れ、初の日鉄式コークス炉である洞岡第五コークス炉作業開始と、日本製鐵の中心となっていた。
第二次世界大戦中は、1941年の航空機用鋼増産や翌年の重要事業所認定など日本鉄鋼業界の中心であったため連合軍の爆撃目標となり執拗な爆撃を繰り返されたが製鉄所は溶鉱炉の火を守り通した。しかし終戦まぎわの1945年には燃料不足によって二つの高炉が稼動停止する事態となった。
戦後は原燃料の不足や国内情勢の混乱などにより日本の鉄鋼業界は壊滅状態であったが、1946年に八幡製鐵所での集中生産が開始された。1949年にGHQの要請の元、アメリカの第一線技術者が八幡製鉄所に派遣された。日本からもアメリカへの技術調査団を派遣し、その後の鉄鋼業界の発展に一役買った。
1950年4月に「過度経済力集中排除法」により日本製鐵は八幡製鐵株式會社・富士製鐵株式會社・日鐵汽船株式會社・播磨耐火煉瓦株式會社に解体され、八幡製鐵所は八幡製鐵が所有することとなった。
1950年から1956年までの第一次合理化計画で、世界銀行の援助を受けながら、世界最大の50トン転炉建設など工場の近代化に努めた。また、海外企業との技術提携や合弁製鉄所建設など積極的な国際化を進めた。
1958年には戸畑製造所が発足、翌年東洋一の高炉が完成するなど、以後八幡地区から戸畑地区への移行が進んでいく。
1970年3月31日に八幡製鐵と富士製鐵株式會社が合併し、新日本製鐵株式會社が発足する。合併理由は過当競争の是正や国際競争力を強化するためとされる。およそ20年前の日本製鐵解体から再び合併する形となり、さらにあまりにも大規模な企業になることから大きな議論を巻き起こした。合併後は、「八幡マスタープラン」と呼ばれる目標を作り、八幡地区から戸畑地区への鉄源集約や最新機器を取りそろえた工場へと変貌していった。
1972年には東田第一高炉が休止された。その後も1990年に本事務所を八幡地区（枝光）から戸畑地区（飛幡町）へ新築移転するなど、さらに戸畑地区への集約が進んだ。
年表
1986年（明治29年）3月28日 - 帝国議会第九議会が製鉄所の創立を決定
1987年（明治30年）2月6日 - 製鉄所を八幡村に設置すると決定
1987年（明治30年）6月1日 - 八幡村に官営製鐵所を開庁
1901年（明治34年）2月5日 - 東田第一高炉火入れ。
1901年（明治34年）11月18日 - 作業開始式。
1902年（明治35年）7月 - 東田第一高炉・転炉休止。
1904年（明治37年）4月6日 - 東田第一高炉第二次火入れ。17日間で休止。
1904年（明治37年）7月23日 - 東田第一高炉第三次火入れ。
1905年（明治38年）2月25日 - 東田第二高炉火入れ。
1913年（大正2年） - セメント製造開始。