1992年2月14日、東海大学のバンドサークルのメンバーにより結成。HAKUEI曰く、結成当初はGASTUNKのようなハードコアパンクをとにかく激しく派手な格好でやりたいと思っていたという[1]。
1994年12月、ファーストフルアルバム『Missing Link』をリリース。レコ発ライヴで初めてソールドアウトとなる[8]。
1995年、2月から7月にかけ目黒鹿鳴館にて「マンスリーライブ」を行い、全公演即日ソールドアウト。9月30日に渋谷公会堂で初のホールワンマンLIVEを行い[9]、チケットは発売日に即完売した。インディーズながらレコード会社3社（徳間ジャパン、日本クラウン、VAP）から同時にCDを発表する[10]。
1996年3月、PIONEER LDCよりシングル『Blue Moon / 天使よ目覚めて』でメジャーデビュー[8]。7月25日・26日、当時としては異例の新人バンドによる日本武道館公演を敢行[10]。武道館公演直後、ソロ活動の開始を発表。千聖のタイでの人気に伴い、アジアでの認知度が高まった。テレビ埼玉（現・テレ玉）で『ペニシリンSHOCK』放送開始。
1997年、音楽番組などメディアへの露出が増え始める。
1998年1月、テレビアニメ『セクシーコマンドー外伝 すごいよ!!マサルさん』のオープニングテーマ『ロマンス』を発売し、90万枚の売上を記録[9]。5月29日?6月14日『ロックオペラハムレット』に出演。（ハムレット役：HAKUEI、ホレーシオ役：千聖、レアティーズ役：GISHO、うさぎ役：O-JIRO）
2000年、韓国にてライブを行なった。
2007年、5月20日に行なわれたライブをもって、ベースのGISHOが本人の一身上の都合を理由に脱退。残ったメンバーは即答で「3人でやろう」とそれ以外の選択肢はなかったと述べている[11]。
2010年、2012年の結成20周年に向け、自主レーベルTHAT Recordsを設立[12]。
2011年、8月から翌年3月まで毎月『20th COUNTDOWN MONTHLY LIVE』を敢行。全13公演でこれまで発売したアルバムをテーマに毎月セットリストの異なるLIVEを行い全楽曲を演奏した。
2012年2月14日、結成20周年を迎える。4月11日にはファンセレクトによる結成20周年記念ベストアルバム『20th Anniversary Fan Selection Best Album DRAGON HEARTS』を発売[9]。収録曲は『ロマンス - 20th Ver. -』を始め、ベスト盤の為に新たに再録された楽曲が大半を占める。通常盤には書き下ろしの新曲『DRAGON HEARTS』が収録されている。12月5日にメンバーセレクトによるベストアルバム『20th Anniversary Member Selection Best PHOENIX STAR』を発売[9]。新曲『PHOENIX STAR』のほか再録された数曲に脱退したGISHOが参加した。2枚のベストアルバムのリリースを機にblowgrowに移籍。
2013年2月16日、渋谷公会堂で「20th Anniversary LIVE FINAL ?HAPPY BIRTHDAY & VALENTINE’S DAY LIVE?」を行う。脱退したGISHOがゲスト出演した[9]。
2015年3月18日、初のカヴァーアルバム『Memories ?Japanese Masterpiece?』をリリース。千聖の直接交渉により初回盤のアルバムジャケットを漫画家の上條淳士が手掛けた[2]。
2021年4月6日、イーストウェストジャパン(現ワーナーミュージック・ジャパン)在籍時代の音源の、サブスクリプションサービスを解禁[13]。 発売タイトル ※最高順位はオリコンチャートによるもの。 発売日タイトルレーベル最高順位備考
エピソード
10thシングル、『NICE IN LIP+L』は、バンド名のアナグラムになっている。『NICE IN LIP+L』の仮タイトルは『白い恋人』であった。
25thシングル『hyper chord / hyper kids ?東海大学物語?』ならびに、10thアルバム『BLUE HEAVEN』収録の『hyper kids ?東海大学物語?』では、4人が東海大学在学中の珍エピソードをそのまま歌詞にしている（作詞はHAKUEI）。
メンバー全員が相当な怖がりでありお化け嫌い[14]。
ディスコグラフィ
デモテープ
1992年11月 1st Demo Tape
FLY
Moon Light
Imitation Queen
1993年 2nd Demo Tape
狂死曲
ROMANCE
Silent?月夜を売った女神?
EXIT PART1
シングル
11995/09/30In the Kingdom of the Moonlight-渋谷公会堂でのライブで配布
21996/01/25Melody/マザー・グース-初回盤は2枚組。初回のみのDisc2にはメンバーによるトークと、「Melody」「マザー・グース」の、それぞれのカラオケバージョンが収録されている。
31996/03/15
再発:1998/10/21Blue Moon / 天使よ目覚めてPIONEER LDC
east west japan17位
41996/05/15
再発:1998/10/21Imitation Love / Never Ending StoryPIONEER LDC
east west japan19位PIONEER LDCより発売された版の期間限定版と予約限定版のみ2枚組。Disc2には、「Imitation Love」と「Never Ending Story」のカラオケ（通常版や再発版にも収録）、「Blue Moon」のカラオケ、メンバーによるトークが収録されている。なお、トークの内容は予約版と期間版とでそれぞれ異なる。「Never Ending Story」はスタジオアルバムには収録されなかったが、オリジナル版が2023年発売の30 -thirty- Universeに、2012年発売のベスト盤には再録版が収録された。
51997/03/19
再発:1998/10/2199番目の夜PIONEER LDC
east west japan9位
61997/05/18
再発:1998/10/21DEAD or ALIVEPIONEER LDC
east west japan12位
71997/06/25
再発:1998/10/21夜をぶっとばせPIONEER LDC
east west japan18位
81998/01/15ロマンスeast west japan4位PENICILLIN最大のセールスを記録。
91998/05/13make loveeast west japan8位
101998/09/09CRASHeast west japan4位
111998/11/26Butterflyeast west japan24位アルバム『Ultimate Velocity』からのリカットシングル。
121999/09/01NICE IN LIP+Least west japan9位
132000/02/23理想の舌east west japan20位
142000/05/17ウルトライダーeast west japan23位
152000/05/17Japanese Industrial Studentseast west japan25位
162001/01/24イナズマomega A.T.music47位
172001/05/30リミットコンプレックスomega A.T.music66位
182001/11/28腐海の砂 / 聖・MARIAN HURRICANEomega A.T.music24位
192002/06/26NEW FUTUREHiBOOM42位
202002/09/19花園キネマHiBOOM27位
212003/05/28四次元ダイバー/少年ダイバーHiBOOM46位
222003/11/27白髏の舞HiBOOM60位