慶應義塾高校除籍後は神戸市立須磨高等学校や逗子開成高等学校など6つの高等学校を転々とし、安藤組組員であった時期に保善高校定時制課程に入学した。この間、18歳の時に横浜市伊勢佐木町へ債権の取り立てに行き、不良外人のブローカーと争い、初めて銃で撃たれる経験をする[13]。

19歳の時には横浜で不良外人の下へ借金の取り立てに行ったところ、用心棒から殺されそうになり、反撃して相手の拳銃と車を奪い逃走。このため強盗殺人未遂と銃刀剣法違反で逮捕され、少年院から大津刑務所（現在の横浜刑務所横須賀刑務支所）に身柄を移される。1審で懲役7年の実刑判決を受けたが、接見に来た今日出海らの勧めで控訴。控訴審の弁護人の働きにより緊急避難が認められ、強盗殺人未遂から窃盗罪・遺失物取得罪・銃刀剣法違反に罪名変更され、懲役2年6月、保護観察付執行猶予5年の有罪判決を受ける[14]。

以後、「幻の鉄」の二つ名を持つ中国道の大親分のもとに身柄を預けられ、親分の一家を守るとともに、親分の娘と恋仲になった[15]。この大親分は今日出海が小説『海賊』のモデルとした右翼の大物で全モ連の広島支部長だった岩田幸雄とされる。また、若い時期はブラディー・ナオのリングネームで地下ボクシング活動もしており、海外を転戦していた時期もあった。世界王者・サンディ・サドラーの来日時のスパーリングパートナーも務めたといい、西ドイツのハンブルクでは悪役プロレスラーとしてリングに登場し、力道山から「いつでも安藤組に頼みに行くから、ヤクザ辞めてレスリングやれ」と勧められたこともある[16]。

1980年代、作家転向後の青年誌（講談社刊行「ホットドッグ・プレス」）のインタビュー記事内で「フランスに滞在中、射撃の大会に出場したところ22口径の部で優勝し、そのことが「ル・モンド」紙に掲載され、周囲より「日本では拳銃を所持できないのに、なぜお前が優勝できるのだ」という声があがり、「オレはヤクザだ」という趣旨の発言をし、それが原因でフランスから国外退去させられた」というくだりがある。
日本航空時代

1959年に22歳で保善高校定時制を卒業し、国際ホテル学校に入学。転校が極めて多いものの、親の身分がしっかりした帰国子女の上に英語が堪能だったこともあり、1961年1月に23歳で日本航空に入社し、客室乗務員として国内線や国際線に乗務し、ホノルルやフランクフルト路線での写真を残している。

日本航空の客室乗務員時代の勤務態度は真面目な反面、感情的になることが多く、同僚の彼女をぶん取って交際したり、横柄な支店長を殴ったり、乗客を投げ飛ばしたこともあったといわれている。出勤時には車の中で安藤組の代紋を外し、日本航空の社章に取り換えていた。

客室乗務員時代に同僚の遠藤瓔子と結婚した。その後作家となる、当時日本航空広報部社員だった深田祐介と知り合い、深田の妻とも客室乗務部で同僚であった。当時深田は安部を「帰国子女で典型的な山の手のお坊ちゃん風」と思っており、暴力団員でもあったことを退社に至るまで全く知らなかったとしている。

この間、1963年4月17日から1967年8月25日に起きた第二次広島抗争に派遣された。映画「仁義なき戦い」の第四部「頂上作戦」の劇中に、全国からケンカの助っ人が広島市に集結したくだりがあるが、実際は全面戦争にはならず、安部は暇で野球に興じていた。ある日、商店街の野球大会に参加して、飛ばない軟式ボールを広島市民球場の外野スタンドにたたき込んだら、商店街の会長から「親分にもよく話してやるから、広島カープの入団テストを受けてみなさい」と言われたとしている[17][18]。

この間、スチュワードからパーサーまで出世するが、理不尽な要求をする乗客とのトラブルで殴ってしまったことをきっかけに、前科3犯（当時）で執行猶予中であることや暴力団組員であったことが露見し、安藤組解散（1964年）後の1965年1月に退社に追い込まれた。
小金井一家/実業家時代

日本航空退社後の1966年からは刑務所で服役する。同年、ボクシングジムを紹介するなど親交があった三島由紀夫の原作、田宮二郎主演で、日本航空時代の安部をモデルとした映画『複雑な彼』が大映で制作、封切りされている。田宮二郎が演じた主人公「宮城譲二」は、その後安部が作家デビューするにあたりペンネームにもなった。

安藤組解散後は、新宿の小金井一家にヘッドハンティングされる。同時に妻とレストラン「サウサリート」の経営、キックボクシング中継の解説者、ライブハウス経営、プロモーター、競馬予想屋などの職を転々とした。

1960年代後半から1970年代にかけて青山でジャズクラブ「ロブロイ」を経営していた時期は、本店を遠藤に任せ、赤坂と六本木と三田の支店をそれぞれ愛人に任せ、白いキャデラック・フリートウッドを乗り回し、ドーベルマンを飼い、大田区鵜の木の敷地700坪の豪邸に住むほどの勢いがあった[19]。「ロブロイ」では菅野邦彦も弾いたが、当時高校生の矢野顕子も弾いた。後に瓔子が当時を回想して書いた「青山『ロブロイ』物語」はテレビドラマにもなった。

1974年9月から半年間、ボリビア政府軍の砲艇の航海長として革命軍の村を掃射する任務にあたったこともあるという[20]。また、1975年には南ベトナム政府軍御用達のフランス製メタンフェタミン25キログラム缶を安価に入手すべく、陥落直前のサイゴンに潜り込んだものの、一度は1500万円で購入したメタンフェタミンを群集に争奪され、命からがら脱出したこともあるとしている[21]。

同年に拳銃不法所持や麻薬取締法違反で実刑判決を受け、同年秋から府中刑務所で4年間服役した。当時、囚人の中に赤軍派（後に日本赤軍）活動家の城崎勉がおり、安部の著作によると、ダッカ日航機ハイジャック事件が起きる直前、城崎にオルグされかけたことがあったという。

1981年にヤクザから足を洗った。安部の前科は暴行、傷害、賭博、麻薬、青少年保護条例違反など日本国内だけで合計14犯、また国外でも複数回の服役を経験し、国外での前科は3犯、国内と国外での刑務所生活は通算8年間に及んだ。
小説家・テレビタレントとして

1983年から小説を書き始めた。著書を出してくれる出版社が見つからなかったが、1984年に山本夏彦に文才を見出され、雑誌『室内』に刑務所服役中の体験記『府中木工場の面々』の連載を開始した。文筆家としての道を歩むきっかけになった山本との出会いに関しては、著書等で事あるごとに「山本先生は自分の恩師、大恩人である」と触れている。

1986年に連載がまとめられ、『塀の中の懲りない面々』として文藝春秋より出版された。『塀の中の懲りない面々』はベストセラーとなり映画化もされ、以後人気作家としての地位を築いた[22]。情報帯番組『追跡』（日本テレビ系）の金曜レギュラーを皮切りにテレビやラジオに数多く出演し、タレントとしても活動。1990年には石原プロ製作の刑事ドラマ「代表取締役刑事」に警察署長役でレギュラー出演するなど活動の幅を広げた。

人気作家になったが、バブル景気崩壊で負債を抱え妻の遠藤瓔子とも離婚し、借金の形や慰謝料として大半の財産と一緒に愛車のポルシェも持っていかれた代わりに、安価なオートザム・レビューを渋々購入したが、実用性が高く気に入っていると後にNAVI誌上で評した。