愚連隊となった当初は新宿で勢力を拡大しようとしていたが、敗戦直後の新宿は古豪と新興勢力がひしめきあう激戦区であったため、やがて渋谷へ転進。当時の渋谷は、渋谷駅を世田谷方面からのターミナル駅として利用する学生が集まる、いわば「子供の町」であった。そのためか、1950年代半ばまでは警察も飲食店での揉め事に関知しない「無警察地帯」であったとされ、そこに目をつけたものと思われる。
トレードマークとして知られる左頬の傷は、1949年（昭和24年）春の夕暮れどき台湾人の蔡という人物に銀座・並木通りとみゆき通りの交差点付近で言い掛かりを付けられ、喧嘩になりかかった際に「待ってくれ!上着を脱ぐから」と云うので律儀に待っていたところ、咄嗟に上着に隠してあった短刀(長匕首）で切り付けられた時のものである[30][31]。
作家・作詞家の山口洋子とは、横井英樹襲撃事件で警察に指名手配を受けた際に一時山口の住むアパートに安藤が匿われるなど、ヤクザ時代から深い関わりがあった。山口も「安藤組の組員の末席をけがしている」と自認していたほどで[32]、安藤が俳優に転身した後も長きに渡り交友関係が続いた[33]。
映画『網走番外地 吹雪の斗争』に出演した際、監督・石井輝男に無断で撮影現場を離れて帰ったことがある[34]。石井は含むところもなく、安藤とこれ以降の映画でも仕事をしている。
俳優として出演していたのは専ら映画だったが、1970年（昭和45年）にはテレビ時代劇『新・三匹の侍』にも主演している。監督を務めた五社英雄とは互いに義兄弟と認めた間柄であり、五社自ら自分の映画への出演を安藤に打診していたが、1974年（昭和49年）、東映配給の映画『暴力街』において安藤は江川紘一役で主役を務めた。
唐十郎監督映画『仁侠外伝 玄界灘』撮影中に本物の拳銃を使い、監督とともに小田原署に逮捕される。安藤によればこれは宣伝のためで、捕まることが前提であったという。撮影現場には新聞記者も呼んでいた[35]。
安藤は俳優として人気も実力もあったが、あまり出演しなくなった事には理由がある。撮影中のカメラリハーサルで拳銃を撃つシーンがあり、この時「バン!バン!」と銃を撃つ声を自ら出さなければならなかった。それをたまたま知り合いに見られてしまい、さすがの安藤も恥ずかしい思いをした事がきっかけと言われている。
安藤本人と安藤組には数々の逸話・武勇伝があり、現在でもたびたび小説やVシネマの題材として取り上げられていた。
本記事では便宜上、ヤクザとして扱ったが、安藤には博徒や的屋と認められる組織の所属歴がないため、安藤ならびに安藤組は法的には愚連隊（青少年不良団）と称するのが正しく、警察関係の資料でもそう扱われている。ちなみに警視庁に保管されている安藤組の構成員名簿では、五十音順で整理されている関係で、安部譲二（本名・安部直也）の名前が安藤に続いて2番目に位置している。
野球評論家の関根潤三や元西武ライオンズ監督の根本陸夫は大学の同級生であり、渋谷でつるんでいた事もあったという。
家相の研究家でもあり、本も出版している。
主な出演
映画
血と掟（1965年、松竹） - 安藤昇
やさぐれの掟