終戦直後、疎開先に母ふくが歌丸を引き取りにきたが、2,3日後にはタネが歌丸を真金町に連れ帰った。タネが連れ帰ることを歌丸本人も嫌とは言わなかった（歌丸本人談）[3]。タネ（1879-1953）は三重県四日市市川原町で名産品万古焼の包装紙を扱う紙卸業「紙宗」の長女で、16歳で横須賀柏木田遊郭の若葉楼で働き始め（職種は不明）、30歳で結婚、大正時代には吉原遊廓で引手茶屋「東屋」を夫とともに営んでいたが、関東大震災を機に横浜真金町の永真遊郭で周旋屋を始め、昭和9年から女郎屋「富士楼」を経営、近隣の「ローマ」、「イロハ」の女将と合わせて「真金町の三婆」と呼ばれるほどの気性の女性だった[3]。

この空襲で生家が焼失したが、戦後すぐにタネはバラックを建て「富士楼」の経営を再開[5]。店が繁盛したため戦後の貧しい時代にあっても食料に困ることがなく、当時高価だったラジオも持っていた。このラジオでよく聴いていた落語に影響されたことが、落語家になるきっかけとなっている[4]。祖母に連れられてよく行った伊勢佐木町の大衆劇場『敷島座』で芝居の幕間で観た漫才にも夢中になって漫才師になることを考えたが「わがままな自分にとって二人で演芸をするのは無理かな」と思ったことも落語家を目指したきっかけの一つとなった[6][7]。

小学校4年生の頃には、将来落語家になるとすでに決めており、自習の時間になると落語を演じていた。これが非常に好評で、時には他のクラスからも自習になったから落語をやってくれと要請があったほどであった[8]。
落語家丸に横木瓜は、桂歌丸の定紋である『落語など』に掲載された在りし日の歌丸の肖像写真[9]

横浜市立吉田中学校在学[10]中に、遊郭内の永真診療所で行われた慰労会の席で、当時二つ目だった5代目春風亭柳昇の落語を聴いて、落語家になる決意を完全に固めた[11][12][注 1]。

そして、NHKの出版部にいた遠縁の親戚を通じて誰に弟子入りしたらよいかを相談し「一番面倒見の良い人だから」という理由で5代目古今亭今輔を薦められ、中学3年だった1951年（昭和26年）に入門することになる[3][14]。ちなみに本人は「噺家になれさえすれば師匠は誰でも良かった」とのこと[15]。

はじめに兄弟子で、後の師匠である米丸の初名だった「古今亭今児」を名乗る。その際今輔から言われたことは「歌舞伎を見ろ」[16]。今輔によると歌舞伎を見ることは落語に活きるからだと言い、実際自ら演じる際はそのエピソードをマクラで語っている[17]。

このためか、中村吉右衛門出演の歌舞伎をよく見にいった。歌丸曰く「仕草や立振舞などを見て落語に活かすため」とのこと。ちなみに吉右衛門曰く、「歌丸師匠は歌舞伎を見るのにいい席に座っている」とし、「舞台から見ても歌丸だとすぐにわかる」らしい。ただし、両者に直接的な面識はまったくなかったとのことで、歌丸は、吉右衛門と『鬼平犯科帳』で共演していた三代目江戸家猫八に「吉右衛門のサインをもらってきてほしい」と頼んだとのことである。後に吉右衛門は、頭をなでながら「いろいろと照れ屋さん」と歌丸を評している[要出典]。

今輔門下から兄弟子・4代目桂米丸門下へ移籍したのは、当時芸術協会で勃発した香盤（序列）問題[18]や、今輔が新作派なのに対し高座で古典落語ばかり演じていたことに端を発している[19]。この一件で今児は破門状態となり、一時、ポーラ化粧品本舗のセールスマンやメッキ工場へ転職するが[20]、三遊亭扇馬（のちの3代目橘ノ圓）の肝いりで落語界に復帰。しかし今輔が付けた条件により兄弟子・米丸門下となった[21]（米丸も「浜っ子」である）。なお歌丸の著書によれば新師匠の米丸からは入門に際して寄席の初日と中日には必ず今輔宅に顔を出すことを言いつけられた[22]。そのおかげで今輔とは破門以前と同様の関係を維持することができ、後述のように寄席などでの真打昇進興行や口上にも今輔は出演している[23]。

一部記事等では、1961年（昭和36年）に「今輔死去に伴い兄弟子米丸門下に移籍」との表記があるが、これは誤り。米丸門下に移籍したこと自体は1961年（昭和36年）のことだが、先述のように今輔一門からの事実上の破門状態になったことによるもので、今輔死去は1976年（昭和51年）である。実際に、1968年（昭和43年）に行われた『笑点』での歌丸の真打昇進披露口上では、今輔と米丸が揃って登場している。

米丸の弟子になって「古今亭今児」から「桂米坊」に改名したが「額のあたりが広くなってきた」うえに「子供っぽい」と言われたことから[24]1964年（昭和39年）1月、「桂歌丸」に再改名。どちらも米丸が考案して付いた名である[25]（したがって歌丸は当代が初代）。歌丸本人は「歌丸」の由来を米丸に尋ねることはなかった[26]。

口調の違いがあったことから[27]米丸はほとんど稽古を付けず、歌丸（米坊）は専ら米丸のラジオ番組の構成などを手掛けていた。しかし、これで放送局関係等にコネクションができたほか、ネタ作りの鍛錬になり、古典の掘り起こしの際の一部改作や独自のくすぐりを入れたりするのに役に立ったという[27]。

1978年（昭和53年）に起きた落語協会分裂騒動の際、新しくできた落語三遊協会に5代目三遊亭圓楽を通じて、参加を要請されたが、歌丸自身は上記の経緯で米丸一門に移籍したと説明し、参加を断っている[28]。

自身の弟子の高座名は、歌丸の「歌」の文字を頭に付けることを原則としているが、一番下の弟子だった3代目桂枝太郎のみ、本人の希望により二つ目時代は「丸」の付いた名前が欲しいとしたため、「花丸」を名乗らせていたとしている。歌丸曰く「学校の時の成績がよっぽど悪かったため、名前だけでも丸が欲しかったのではないか（笑）」として、「花丸」になったとのこと。あとの4人は、預かり弟子でもある惣領弟子の歌春（歌丸門下になったと同時に「歌はち」に改名していた）を含め、すべて「歌某」の高座名である[29]。
妻・冨士子

桂歌丸の妻。通称、冨士子夫人。1932年生まれで歌丸より4歳年上。蒔絵師の末娘で、歌丸と同じく横浜真金町の出身であり生家の近くに在住していた[30]。このため、師匠の今輔から勧められた女性を断って、顔見知りだった冨士子と結婚し下積み時代の歌丸を支え続けたと後に語っている[30]。冨士子は結婚前は横浜駅で崎陽軒の「シウマイ娘」として活動していたことがある。上述の通り、結婚後に歌丸は一時落語から離れた時期があり、冨士子も歌丸と一緒に化粧品の訪問販売をしていた。化粧品に詳しく、女性相手の仕事のためか売り上げは歌丸より多かったという[注 2]。夜はマッチ箱のラベル貼りやスカーフ端かがり[注 3]の内職をして収入を得ていた。その後、冨士子は歌丸に落語界への復帰を促し、歌丸は落語界へ戻ることができた。このことは『BS笑点ドラマスペシャル 桂歌丸』でも取り上げられた。