シャーリーは1927年1月29日にフロリダ州ペンサコーラで生まれたが[5]、両親は共にジャマイカ系移民（英語版）で、母ステラ・ガートルード（Stella Gertrude、1903年 - 1936年）は教員、父エドウィン・S・シャーリー（Edwin S. Shirley、1885年 - 1982年）は米国聖公会司祭だった[6]。彼の出生地はキングストン (ジャマイカ)と勘違いされていることもあるが、これはレーベル側がシャーリーをジャマイカ生まれと宣伝していたためである[5]。甥のエドウィンによれば、レコード会社は「黒人の学校に通った黒人には見向きもしない地域で、彼が認知されるように」(to make him acceptable in areas where a Black man from a Black school wouldn’t have got any recognition at all.) 、シャーリーはヨーロッパで音楽を学んだのだと偽証していたという[7]。

シャーリーがピアノを学び始めたのは2歳の時だった[8]。彼は短期間ヴァージニア州立大学（英語版）とテキサス州のプレイリー・ビュー・カレッジ（英語版）に通った後[7]、ワシントンD.C.のカトリック・ユニバーシティ・オブ・アメリカ（英語版）に移ってコンラッド・ベルニエ（英語版）とジョージ・サディアス・ジョーンズ (George Thaddeus Jones) に師事し、1953年に音楽で学士号を得た[9]。シャーリーは「ドクター・シャーリー」(Dr. Shirley) の名でも知られていたが、実際に2つの名誉博士号を持っていた[10]。
1945年から1953年のキャリア

1945年、18歳のシャーリーは、ボストン・ポップス・オーケストラと共にチャイコフスキーの『ピアノ協奏曲第1番』を演奏した[8]。1年後、彼はロンドン・フィルハーモニー管弦楽団と共演して自身の曲を演奏している[8]。1949年、彼はハイチ政府の招聘を受けてポルトープランス万国博覧会で演奏し、翌週にはドュマルセ・エスティメ（英語版）大統領とル・ゴアセ大司教 (Archbishop Le Goise) の求めに応じこれを再演した[11]。