やがて、パーキンスは同じ農園で働く黒人で友人のジョン・ウェストブルックからギターの奏法を習った。周囲に黒人が多い中、唯一の白人家庭に育ったパーキンスは[要出典]、自然と黒人の音楽にも触れる様になった。パーキンスが「アンクル・ジョン」と呼んでいた彼は、当時60代のアフリカ系アメリカ人で、使い古したアコースティック・ギターでブルースやゴスペルを演奏していた。ウェストブルックはパーキンスを指導した際、「下げて体に近づけろ。弦と頭を通して自分がいる所に魂が下りてくるのを感じることができる。振動してみよう」と助言したことで知られている。弦が切れても買えないため、当時のパーキンスはそれらを繋いで再使用した。他の音を出すためにスライドさせるとその結び目で指を切ってしまうことがあるため、わざと外してできたのがブルー・ノート・スケールである[5][12]。

Lake County Fourth Grade Marching Band のメンバーに採用され、経済的理由によりバンドの指導者であるリー・マカッチャンに新しい白いシャツ、コットン・パンツ、白い帽子、赤いケープを与えられた[13]。

1947年1月、パーキンス一家はテネシー州レイク郡からマディソン郡に転居した。よりメンフィスに近付いたため、様々なジャンルの音楽をラジオで聴くことができるようになった[14]。14歳の頃にカントリー・ミュージックで標準であったI IV Vのコード進行で[15]、「Let Me Take You To the Movie, Magg」（Movie Magg）を作曲し、後にこの曲でサム・フィリップスはパーキンスとサン・レコードを通じて契約することを決めた[16]。
初期

1946年末のように毎週水曜日、パーキンスと兄のジェイはテネシー州ジャクソンの南へ約12マイルの45号線沿いの酒場コットン・ボールでチップを得ることで初めてプロとしての演奏を行った。パーキンスはこの時まだ14歳であった。アップテンポに変更しカントリーとブルースの要素をミックスしたビル・モンローの「ブルー・ムーン・オブ・ケンタッキー」などを演奏した。演奏の報酬の1つとして飲み物が無料となったため、初めての演奏の夜にパーキンスはビールを4杯飲んだ。それから1ヶ月も経たないうちにジャクソンの西の境界近くの酒場サンド・ディッチで毎週金曜日と土曜日に定期出演を開始した。どちらの酒場でも、パーキンス兄弟は喧嘩に参加することで有名だった[17]。

その後2年間、パーキンス・ブラザーズはジャクソン周辺のエル・ランショ、ザ・ロードサイド・イン、ザ・ヒルトップなど他の酒場でも演奏を始め、よく知られるようになった。パーキンスは弟のクレイトンを説得してベースフィドルを演奏させてバンドに取り込んだ[18]。

1940年代後半、パーキンスはテネシー・ランブラーズのメンバーとしてジャクソンのラジオ局WTJS-AMにレギュラー出演していた。『Hayloft Frolic』にも出演し、『グランド・オール・オープリー』でのロバート・ランの「Talking Blues」など2曲を演奏していた。『The Early Morning Farm and Home Hour』に最初はパーキンスのみ、後に兄弟も出演した。圧倒的な支持を受け、マザーズ・ベスト・フラワー提供の15分間のコーナーを持つことになった。1940年代終盤、パーキンス・ブラザーズはジャクソンでは最も有名なバンドになった[19]。

パーキンスはこの数年間、音楽の他に仕事を持っており、当初綿花摘みをしていたがその後デイズ・デイリーに勤務し、さらにその後はマットレス工場と電池工場に勤務した。1951年から1952年まではコロニアル・ベイキング・カンパニーに勤務した[20][21]。

1953年1月、パーキンスは長年の知人であったヴァルダ・クライダーと結婚した。妻が代わりに働き始めたことでパーキンスはパン工場での勤務時間を減らし、週6日演奏できるようになった。同年後期、それまで音楽の経験がなかったが天性のリズム感があるW・S・ホランドがドラム奏者として参加した[22]。

マルコム・イエルヴィントンは彼らを1953年にテネシー州コヴィントンで演奏していた頃から知っていた。イエルヴィントンはパーキンスについて彼独自の独特のブルースのようなスタイルを持っていたと語った[23]。1955年頃までパーキンスはテープ・レコーダーを借りてデモ・テープを自作し、宛先は市名と社名のみでコロムビア・レコードやRCAレコードなどに送った。クラブ等に出演する傍ら、デモ・テープを色々なレコード会社に送るも、全く反応が無く、意気消沈としていた[24]。

1954年7月、パーキンスと妻のヴァルダは、サン・レコードから既にデビューしていたエルヴィス・プレスリー、スコティ・ムーア、ビル・ブラックの新曲「ブルー・ムーン・オブ・ケンタッキー」をラジオで聴き[25]、ヴァルダはパーキンスにメンフィスにいる誰かがきっと理解してくれるはずだと語った[26]。後にプレスリーは、パーキンスに会ってエル・ランショでの演奏を聴くためにジャクソンに行ったことがあると語った[27]。「ブルー・ムーン・オブ・ケンタッキー」が終わると、彼は「私たちの演奏を理解してくれる人がメンフィスにいる。彼に会わなくてはならない」と語った[28]。

数年後、演奏仲間のジーン・ヴィンセントはインタビューで「ブルー・ムーン・オブ・ケンタッキー」について、「新しいサウンドではなくその時すでに多くの人々、特にカール・パーキンスがこのようなサウンドを作り上げていた」と語った[29]。
サン・レコード

プレスリーの音楽性に共感したパーキンスは対抗意識を燃やし[要出典]、メンフィスのサン・レコードへ幾たびか売り込みに通い[要出典]、ようやくオーディションの機会を得た。1954年10月上旬、サン・レコードで10代の時に既に作っていた「Movie Magg」他数曲披露し[要出典]、サム・フィリップスに採用された。1955年3月19日、『Movie Magg』でデビューし[30]、B面の「Turn Around」が地域的にヒットした[4]。南部および南西部のラジオでこの曲が流され、パーキンスはアーカンソー州マリアナ、ウエスト・メンフィスでプレスリーと共演することになった。プレスリーおよび自分の観客についてパーキンスは「叫んでいる観客の前に登場しようとしたが、観客達はプレスリーの登場を待ち望んでいた。それはまるで爆発物のようだった。世界中がロック一色になったようだった」と語った[31]。

サン・レコードから次にジョニー・キャッシュとテネシー・トゥがデビューすることになった。1955年夏、彼らはアーカンソー州リトルロック、フォレスト・シティ、コリンス、テュペロをツアーした。エル・ランショに再登場した時、パーキンス兄弟は交通事故に関わった。運転してきた友人がハンドルに引っ掛かって動けなくなった。パーキンスは燃え始めた車から彼を引きずり出した。クレイトンは車から投げ出されたが、重篤な怪我には至らなかった[32]。