当時から野球やボクシングに打ち込むスポーツ青年でもあった。特にボクシングでは、賞金が出る試合への出場を依頼されるなど、確かな腕をもっていたようである（ただし、この試合への出場は母の反対にあって断念した）。

その後、より高収入を得ようと芸人に転職。ヴォードヴィルやブロードウェイの舞台に出演していった。なお、彼の芸人としての初仕事は、『コーラスライン』の女性ダンサー役であった。1922年に所属していたヴォードヴィル一座の女優フランシス（愛称「ビル」）と結婚し、彼女と共に全米各地を巡業した。この時期には、同じく下積み生活をおくっていたケーリー・グラントとコンビを組んだこともある。

舞台『Sinner's Holiday』の主役に抜擢されたことから、俳優としての活動が本格的に始まった。この舞台がきっかけとなって、1930年に大手映画会社ワーナー・ブラザースに見出されて映画界入りし、同作の映画版で映画デビューをした。
ギャング映画の隆盛とスターへの道

1920年代後半から、禁酒法の影響で蔓延していた密造酒の利権を巡ってアル・カポネに代表されるギャング達の抗争が新聞やラジオで連日報じられていた。そのような社会の動きに目をつけたのがキャグニーが所属したワーナー・ブラザースであった。同社はエドワード・G・ロビンソン主演の映画『犯罪王リコ』（1930年）を皮切りに、キャグニーやポール・ムニ、ジョージ・ラフトといった個性派の俳優達を起用して、数々のギャング映画を製作していった。

この流れからキャグニー主演で製作されたのが1931年の映画『民衆の敵』である。この作品でキャグニーは、酷薄かつ凶暴なギャングのトム・パワーズを見事に演じて大評判となり、一躍トップスターの仲間入りを果たす（劇中において、パワーズが食卓で情婦の顔に半切りのグレープフルーツを押し付けるシーンは、大変有名になった）。以後ギャング映画の主役の一人として冷酷非情なキャラクターを多く演じた。
様々なジャンルへの挑戦

『民衆の敵』によってギャングスターとしての地位を築いたキャグニーであったが、それに飽き足らず、コメディや西部劇など次々と新たなジャンルへ挑戦した。1933年の『フットライト・パレード』（使用楽曲「上海リル」が日本でもヒット）では、ヴォードヴィル時代に培ったダンスを披露し、1935年の『真夏の夜の夢』ではシェイクスピア、といった具合である。

1935年の終わりにはワーナーブラザーズを飛び出して弟と共に独立系映画制作会社「グランド・ナショナル・ピクチャーズ」を設立して『グレイト・ガイ』や『キャグニー ハリウッドに行く』を製作するが、興行的に振るわず失敗した。

1938年、再び古巣のワーナー社に戻ったキャグニーは『汚れた顔の天使』に出演した。この作品では処刑前にわざと臆病に振舞って、少年たちのギャングへの憧れを断ち切ろうとする男を演じ、これまでの冷酷非情なギャング役とは一味違ったキャラクターを評価されて、ニューヨーク批評家協会賞の男優賞を得て、映画の題名も本人の代名詞となった。その後もギャング映画『彼奴は顔役だ!』や西部劇『オクラホマ・キッド』、ロマンティック・コメディ『いちごブロンド』などで安定した人気を保っていく。その頃まだ無名だったハンフリー・ボガートは、キャグニー作品に悪役・敵役として頻出しており、キャグニーにしばしば「殺されて」いた。
アカデミー賞受賞とその後の活躍

1942年にキャグニーは、「ブロードウェイの父」と呼ばれた作曲家兼俳優の興行師ジョージ・M・コーハンの伝記映画『ヤンキー・ドゥードゥル・ダンディ』に出演する。当初製作側のワーナーは、この役にフレッド・アステアを考えていたようだが、キャグニーはワーナーを説得してこの役を得、見事なダンスと歌を披露した。第一次世界大戦中の愛国心とアメリカン・スピリットを賞賛したこの映画は、第二次世界大戦中の世相とマッチして興行的にも大ヒットを記録しただけでなく、キャグニーに最初で最後のアカデミー主演男優賞とニューヨーク批評家協会の男優賞をもたらす事となった。