そこで新たな販売形態として、売場のセルフサービス[1]が出現した。セルフサービスの起源は、1916年に米国の起業家クラレンス・サンダースがテネシー州メンフィスにオープンした、食品や日用品を販売するグロサリーストア「Piggly Wiggly」とされている[1]。彼は1916年にテネシー州メンフィスに1号店をオープンした[1]。クラレンス・サンダースのセルフサービスは、来店した客を直接倉庫に入れて自ら商品を手に取って選べるようにし、集中レジで精算するという販売形態であり[1]、彼は店内に導入したアイデアについて多数の特許を取得した[2][3][4][5]。セルフサービスはもともと店舗側の省力化のための方法であったが、顧客が自ら商品を手にすることができるため、客の好奇心を刺激するシステムでもあった[1]。サンダースの店は大成功しフランチャイズ展開を始めた。A&Pもカナダとアメリカ合衆国で同様の方式で成功を収め、1920年代には北米全体でよく知られるようになった。初期の食料雑貨店は肉や野菜を販売していなかったが、生鮮食品も販売する食料雑貨店が1920年代ごろ生まれた[6]。

現代的なスーパーマーケットの創始者は、クローガーの従業員だったマイケル・J・カレンとされている[1]。スミソニアン博物館などの資料によれば、アメリカでの現代的なスーパーマーケット（または、食品スーパーのうち大規模なものはフードセンター、小規模なものはフードマーケット）と呼ばれる形態は、マイケル・J・カレンが1930年8月4日にニューヨーククイーンズ区のジャマイカ地区にある6,000平方フィート（560平方メートル）の空きガレージで始めた店が最初であるとしている[1][7]。この「キング・カレン」（King Kullen、"king" はキングコングに着想を得て命名したという）は、「高く積み上げ、安く売る」をスローガンとして経営し、中心街から数ブロック離れた大型倉庫を店舗として広い駐車場を用意し、過去に見られないほど低価格での商品販売が行われるようになった[1]。1936年にカレンが亡くなったとき、キング・カレンは17店が営業していた。

1930年代にはクローガーやセイフウェイといった既存の食料雑貨チェーンもあり、当初はカレンのアイデアに抵抗していたが、世界恐慌で景気が落ち込み消費者が低価格志向になっていたため、結局それらのチェーンもスーパーマーケット方式に転換せざるを得なくなった[8]。1937年にはキャスター付きショッピングカートが開発され、来店客はさらに多くの買い物をするようになった[1]。
20世紀後半

第二次世界大戦後には、郊外の宅地開発が進むにつれて、アメリカやカナダではスーパーマーケットがさらに広まっていった。北米のスーパーマーケットの多くは、郊外のショッピングセンターにおける核店舗として建設された。スーパーマーケットのチェーンの多くは地域的なものが多く、全国的なブランドではない。クローガーはその中でもアメリカ全土で知られているが、傘下には多数の地域ブランド（Ralphs、City Market、King Soopers など）を抱えている。カナダでは Loblaw や Sobeys が全国的ブランドとして知られているが、運営している店舗は様々な地域ブランド名である。

1950年代には、スーパーマーケットは顧客への特典としてしばしばトレーディングスタンプを発行するようになった。最近では、各店専用の「メンバーシップカード」や「クラブカード」を発行したり「ポイントサービス」を実施したりしている。一般に支払い時にカードをスキャンすると、カード所有者が特定商品について会員割引を受けられるという形態のものが多い。

また、モータリゼーションによって自家用車で買い物に行くという文化が生まれ、駐車場を備えた大規模スーパーマーケットが確立した。