海軍の基地設置（横須賀鎮守府、横須賀海軍工廠）で繁栄し始めた横須賀の将来性を見込んで、妻の兄・石渡治郎右衛門が横須賀の磯崎（後の元町で現在の横須賀市本町）に所有していた長屋の一角に1872年（明治5年）10月に雑賀屋呉服店を開業し、浦賀の店舗を妹に譲って横須賀での営業に専念した[11]。

こうして浦賀の店を完全に分離したことなどもあり、さいか屋の歴史はこの横須賀での開業から始まることとされているが、横須賀店の開店当初は浦賀店との商品の交流も非常に多かったため、店員などが重い荷物を背負って1日2往復したとの話も残っている[11]。

1878年（明治11年）に最初の店舗に近い磯崎に店を新築したものの2年足らずで火災で焼失したため、新たに土蔵造り2階建てで立て直して復興させた[11]。

1905年（明治38年）10月に創業者岡本傅兵衛が死去した際に息子の清次郎が先に死亡していたため、店舗などの財産は当時9歳だった孫の岡本傅之助が引継ぎ、実際の事業運営は支配人の永島延吉が引継いで持続・発展させた[11]。

1912年（大正元年）に支配人の永島延吉が急逝したため、岡本傅之助は1913年の中学校4年生に進級時に退学して店の運営に専念し、事業の維持・発展に努めることになった[11]。

1920年（大正9年）に横須賀海軍工廠のガントリークレーン延長に伴う立ち退きで2年前に建てたばかりの店舗からの移転を余儀なくされ、旭町（現在の横須賀市本町）の大忠呉服店跡(後の横浜銀行横須賀支店)に移転し、旭町通り（現在の国道16号）からどぶ板通りまで通り抜けが出来る奥行き約26間、間口約8間の店舗を構えた。この通り抜けられる店構えが市民に受けて、評価が高まったといわれている[11]。

1923年（大正12年）9月1日に起きた関東大震災で店舗が全焼し、商品を含めて当時の額で約40万円もの被害を受けた。このため、当分の間は店員の給与を半額とするなどの対応を盛り込んだ復興五カ年計画を立てて、大滝町15番地（現在の大滝町1丁目10番地）に焼けたトタン板などの廃材を使ってバラックの仮店舗を建設して復興に向けて第一歩を踏み出し、復興計画を予定よりも早く達成した[11]。
株式会社化・百貨店化と事業の拡大

復興の成功を受けて1928年（昭和3年）3月1日[12]、従来の合名会社を改組して資本金50万円の株式会社雑賀屋を設立[11]した。店と顧客の一体化を目指して雑賀屋百福会を発足し、会員に1人10株を割り当てて創業家の岡本家と店員のほかも株式を保有する制度を導入した[11]。10月3日に木骨鉄筋コンクリート造3階建て約430坪の店舗が完成して百貨店化し、連日多数の客を集めた[11]。

1930年（昭和5年）10月に旧横須賀郵便局（後の横須質信用金庫本店）を改造して別館の徳用品市場を設置し、1931年（昭和6年）3月に均一価格店のさいか屋十銭ストアーを現在の不二屋菓子店の位置に開設するなど事業の拡大を続けた[11]。
多店化と運営会社の再編

1956年（昭和31年）4月3日に[13]株式会社雑賀屋の関連会社だった株式会社川崎さいか屋（現在の株式会社さいか屋）[14]が川崎市小川町1番地に[3]、鉄骨鉄筋コンクリート造り地下1階地上3階で延べ床面積4,926m2で売場面積4,021m2[15]の百貨店を開業[3]。多店化に乗り出した。

1965年（昭和40年）4月28日[16]に別の関連会社の株式会社藤沢さいか屋(初代)[14]が神奈川県藤沢市の藤沢駅北口に[16]百貨店を開業[14]。1967年（昭和42年）11月に川崎さいか屋が東京都町田市の町田駅前に[3]鉄骨鉄筋コンクリート造り地下2階地上4階建てで延べ床面積11,472m2の百貨店を開業して町田支店とし[3]、1970年（昭和45年）10月に鉄骨鉄筋コンクリート造り地下1階地上6階建てで延べ床面積3,686m2で売場面積2,6516m2の茅ヶ崎支店（神奈川県茅ヶ崎市）を開業する[15]など、神奈川県内と周辺で多店化を進めていった。

1966年（昭和41年）7月に株式会社雑賀屋の百貨店部門を分割して株式会社横須賀さいか屋を新たに設立。株式会社雑賀屋は雑賀屋不動産株式会社に商号を変更して店舗の不動産の賃貸などを行う不動産会社になり[14]、1969年（昭和44年）5月に川崎さいか屋の商号を株式会社さいか屋に変更して[3]9月に株式会社横須賀さいか屋と株式会社藤沢さいか屋（初代）の2社を合併し、百貨店事業の運営会社を一本化した[3]。
店舗の増改築や移転・業態転換

川崎店を1964年（昭和39年）11月に延べ床面積21,732m2で売場面積15,591m2に、1973年（昭和48年）11月に延べ床面積33,994m2で売場面積22,118m2に増床し、横須賀店も1974年（昭和49年）4月に延べ床面積21,922m2で売場面積14,761m2に、藤沢店も9月に延べ床面積22,3742m2で売場面積14,129m2に増床するなど主要店舗の増床を進めて競争力の強化と売上拡大を図った[15]。

その一方で、1976年（昭和51年）10月に町田店を専門店ビル化して「ジョルナ」へ業態転換し[3]、1974年（昭和49年）9月の藤沢店増床時に茅ヶ崎店の事業を統合する形で同店を閉店する[15]など店舗網の再編も並行して進められた。

藤沢店は藤沢市が進めていた再開発ビルへの��島屋の招致が地元の根強い反対で実現しなかった[17]ため代わりに当社が1978年（昭和53年）6月12日に藤沢駅北口の現店舗を三越との合弁で出店する計画が確定し[18]、1978年（昭和53年）11月22日に株式会社藤沢さいか屋（2代目）が新店舗での営業を開始して[19]藤沢の店舗は再び別法人での営業へ移行すると共に店舗の規模を拡大させた。

そして旧店舗跡に出店した丸井藤沢店の地下1階に食料品専門店の藤沢マーケット店を開店させる[3]など店舗のスクラップアンドビルドも進め、さらに1990年（平成2年）3月に横須賀店新館を開業して[3]延べ床面積28,259m2で売場面積26,714m2に増床し[15]、10月にレストラン街やホールなどの各種サービス施設の入った南館(延べ床面積7,906m2)を開業して[15]3館体制に移行するなど主要店舗の拡大・発展を図った。