川尻地区の覚明神社の伝承によると、寿永3年（1184年）粟津の戦いで敗れた源義仲勢の覚明は義仲の嫡子源義重と家臣30人あまり引き連れ川尻地区に落ち延び、当地を開拓した後、覚明と義重は家臣を残し信州へ戻っていったという[15]。
江奥地区の吉原家によると、吉原家は中原（藤原）親能の子孫で、文明年間（1469年から1486年）向島に移り向東町の吉原城を拠点とし、江戸時代に帰農そして向島西村の庄屋となったという[16]。千光寺展望台からの向島。右手前の小さな山が小歌島地区。
また、この島の南は因島村上氏（村上水軍）の拠点であったことから、この島にも水軍（海賊）の城跡が幾つか存在する[4][5]。尾道水道ほぼ中央付近に「小歌島（おかじま）」という小さな丘陵地がある[13]。ここには中世に宇賀島（あるいは岡島）と呼ばれた一つの島で宇賀島衆という海賊（水軍）が拠点とした「岡島城」があった[13][17]。彼らは当時尾道水道を通る船舶から関料を徴収しており、宋希璟（『老松堂日本行録』）や梅林守龍
（『梅林守龍周防下向日記』）は宇賀島衆に囲まれたことを書き記している[17]。この宇賀島衆は天文23年（1554年）因島村上氏村上吉充と手を組んだ小早川隆景によって攻め滅ぼされている[17]。弘治元年（1555年）、厳島の戦いでの勝利により吉充は向島の知行を賜わう[13]。芸藩通志によると、吉充はこの島の南部の因島との海峡である布刈瀬戸を望める観音岬に「余崎城」を築き拠点としたとされる[13][17]。ただ吉充がいた時期は短く、永禄10年（1567年）因島青木城に拠点を移し、余崎城の守りは家臣の島居次郎資長がついたと言われている[13][17]。また上記の岡島城もこの時代因島村上氏の支配下にあり、関料を徴収していた[13][17]。島の最高峰高見山は村上氏の見張り台が置かれていたことに由来する[18]。
近世塩田国重文吉原家住宅。建築年代のわかる庄屋住宅としては日本最古のもの[16]。海物園跡。
江戸時代、この地は広島藩領となる。対岸の尾道は、藩による積極的な投資で藩内随一の交易港となり、そこへ西廻海運が確立し北前船などの廻船が寄港するようになると交易港として爆発的に成長した。尾道の主要交易品は塩で、周辺には商人によって塩田が開発されていき、浜旦那と呼ばれる塩田地主・経営者が誕生した[14]。
この島で最初に塩田を開発したのは天満屋治兵衛である。もともとは紀州和歌山藩の御用商人で、元和5年（1619年）元和歌山藩主浅野長晟が広島藩に転封するとこれに従って広島に移り、魚問屋及び酒造業で財を成した[19][20]。そしてこの島の開発を藩に許可され、尾道水道一帯に天満屋新開地を整備し延宝5年（1677年）富田古浜・元禄4年（1691年）富田新浜と「富浜塩田」を開発した[19][20][14]。この富浜塩田は昭和30年代（1960年前後）まで塩が作られている>[21]。
その他にも、現在の尾道造船向島工場付近に元禄2年（1689年）「肥浜塩田」元禄5年（1692年）「天女浜塩田」享保15年（1730年）「小肥浜塩田」、島の南西部に元禄10年（1697年）津部田浜塩田」、島の西には「古江浜塩田」が開発されている[14]。
この時代財を成した尾道の豪商たちは周辺の風光明媚な地に茶園（さえん）と呼ばれた庭園付きの別荘を建てた[22]。
