一方、同じ日本鉄道の路線である土浦線（1901年に海岸線に改称、現在の常磐線）と品川・横浜方面の連絡線の建設も計画された。土浦駅 - 南千住駅 - 田端駅間を結ぶ日本鉄道土浦線は、1896年（明治29年）12月25日、日本鉄道第一区線上に田端駅を開業すると同時に開通、土浦、水戸方面と東京の北側を直結させた[26]。この海岸線と山手線を結ぶ短絡線（山手線枝線、当初は豊島線と呼称）は、1903年（明治36年）4月1日に日本鉄道品川線に池袋駅を開業し[27]、同時に田端駅と池袋駅間を結ぶ線路の開通によって営業を開始した[23][25]。この短絡線の建設に当たっては、当初は目白駅を分岐点とする計画もあったが、同駅周辺に十分な用地の確保が困難だったため、現在の池袋駅が開設され分岐点となった。駒込駅 - 巣鴨駅間で線路が南西を向いているのは、当初は目白駅を分岐点としていた名残といわれる。この短絡線は当初、豊島線と呼称されていたが[10]、開業に先立つ1901年（明治34年）11月16日、日本鉄道は逓信大臣の認可のもと、定款の区線名称を変更し品川線と豊島線（当時未成線）を合わせ山手線とした[28]。

開業後、東北・信越・常磐線のみならず中央線と東海道線を結ぶ役割も担うようになり、また、日露戦争の勃発などで貨物輸送量が大幅に増え、1904年の新宿駅 - 池袋駅間を皮切りに1910年まで複線化が行われた[21]。この際、池袋駅 - 赤羽駅間は複線化から取り残され、支線的性格を強めた[3]。

画像外部リンク
大正11年当時の路線図（全國鐵道地圖）

日本鉄道が国有化された1906年（明治39年）11月1日[21]時点では、品川駅 - 赤羽駅間に貨物列車のほかこの区間を単純往復する旅客列車も運行された（毎日9往復）。1909年（明治42年）10月12日の各鉄道路線に路線名が付与された際は、池袋駅 - 赤羽駅間も含め現在の山手線区間（品川駅 - 池袋駅 - 田端駅間）と合わせて東北線の部 山手線となった[25][29]。この当時は、池袋駅より北側は現在の赤羽線を経由して赤羽駅までが山手線本線、旧豊島線区間は山手線の支線であった[30]。その後、同年12月16日に烏森駅（現・新橋駅）が開業し、烏森駅 - 新宿駅 - 上野駅間が電化され、電車の「C」の字形運転が開始された[21]。このとき、品川駅 - 烏森駅間は京浜線（現在の京浜東北線）に乗り入れる形をとっていた。東海道本線が東京駅まで延伸開業し、中央線も同駅まで延伸されると、中央線と山手線を接続し、中野駅 - 新宿駅 - 東京駅 - 品川駅 - 新宿駅 - 池袋駅 - 田端駅 - 上野駅間で「の」の字運転が開始され、このころから現在の赤羽線区間が山手線枝線の運行形態になった。1923年の関東大震災で一時中断したが、1924年4月25日までこの形態は続いた。1925年（大正14年）11月1日に東北本線の秋葉原駅 - 神田駅間が完成し、東京 - 上野間が高架で複線化されたときに中央線への乗り入れは中止され、環状運転が開始された。このとき、京浜線も田端まで延伸されている[3]。

環状運転開始当時のダイヤは、基本的に毎時5本（12分間隔）で運転され、一周の所要時間は72分、池袋駅‐赤羽駅間（現在の赤羽線）の所要時間は10分であった。このほか、通勤時間帯には臨時電車が運転されたほか、田端駅 ‐ 田町駅間は京浜線電車も運転されていた[31]。