1859年4月下旬にハリスは長崎を訪問しており、5月初めに、既に長崎で活動を開始していたアメリカ人商人の一人でニューヨーク出身の実業家ジョン・G・ウォルシュを長崎の米国領事に選任した。ウォルシュは最初の長崎米国領事館を広馬場の日本人居住区に設立した[6]。ハリスは米国聖公会の熱心な信徒であるとともに、ニューヨーク市立大学シティ・カレッジを創設した教育者でもあり、日本で米国聖公会が学校を開設することの勧告と支援を行ってきた。このハリスの長崎訪問と同時に、プロテスタント日本初となる米国聖公会宣教師のジョン・リギンズが同年5月2日に長崎に来日し、ハリスの支援のもとで、長崎奉行の要請から聖公会の長崎私塾（立教大学の源流）を開設し、同年6月25日に来日したチャニング・ウィリアムズとともに、英学教育を開始した。こうして、ハリスは長崎でもアメリカの活動拠点の構築、整備、ミッション支援を進め、日本とアメリカとの外交基盤を整えていった[7][8]。日本宣教の将来の成功は派遣される初代宣教師の性行、態度、人格によるものである。（中略）学校を興し、英語を教え、貧民に施療することなどが有益である。従って日米通商条約は貿易の開始ばかりでなく、キリスト教の開教第一歩である。 ? タウンゼント・ハリス／上海駐在の米国聖公会宣教師エドワード・サイル宛ての手紙[5]
開市の延期活動タウンゼントハリス顕彰碑（善福寺境内）

1860年8月1日、アメリカ国務長官ルイス・カスに対して書簡で、通商条約により再来年に控えた江戸の開市（1862年1月1日の予定[9]）の延期を進言した[10]。実は下田に着任した当時、ハリスへの襲撃未遂事件があり、以降も攘夷による在留外国人に対する襲撃や焼き討ちが相次ぎ、また孝明天皇からの条約勅許はいまだ幕府から出ておらず、現在の幕政下での開市は時期尚早と判断していた。10月31日（万延元年9月18日）、ハリスは老中安藤信正と会談し、急すぎる開市の延期を希望していた幕府との思惑とも一致し、また翌1861年1月14日（万延元年12月4日）にはヒュースケンが殺害される事件がおき、ハリスは確信に至ったと思われる。5月2日（文久元年3月23日）、将軍家茂名での「七年間の両都・両港の開市・開港の延期を要求する直書」が各国公使に出されると、ハリスはヒュースケン後任のアントン・ポートマンに翻訳させて5月8日（文久元年3月29日）付けでアメリカ本国へ急激なインフレ[11]が進行している旨と併せて報告した。

8月1日（文久元年6月25日）付けでエイブラハム・リンカーン大統領、ウィリアム・スワード国務長官から家茂宛の書簡がハリスに届くが、内容はヒュースケン殺害の補償までは開市延期を含む一切の譲歩はしないというものだった。ハリスは幕府の正信や久世広周と交渉して補償の合意を取り付けた後、11月27日にオールコックに5年間[12]の開市延期の自由裁量を得たことを通知、12月6日、家茂に面会してリンカーンの親書を直接手渡し、12月14日（文久元年11月13日）に幕府から補償が実行された。12月28日、正信にはイギリス以外の各国の自国民にも併せて開市の延期を通達したと書簡で報告された。これは予定されていた開市のわずか3日前だった。この後、文久遣欧使節とイギリスとの間でロンドン覚書（1861年6月6日）、パリ覚書（同年10月2日）など、各国とも開市延期に同意している。
帰国

1862年（文久2年）には病気を理由に辞任の意向を示した。幕府はハリスに大変感銘を受けたとして彼の留任を望み、米国政府に任期延長を求める書簡も送ったが[3]、アメリカ政府の許可を得て4月に5年9か月の滞在を終えて帰国。辞任の理由に関しては、ハリスの日記にかねてからの体調不良があることや、また自分とは党派が異なる共和党のリンカーンが大統領で、南北戦争の故郷の心配があったことなども指摘されている。後任はロバート・プルインで、5月17日には着任して家茂に謁見している。

帰国後は業績を表彰され、1867年には議会はハリスに対する生活補助金の支給を可決している。特に公職には就かず、動物愛護団体の会員などになった。1876年には保養地のフロリダ州に移住し、1878年2月25日に74歳で死去。生涯独身であったため、姪が法定相続人となった。

ハリスが日本滞在中に書き残した書状や所有物等は、ニューヨーク市立大学の図書館に保存されており、その中にはハリスの日記や、公式文書、下田の総領事館に立てた米国旗もある。現在もニューヨーク市立大学と下田市の交流は続いており、過去15年間、下田市の代表団が毎年同大学を訪問している[3]。

墓所はニューヨーク市ブルックリン区のグリーンウッド墓地。ハリスの墓には、日本の石の灯篭が建てられ、桜の木も植わっており、墓石には彼の功績と日米通商条約締結の成功を称え、「アメリカ国民だけでなく日本国民にも満足を与えた」と記されている[3]。