1859年4月下旬にハリスは長崎を訪問しており、5月初めに、既に長崎で活動を開始していたアメリカ人商人の一人でニューヨーク出身の実業家ジョン・G・ウォルシュを長崎の米国領事に選任した。ウォルシュは最初の長崎米国領事館を広馬場の日本人居住区に設立した[6]。ハリスは米国聖公会の熱心な信徒であるとともに、ニューヨーク市立大学シティ・カレッジを創設した教育者でもあり、日本で米国聖公会が学校を開設することの勧告と支援を行ってきた。このハリスの長崎訪問と同時に、プロテスタント日本初となる米国聖公会宣教師のジョン・リギンズが同年5月2日に長崎に来日し、ハリスの支援のもとで、長崎奉行の要請から聖公会の長崎私塾（立教大学の源流）を開設し、同年6月25日に来日したチャニング・ウィリアムズとともに、英学教育を開始した。こうして、ハリスは長崎でもアメリカの活動拠点の構築、整備、ミッション支援を進め、日本とアメリカとの外交基盤を整えていった[7][8]。日本宣教の将来の成功は派遣される初代宣教師の性行、態度、人格によるものである。（中略）学校を興し、英語を教え、貧民に施療することなどが有益である。従って日米通商条約は貿易の開始ばかりでなく、キリスト教の開教第一歩である。 ? タウンゼント・ハリス／上海駐在の米国聖公会宣教師エドワード・サイル宛ての手紙[5]
開市の延期活動タウンゼントハリス顕彰碑（善福寺境内）

1860年8月1日、アメリカ国務長官ルイス・カスに対して書簡で、通商条約により再来年に控えた江戸の開市（1862年1月1日の予定[9]）の延期を進言した[10]。実は下田に着任した当時、ハリスへの襲撃未遂事件があり、以降も攘夷による在留外国人に対する襲撃や焼き討ちが相次ぎ、また孝明天皇からの条約勅許はいまだ幕府から出ておらず、現在の幕政下での開市は時期尚早と判断していた。10月31日（万延元年9月18日）、ハリスは老中安藤信正と会談し、急すぎる開市の延期を希望していた幕府との思惑とも一致し、また翌1861年1月14日（万延元年12月4日）にはヒュースケンが殺害される事件がおき、ハリスは確信に至ったと思われる。5月2日（文久元年3月23日）、将軍家茂名での「七年間の両都・両港の開市・開港の延期を要求する直書」が各国公使に出されると、ハリスはヒュースケン後任のアントン・ポートマンに翻訳させて5月8日（文久元年3月29日）付けでアメリカ本国へ急激なインフレ[11]が進行している旨と併せて報告した。

8月1日（文久元年6月25日）付けでエイブラハム・リンカーン大統領、ウィリアム・スワード国務長官から家茂宛の書簡がハリスに届くが、内容はヒュースケン殺害の補償までは開市延期を含む一切の譲歩はしないというものだった。ハリスは幕府の正信や久世広周と交渉して補償の合意を取り付けた後、11月27日にオールコックに5年間[12]の開市延期の自由裁量を得たことを通知、12月6日、家茂に面会してリンカーンの親書を直接手渡し、12月14日（文久元年11月13日）に幕府から補償が実行された。12月28日、正信にはイギリス以外の各国の自国民にも併せて開市の延期を通達したと書簡で報告された。これは予定されていた開市のわずか3日前だった。この後、文久遣欧使節とイギリスとの間でロンドン覚書（1861年6月6日）、パリ覚書（同年10月2日）など、各国とも開市延期に同意している。
帰国

1862年（文久2年）には病気を理由に辞任の意向を示した。幕府はハリスに大変感銘を受けたとして彼の留任を望み、米国政府に任期延長を求める書簡も送ったが[3]、アメリカ政府の許可を得て4月に5年9か月の滞在を終えて帰国。辞任の理由に関しては、ハリスの日記にかねてからの体調不良があることや、また自分とは党派が異なる共和党のリンカーンが大統領で、南北戦争の故郷の心配があったことなども指摘されている。後任はロバート・プルインで、5月17日には着任して家茂に謁見している。

帰国後は業績を表彰され、1867年には議会はハリスに対する生活補助金の支給を可決している。特に公職には就かず、動物愛護団体の会員などになった。1876年には保養地のフロリダ州に移住し、1878年2月25日に74歳で死去。生涯独身であったため、姪が法定相続人となった。

ハリスが日本滞在中に書き残した書状や所有物等は、ニューヨーク市立大学の図書館に保存されており、その中にはハリスの日記や、公式文書、下田の総領事館に立てた米国旗もある。現在もニューヨーク市立大学と下田市の交流は続いており、過去15年間、下田市の代表団が毎年同大学を訪問している[3]。

墓所はニューヨーク市ブルックリン区のグリーンウッド墓地。ハリスの墓には、日本の石の灯篭が建てられ、桜の木も植わっており、墓石には彼の功績と日米通商条約締結の成功を称え、「アメリカ国民だけでなく日本国民にも満足を与えた」と記されている[3]。
没後の顕彰

1925年に下田の玉泉寺を訪れたアメリカの実業家ヘンリー・ウォルフはタウンゼント・ハリスの記念碑建立を思い立ち、渋沢栄一に協力を依頼した。渋沢はこの申し出を受けて記念碑の設計や資金集めに尽力し、1927年9月に記念碑が玉泉寺境内に建てられた[13][14]。
人物ハリスの足湯（静岡県下田市）

アメリカ合衆国では、1847年設立のニューヨーク市「フリーアカデミー」（現在のニューヨーク市立大学シティカレッジ）の創設者として知られる。現在もニューヨーク市立大学シティカレッジ図書館には、ハリスが日本駐在時に作らせたとされる最初の日本製星条旗を始め、書き残した書状や所有物などが展示、保存されている。

駐日領事時代に、幕府はハリスの江戸出府を引き止めさせるため、ハリスとヒュースケンに対して侍女の手配を行う。役人はハリスを篭絡しようと芸者のお吉という名の女性を派遣した。役人の意図を見抜いたハリスは大変怒り、お吉をすぐに解雇している。ハリスが生涯独身であったことなどから後世に誤った風説が加わり、昭和初期には「唐人お吉」としての伝説が流布し、小説や映画の題材にもなった。

大の牛乳好きである。ハリスが体調を崩した際、牛乳を欲しがったがなかなか手に入らず、侍女として雇われていたお吉が八方に手を尽くし、ようやく下田在の農家から手に入れ、竹筒に入れて運んで飲ませたという記録が残っている。この記録によると、その価格は8合8分で1両3分88文と非常に高価で、当時の米俵3俵分に相当したという。牛乳を公式に売買して飲用した記録は、日本ではこれが初めてだという。これを記念して、玉泉寺には「牛乳の碑」が建てられている。

ヒュースケン殺傷事件など日本の攘夷派の外国人襲撃行動に対し、イギリス、フランス、プロイセン、オランダの4か国代表は江戸幕府に対し共同して厳重な抗議行動をとったが、ハリスはこれに反対し、抗議行動には加わらなかった。

下田では暇さえあれば周辺を散策していた。健康面ではあまり恵まれず吐血などの体調不良に悩まされていたが、いざ交渉の場になると精力的になり下田奉行らを悩ませた。また、道端の草花を見ながら故郷に思いをはせることもしばしばあった。

1856年（安政3年）に下田御用所において日本貨幣とアメリカ貨幣との交換比率について幕府側と交渉を行った際、ハリスは金貨も銀貨も「同質同量の原則」すなわち、1ドル銀貨（英語版）は同じ質量に相当する一分銀3枚と交換すべきと主張し、一方幕府側は1ドル銀貨の地金価値は双替方式により銀16匁に相当するから一分銀1枚であると主張し対立した。最終的にハリスの主張が通され、日本で1ドル銀貨を一分銀3枚に両替しそれを金小判に両替した後に持ち出し海外で売りさばくと暴利が得られることとなり、短期間のうちに多額に上る小判が日本国外へ流失した。その過程でハリス自身も小判を買い漁り、それを上海などで売却して利鞘を稼ぎ、私腹を肥した。然る後に幕府に対策を助言し、万延小判への改鋳によって混乱は終息するも、この過程でおびただしい金が日本から流出した（幕末の通貨問題参照）。