ワシントンD.C.へ戻ったアングルトンはOSSの後継組織を経てCIAへ入局した。1949年5月に彼は特殊作戦部スタッフAのトップに任じられ国外情報の収集と他国の情報機関との連絡に当たることになった。1951年からはイスラエルのモサッドやシンベト（公安庁）との関係が始まり、彼のキャリアを通して続くイスラエルとの関係が始まった。

アングルトンは新しく創設されたばかりのCIAの組織づくりに貢献する一方でフランク・ガーディナー・ウィズナーがアルバニアやポーランドで行った共産主義政権の転覆工作にも関与した。イギリスの情報機関とは親密な関係を築き、秘密情報部のワシントン駐在部長であったキム・フィルビーとは頻繁に会合を持った。フィルビーの回想録にも名前が登場し、週1回は昼食を共にしていたという。1951年にフィルビーの同僚であるイギリスのガイ・バージェス（英語版）とドナルド・マクリーンがソビエト連邦に亡命した。ヴェノナ情報からソビエト連邦情報機関の協力者である可能性が浮上したフィルビーはMI6を解雇された。

1954年にCIA長官のアレン・ダレスはアングルトンを防諜部長に任命した。他国情報機関との連絡役も引き続いてアングルトンに任された。イスラエル情報機関との関係は特に有益で、東側諸国からイスラエルに亡命したユダヤ人から得る情報や第三国での活動への協力などを得ることができた。ニキータ・フルシチョフが1955年におこなったスターリン批判演説についてもその原稿をイスラエルから提供されている。

ローマ駐在の経験からイタリアでの情報網もアングルトンの強みであり、さらに東南アジアやカリブ海諸国の秘密警察の設立に関与[4]。労働組合に対する工作では、AFL-CIO国際部長のジェイ・ラヴストーン（英語版）（以前アメリカ共産党で活動し党書記長も務めた）を通じて内外の情報網を駆使し反共・右派勢力を支援、国際自由労働組合総連盟の結成に繋げた。

さらに、アングルトンはリンドン・B・ジョンソン大統領の命を受けてアメリカ国内における情報収集活動であるCHAOS作戦を立案し、ベトナム戦争への反戦運動や市民運動へのソ連スパイの関与を調査した[5]。国際郵便や電報のチェックなど法律に違反する行為も行われており、現在では、それらの平和運動の中にはソ連の影響下にあったものもあるが、資金提供を受けていた例はなかったとされている。そもそも、CIAを設立した1947年国家安全保障法の明文規定で、CIAは防諜目的であっても国内スパイ活動は禁止されていたため、CHAOS作戦は違法行為であり、作戦の内部文書でも違法であることが明記されていた。

アングルトンの名声を高めたのは西側諸国の情報機関に存在するソ連の協力者を解明する仕事で、その任務は「もぐら狩り」（モールハント）と呼ばれていた。アングルトンは、親交があったフィルビーらイギリス情報機関の幹部が、ソ連の協力者であったことにショックを受け、西側諸国の情報機関にはソ連の協力者が存在すると仮定し対策を取るべきだとの持論に取り憑かれるようになった。

KGBからの亡命者であるアナトーリ・ゴリツィンの尋問によりアングルトンの懸念はさらに深まった。ゴリツィンは、イギリス労働党党首で首相を務めたハロルド・ウィルソンがソ連の協力者であると名指ししたり、ケネディ大統領暗殺事件はソ連が関与していると主張していたが、今日ではその供述の信頼性には問題があるとされている。ゴリツィンは亡命者としての存在価値を高めるために、KGBの能力を誇張する供述を繰り返したが、アングルトンはゴリツィンの供述を信じ切ってしまい、CIAには大量のソ連協力者が存在し彼らによってCIAがKGBに操作されていると確信するようになった[1]。

アングルトンは1960年代から70年代にかけて、様々な外国の首脳がソ連のスパイであるとの主張を繰り返した。王立カナダ騎馬警察はアングルトンから、レスター・B・ピアソン首相とその後継者ピエール・トルドー首相はソ連のスパイだと連絡を受けた。アングルトンからの圧力を受け1964年に王立カナダ騎馬警察はピアソンの側近でカナダの駐ソ大使を務めたジョン・ワトキンスをスパイ容疑で任意拘束した。ワトキンスは王立カナダ騎馬警察とCIAの合同チームによってホテルで尋問されていた最中に倒れ死亡した。

アングルトンにスパイ容疑をかけられた首脳としては、スウェーデン首相のオロフ・パルメや西ドイツ首相のヴィリー・ブラントなどがいる。アングルトンの活動を皮肉交じりに批判したヘンリー・キッシンジャーも、1970年代前半にアメリカと中国との関係正常化を進めたのはソ連の影響下にあったからだと告発された。

1973年にCIA長官となったウィリアム・コルビーは、アングルトンの「妄想」は行き過ぎであると懸念視していた。コルビーはアングルトンからイスラエルとの連絡役を任務を取り上げた。1974年12月にジャーナリストのシーモア・ハーシュがコルビーとのインタビューにおいて、アングルトンが主導したCIAの国内作戦を暴露するつもりだと言うと、コルビーはアングルトンに対して辞職を求めた。ハーシュによる記事は同月にニューヨーク・タイムズの一面に掲載され大反響を呼んだ。