俗に「秘密警察」と呼称されることもある、諸外国の政治警察と同様の活動を行っているとされる[7]。伝統的な紋章としては法務省と同じ五三の桐を使用し、公安調査官が携帯し、その身分を証明するための「証票」[注 1]の表面にも使用されている[8][9]。
沿革「逆コース#「逆コース」といわれるもの」および「反共主義#冷戦時代」も参照

当初は、国家地方警察本部と法務庁（後に法務府）特別審査局（通称「特審局」。管掌は法務庁では検務長官、法務府では刑政長官）を管轄する「治安省」の設置が検討されていたが、1952年（昭和27年）7月、破壊活動防止法の施行と同時に、法務府（法務庁から改組）特別審査局を発展的解消する形で公安調査庁が設置された。前身の特審局は、「秘密的、軍国主義的、極端な国家主義的、暴力主義的及び反民主主義的な団体」を取り締まる目的で制定された政令「団体等規正令」を所管しており、この政令が後に「破壊活動防止法」の基礎となった。当初は公安調査庁に、「緊急検束」、「強制捜査」、「雇傭制限」、「政治団体の報告義務」、「解散団体の財産没収」、「煽動文書の保持者の取締り」などの、左翼に対する有効な武器となる強力な権限を付与する予定であった[10]。詳細は「破壊活動防止法#沿革」および「団体等規正令#概説」を参照これ以前の沿革については「内務省 (日本)#沿革」および「特別高等警察#沿革」を参照

同庁の設置には、太平洋戦争後、公職追放されていた特別高等警察、領事館警察（外務省警察）、陸軍中野学校、旧日本軍特務機関、憲兵隊の出身者が参画したとされ、中でも特高警察と領事館警察の出身者が中堅幹部として組織運営を担っていた。領事館警察は、満州国や中国大陸で特高警察としての活動を行っていたが、敗戦後もGHQによる公職追放の対象から外されていたため、内務省調査局時代から機会をみて再雇用されていた[11]。このほか、検察庁と警察庁から出向者を迎えることになったが、検察庁からは戦前に思想検事であった者（井本台吉など）、警察庁からは戦前に特高警察に在籍した者（柏村信雄、秦野章など）が選ばれた。

設立過程では、同庁を規制官庁とすべきか情報官庁とすべきか議論があったとされるが、最終的には規制官庁との位置づけではあるものの、その枠内において必要なインテリジェンス活動を行うものとされた[12]。

設立当初、公安調査庁は関東公安調査局と共に、東京都千代田区九段南にあった旧憲兵司令部庁舎に置かれていた[注 2]。そのため、公安調査庁を指す隠語として「九段」とも呼ばれていた。

破壊活動防止法は、当時所感派の主導を受けて武装闘争路線を採り（51年綱領）、「山村工作隊」・「中核自衛隊」などの武装組織建設を進めていた日本共産党に対する規制を念頭に制定された。そのため、同党は、現在でも破壊活動防止法の調査指定団体である。