CPUは、全体を制御する制御装置、演算装置、データを一時記憶するレジスタ、メモリなどの記憶装置とのインタフェース、周辺機器との入出力装置とのインタフェース、などから構成される。

その他 浮動小数点演算を行うFPU（浮動小数点演算ユニット）、レジスタより多くの情報を一時記憶するキャッシュメモリ、DMAコントローラ、タイマー、シリアルインタフェースなどの機能をCPUと同一IC内に持つものもある。また、メモリから読み込んだ命令語を内部的なオペレーションに置き換える変換部を持つものもある。

クロック同期型のCPUは、クロック信号によって規則正しいタイミングで各部の動作を統制されている。同じアーキテクチャのCPUであればクロック周波数が高い方が高速に動作し、一定時間に多くのことを処理できる。ただしその代わりに消費電力や発熱が大きくなるという問題も発生する。1クロックで処理できる内容はCPUおよび命令セットの設計により異なり、複数クロックで1つの機械語命令を実行するものから、1クロックで複数の命令を同時に実行できるものまである。クロック周波数が1 GHzのCPUは、基本回路が1秒間に10億回の動作をする。

多くのCPUでは、大まかに言って制御装置が命令の解釈とプログラムの制御の流れを制御し、演算装置が演算を実行する。

高性能なCPUや、非ノイマン型のCPUや、画像処理向けのCPUは、同時に複数の命令を実行できるように複数の実行部を同一IC内に持っているものがある。
動作

ノイマン型CPUの基本的な動作は、その実装に関わらずプログラムと呼ばれる命令列を順番に実行することである。

プログラムは数値列として何らかのメモリに格納されている。CPUでは、フェッチ (fetch)、デコード (decode)、実行 (execute) という3つのステップがほぼ必ず存在する。

最初の段階であるフェッチとは、実行すべき命令（ある数値または数値の並び）をプログラムの置かれたメモリから取り出すことである。メモリ上の実行すべき命令の位置はプログラムカウンタで指定される。プログラムカウンタはCPUが現在見ているプログラム上の位置を示しているとも言える。命令フェッチに使用されると、プログラムカウンタはフェッチしたぶんだけ増加させられる。

CPUがメモリからフェッチした命令によってCPUの次にすべきことが決定される。デコードでは、命令をCPUにとって意味のある形式に分割する。命令を表す数値をどう分割するかは、予めそのCPUの命令セットで決定される。命令の一部の数値は命令コードと呼ばれ、実行すべき処理を指定する。その他の部分はオペランドと呼ばれ、その命令で使用する情報を示している。たとえば加算命令のオペランドは加算すべき数値を示している。オペランドには数値そのものが書かれていたり、数値のある場所（メモリのアドレスかレジスタの番号）が書かれている。古い設計では、デコーダ（デコードを行う部分）は変更不可能なハードウェア部品だった。しかし、より複雑で抽象的なCPUや命令セットではマイクロプログラム方式がしばしば使われ、命令を様々な信号に変換するのを助けている。このマイクロプログラムは書き換え可能な場合があり、製造後でも命令デコード方法を変更することができる。

フェッチとデコードの次は、実行ステップが行われる。このステップでは、CPUの多くの部分が接続され（たとえばマルチプレクサを切り替えるなどして）指定された操作を実行する。たとえば、加算を要求されている場合、加算器が所定の入力と接続され、出力と接続される。入力は加算すべき数値を提供し、出力には加算結果が格納される。加算結果が大きすぎてそのCPUに扱えない場合、算術オーバーフローフラグをフラグレジスタ（ステータスレジスタ）にセットする（RISCではフラグレジスタが存在しない場合もある）。入力や出力にはいろいろなものが使用される。演算結果が一時的かあるいはすぐに利用される場合にはレジスタと呼ばれる高速で小さなメモリ領域に格納される。メモリも入力や出力に使われる。レジスタ以外のメモリは低速だが、コスト的には一般的なメモリの方が安価であり大量のデータを格納できるため、コンピュータには必須である。

いくつかの命令はプログラムカウンタを操作する。それらは一般にジャンプ命令と呼ばれ、ループを構成したり、条件分岐をしたり、サブルーチンを実現するのに使われる。また、多くの命令はフラグレジスタを変化させる。それらのフラグはプログラムの動作に影響を与える。たとえば比較命令は二つの値を比較してフラグレジスタにその大小を示す値をセットする。そして、その値を使用してその後の処理の流れを決定する。

命令を実行後、同じ流れが繰り返されて次の命令をプログラムカウンタにしたがってフェッチする。もっと複雑なCPUでは、複数の命令をフェッチし、デコードし、同時に実行することもできる。しかし、基本的にどんなCPUでもやっていることはここで説明した流れと同じである。
歴史「コンピュータ#歴史」を参照ENIAC

現代のCPUのような装置が出てくる以前、ENIACのような計算機は、実行する処理の内容を変えるたびに物理的に配線を変更していた。このような機械では、プログラムを変更するために物理的に再構成する必要がある（たとえばENIACなどではパッチパネルが使われた）ことから「プログラム固定計算機」と呼ばれることがある（なお、ENIACは非常に限られた機能と性能になるが、ある程度はプログラム内蔵方式的な動作もできた）。

CPUは一般にソフトウェア（プログラム）を実行する装置として定義されるため、CPUと呼べる装置が現れたのはプログラム内蔵方式のコンピュータからである。プログラム内蔵方式の考え方は、ENIACの設計時にすでに存在していたが、マシンの完成を早期に可能とするため、ENIACの初期段階で採用されなかった。ENIACが完成する以前の1945年6月30日、数学者のジョン・フォン・ノイマンの名で、EDVACに関する報告書の第一草稿 (First Draft of a Report on the EDVAC) という報告書が公開・配布された。この中で、プログラム内蔵方式のコンピュータの設計について概説されている[注釈 2]。この報告書はEDSACなどに影響を与えた。EDVACは1949年8月に一応の完成を見、アバディーンに移された[注釈 3]。EDVACは様々な命令の集まりを実行するよう設計されていた。命令を組み合わせることで実用的なプログラムを構成し、EDVACで動作させることができた。EDVACではプログラムは高速なメモリに格納されており、物理的に配線を変更することで指定されるものではない点が重要である。ノイマン型の設計では、EDVACで動作させるプログラムを変更するにはメモリを書き換えればよかった（ノイマン型はプログラム内蔵だけでなく、プログラムがデータとして書き換え可能である点まで含む点に注意）。

結果としてノイマン型で先に完成したのは、EDSAC (1949年) やManchester Mark Iの試作機 Baby (1948年) であった。EDVACは先に設計が始まっているが、設計者間のごたごたがあって完成が遅れた。また、アイデアレベルではZuse Z3を1941年に開発しているコンラッド・ツーゼもそれ以前にプログラム内蔵方式（書き換えでない点に注意）を考案していた[注釈 4]。データとプログラムを同じ記憶装置に格納するかどうかという点が異なる方式として、ハーバード・アーキテクチャがある。これはEDVAC以前に完成したHarvard Mark Iに由来する。同機ではさん孔テープにプログラムを格納した。ノイマン型とハーバード型の大きな違いは、後者が命令とデータの格納場所と扱いを完全に分離していることであり、前者はどちらも同じ記憶領域に格納する。汎用CPUは基本的にノイマン型であるが、ハーバード・アーキテクチャも部分的に採用されている（キャッシュメモリなど）。

デジタル機器としてのCPUは、状態を変更したり表現したりするために、何らかのスイッチを必要とする。電気機械式から電子式への移行期には、リレーや真空管がスイッチとして使われた。これらは、従来の完全な機械式よりも高速にスイッチを切り替えられたが、チャタリングをはじめ、コイル（インダクタ）によって発生する高電圧などの問題があった。一方、真空管はチャタリングは起こさないが、機能するには熱が必要であり、劣化により動作中にカソードの電子放射能力が減退（エミッション減退）して動作不能になってしまう。真空管が劣化・故障したら、故障した部位を特定して交換しなければならない。したがって、初期の電子計算機は高速化は実現したものの、電気機械式計算機よりも信頼性が低かった。EDVACのような真空管計算機は故障と故障の間の平均時間（MTBF = Mean Time Between Failure）は約 8 時間であったが、Harvard Mark Iのようなリレー式計算機はほとんど故障しなかった。しかし、@media screen{.mw-parser-output .fix-domain{border-bottom:dashed 1px}}信頼性よりも性能が重視され[注釈 5][要検証 – ノート]、真空管式計算機が主流となっていった。当時の同期式CPUのクロック周波数は現在のCPUに比較すると非常に遅く、100 kHz?4 MHz程度であった。これは、当時の論理素子（真空管）のスイッチング速度によって限界が定められていた。
半導体化

CPUの設計と複雑さの進歩は、小型で信頼性の高い電子部品を使うことでもたらされた。新たに発明され急激に性能の向上したトランジスタの利用である。これによって、1950年代から1960年代には、かさばって信頼性の低い真空管やリレーは使われなくなり、トランジスタ製CPUが主流となった。この改善によってさらに複雑で信頼性のあるCPUを一枚から数枚のプリント基板で構成できるようになった。

1964年、IBMが発表したSystem/360アーキテクチャは、いろいろな性能と大きさのコンピュータとして実装され、それらのシリーズではプログラムを変更することなく動作させることができた。