この項目では、線型写像と行列による代数構造の表現の理論について説明しています。他の原理による表現論については「表現 (数学)」をご覧ください。

表現論（ひょうげんろん、英: representation theory）とは、ベクトル空間の線型変換として代数構造を表現することで代数構造上の加群を研究する数学の一分野である[1]。本質的には、表現は抽象的な代数的構造を、その元と演算を行列と行列の和や行列の積で記述することで、より具体的にする。この記述で扱われる代数的対象には、群や結合代数やリー代数がある。これらの中で最も優れているものは、歴史的にも最初に現れた群の表現論であり、群の演算が行列の積で、群の要素が正則行列で表現されている[2]。

表現論は、抽象代数学の問題を良く理解されている線型代数の問題へと帰着させるので、強力なツールである[3]。さらに、群が表現されているベクトル空間が無限次元になることやヒルベルト空間になることも可能であり、その場合、函数解析の方法が群の理論へ適用可能となる[4]。表現論は物理学でも重要であり、例えば、物理系の対称群が、どのように物理系を記述する方程式の解へ影響するかを記述する[5]。

表現論の著しい特徴は、数学での広がりにある。そこには、2つの面がある。ひとつの面は、表現論の応用が多岐にわたっていることであり[6]、表現論は代数への影響のみならず、以下のような応用も持っている。

調和解析を通してフーリエ解析を広く一般化する[7]

不変式論（英語版）とエルランゲン・プログラムを通して深く幾何学とつながっている[8]。

さらに、数論へは保型形式やラングランズ・プログラムを通して深く影響を持っている[9]。

もうひとつの面は、表現論へのアプローチの広がりである。同じ対象が代数幾何学、加群の理論、解析的整数論、微分幾何学、作用素理論、代数的組み合わせ論（英語版）(algebraic combinatorics)、トポロジーの方法で研究できる[10]。

表現論の成功は、多くの一般化を生み出した。その一般的な理論は圏論の中にある[11]。適用する代数的対象を特別な圏として、対象のなす圏からベクトル空間の圏（英語版）(category of vector spaces)への函手を表現とみなすことができる。この記述には 2つの明白な一般化がある。ひとつは代数的対象をより一般的な圏により置き換えることが可能であり、第二には、ベクトル空間のなす圏を別の良く知られた圏に置き換えることが可能である。
定義と概念

V を体 F 上のベクトル空間とする[3]。例えば、V が Rn や Cn のときは、それぞれ、実数や複素数上の列ベクトルの標準的な n-次元空間である。この場合、表現論の考え方は、抽象的な代数構造を実数や複素数の n × n 行列を使って具体化することである。

このことが可能な主要な代数的対象は 3種類あり、群, 結合代数、リー代数である[12]。

n × n の正則行列（可逆行列）全体は、行列の積の下に群をなし、群の表現論は、群の元を正則行列として「表現」することにより（群自体を）調べることができる。

行列の和と積は、すべての n × n の行列の集合を結合代数とし、したがって、対応する結合代数の表現論(representation theory of associative algebras)が存在する。

行列の積 MN を行列の交換子 MN − NM に置き換えると、n × n の行列のリー代数となるので、リー代数の表現論が導かれる。

実数体や複素数体の場合は、任意の体 F と F 上の任意のベクトル空間へ拡張され、行列を線形写像で置き換え、行列の積を写像の合成で置き換える。V の自己同型と群 GL(V,F) へ一般化し、また、V のすべての自己準同型の結合代数 EndF(V) と対応するリー代数 gl(V,F) へ一般化される。
定義「群の表現」、「代数の表現」、および「リー代数の表現」も参照

表現の定義には 2つの方法がある[13]。表現を定義する第一の方法は、群の作用の考えを使い、行列の積により列ベクトル上へ行列を作用させる方法を一般化したものであり、ベクトル空間 V 上の群 G や結合代数やリー代数 A の表現は、次の 2つの性質（(i), (ii)）を満たす写像 Φ : G × V → V or Φ : A × V → V {\displaystyle \Phi \colon G\times V\to V\quad {\text{or}}\quad \Phi \colon A\times V\to V}

と定義する。(i) G の任意の元 g （あるいは、A の任意の元 a ）に対し、写像 φ ( g ) : V → V v ↦ Φ ( g , v ) {\displaystyle {\begin{aligned}\varphi (g)\colon V&\to V\\v&\mapsto \Phi (g,v)\end{aligned}}} は、F 上で線型であること。(ii) Φ (g, v) に対し、記号 g ・ v を導入すると、G の任意の g1 と g2 と V の任意の v に対し、 ( 1 ) e ⋅ v = v {\displaystyle (1)\quad e\cdot v=v} ( 2 ) g 1 ⋅ ( g 2 ⋅ v ) = ( g 1 g 2 ) ⋅ v {\displaystyle (2)\quad g_{1}\cdot (g_{2}\cdot v)=(g_{1}g_{2})\cdot v} が成り立つこと。ここに e を G の単位元、g1g2 は G の積である。結合代数に対しも同様なことが要求される。ただし、結合代数はいつも恒等元があるとは限らない。結合代数では、式 (1) は無視する。式 (2) は行列の積の抽象的な表現であり、この積は行列の交換子では成立せず、交換子の恒等元も存在しない。したがって、リー代数では、A の任意の元 x1, x2 と V の元 v に対し、 ( 2 ′ ) x 1 ⋅ ( x 2 ⋅ v ) − x 2 ⋅ ( x 1 ⋅ v ) = [ x 1 , x 2 ] ⋅ v {\displaystyle (2')\quad x_{1}\cdot (x_{2}\cdot v)-x_{2}\cdot (x_{1}\cdot v)=[x_{1},x_{2}]\cdot v} となることのみが要求される。ここに [x1, x2] は、リーブラケットであり、行列の交換子 MN − NM を一般化したものである。

表現を定義する第二番目の方法は、G の元 g を線型写像 φ(g): V → V へ写すことを定義とする方法である。この写像は、 φ ( g 1 g 2 ) = φ ( g 1 ) ∘ φ ( g 2 ) for all  g 1 , g 2 ∈ G {\displaystyle \varphi (g_{1}g_{2})=\varphi (g_{1})\circ \varphi (g_{2})\quad {\text{for all }}g_{1},g_{2}\in G\,\!}