MUSE (Multiple Sub-Nyquist Sampling Encoding) とは、NHK放送技術研究所が1984年に開発した[1]ハイビジョン向けの映像圧縮技術である。日本におけるBS放送向けに開発されたがアメリカでのBS放送の便も考慮され[2]、CATVや標準テレビ放送と同様にVSB-AM変調による地上波での放送実験、マイクロ波による中継実験[3]、現在のデジタル放送で採用されているISDBシリーズが備えているような字幕・データ放送の実験[4]などの諸実験が行われ、ハイビジョンLDの記録方式としても採用された[5]。この他にもBSを通じてMUSEによる有料放送を行うべくそれに関する仕様が定義され[6][7]、MUSEデコーダを内蔵したテレビの説明書にデスクランブラの接続についての記載もされていた[8]。
ハイビジョン放送実用化への課題

NHKでは現在のテレビ(System-J/NTSC-J)の「次のテレビ」として1964年より立体テレビジョン及び高品位テレビジョン(ハイビジョンのことである)についての研究を始め、1972年にはCCIR(現在のITU-R)に規格提案を行うまでとなった。しかし、ハイビジョン放送を実用化するためには大きな壁が立ちふさがっていた。それは利用できる帯域幅である。当時利用可能な最大の帯域幅は12GHz BSの27MHzであり、BSではFM変調が用いられていることから駒井・カーソン則に従って計算すると伝送可能なベースバンド信号(原信号)の幅はわずか9MHz以下となってしまう。従ってRGB各色ごとに30MHzもあるスタジオ規格、視覚的な差異がないとされる[9]放送規格の各色それぞれ20MHz幅のハイビジョン映像をそのまま放送するのは不可能である。この問題を解決するために放送用伝送手段が考えられ[10]、その結果MUSE方式が開発された。
MUSEの特徴

MUSEの特徴は入力された映像をさいころの五の目(千鳥格子)状のサンプリングパターンとなるサブサンプリングを動きベクトルを利用して行うことと、色信号の多重化に色線順次TCIを用いてYC時分割多重を行ったことである。人間の目は縦横方向に比べ斜め方向の解像度は低く[11]、動体視力は静止視力にくらべてやはり低い性質を活用し静止画・動画を振り分けた圧縮を行っているが、パン・チルトを行っている場合は動画として圧縮処理を行うと目の特性から動いてても画質の低下が目に付いてしまうのでフィールド間・フレーム間で合成ができるように動きベクトルを用いた動き補正を行って静止画的に処理できるようにしている。
MUSEのしくみ
映像の圧縮
出典：[11]


圧縮対象走査線 : 1,032本

原始サンプリング周波数 : 44.55MHz

伝送サンプリング周波数 : 16.2MHz

ベースバンド帯域幅 : 8.1MHz (-6dB)

同期信号 : デジタルフレームパルス型、正極同期

色差多重方式 : 時間軸圧縮多重 (TCI)

時間軸輝度圧縮率 : 12:11

時間軸色差圧縮率 : 4:1

輝度算出式 : Y' = 0.588G + 0.118B + 0.294R


圧縮方式 : フィールド間、フレーム間、ライン間オフセットサンプリング方式

動きベクトル補正 : 水平±16サンプル (32.4MHzクロック)/フレーム、垂直±3ライン/フィールド

MUSEで圧縮するに至ってまず、得られたハイビジョン信号の20MHzを超える情報を捨て(帯域制限)、サンプリング周波数44.55MHzでRGB各色ないしは輝度・色差(明るさとその色合い)各成分のデジタル化を行う。そして圧縮するのに適したカラーマトリクス(計算式)で求められた輝度・色差に変換し、輝度・色差を時分割で格納するために輝度は12:11の時間軸変更が行われる。これによって輝度のサンプリング周波数は48.6MHzとなる。色差に関しては7.425MHz以上の情報を捨てた後に2種類の色差信号Cb/Crを交互に送るため縦方向の情報を半分にし、サンプリング周波数を14.85MHzに変換して2回の単純なクインカンクスサブナイキストサンプリング(さいころの五の目状のサンプリング点の間引き)が行われる[2]。輝度は静止画と動画とで映像に施される処理が異なり、入力された映像が静止画の場合サンプリング周波数変換を交えた2回のサブナイキストサンプリングを行うことによって20MHzぶんの情報が8.1MHzに畳み込まれる。動画の場合は更に16MHzを超えた情報を捨て、静止画の2回目と同じサンプリングの様相を示すサブサンプリングを行って8.1MHzに畳み込まれる。この畳み込まれたデジタル映像を静止画と動画とで適宜混合してアナログに変換して伝送を行う。静止画と動画の最後の処理を同じくすることにより、デコーダによって行われる静止画・動画の判定において誤判定が起きたとしてもデコード結果画像の破綻が起きないようになっている。これらの処理がエンコード時の基本となっているが、フィルタの工夫・静止画のフレーム単位での処理などいくつかの改善案が挙げられている。[12][13][14][15][16]デコード時には伝送されてきた畳み込みアナログ映像をデジタル化し、圧縮時に行ったように静止画・動画の判定を行って静止画の場合は前のフレームと合成することによって補完してデコードが行われる。
音声の圧縮
出典：[17]


1フレームあたり1350ビット 1ミリ秒

音声圧縮方式 : 準瞬時圧伸 DPCM

モード

Aモード : 32kHz 15-8bit(8レンジ)×4ch(3-1ステレオ)

Bモード : 48kHz 16-11bit(6レンジ)×2ch


音声誤り制御 : (82,74)短縮化BCH 16ビットインターリーブ

多重化方式 : 垂直帰線期間に12.15Mbaudで3値ベースバンド多重

音声に関してはMUSEのために開発されたDANCE(DPCM Audio Near-instantaneous Compressing and Expanding)方式で圧縮される。標準放送と違い、3-1ステレオ方式をサポートする最大4チャンネルのAモードではサンプリング周波数32kHz15ビット、高音質ではあるが最大2チャンネルのBモードでは48kHz16ビットデジタル化した音声をサンプル点間の差をとってDPCM圧縮し、その差信号を1ms区間の準瞬時圧伸(ケタ落し)を行ってAモードでは8レンジ8ビット、Bモードでは6レンジ11ビットに圧縮する。ここで行われるDPCM圧縮の際にリーク値を利用した不完全積分を行うことによって伝送誤り時の雑音と直流誤差を少なくし、ローカルデコーダを設けることによって圧縮誤差が積み重なることを防止している。この圧縮されたデジタル音声を(82，74)短縮化BCHで保護した後16ビットインターリーブし、0と1の2値から0/1/2の3値12.15Mbaudに変換・時間軸変更してMUSE映像の画面に映らない部分、垂直帰線区間に格納する。3値化の際の値は伝送経路がAMとFMとで違い、LDの場合はデータ放送のための領域を削ってさらに強固なエラー訂正を付加する[5][18]。データ放送に関しては標準テレビジョン放送と同様に斜め配置の288バイトパケット方式を採用し、18フレームで1スーパーフレームを構成している[19]
開発初期のMUSE

MUSEの原型となるシステムは1983年の技研公開で展示されたもので、伝送サンプル周波数が19MHzと27MHzのRF帯域にぎりぎり合致する代物であり、音声も水平同期(33.75kHz)にロックした14-11bit準瞬時圧伸2チャンネルであった[20]。初期のMUSEともいえるものとなると映像はサンプリング周波数64.8MHzでデジタル化され、画素は単純に2回の1/2にサブサンプリングによって1/4となる。TCI多重化の際の輝度信号の時間軸圧縮もなかった[21]。音声はQPSK変調のRFを時分割多重[22][23]もしくは標準テレビジョン放送で用いられた音声フレームを4値ベースバンド多重する[24]。
MUSEのなかま
MUSE-T
出典：[25]

放送用に作られたMUSE(以下区別のためにMUSE-Eと記す)であるが、MUSE-Tは4:2:2 TCIを利用することが不可能な狭帯域での素材伝送などの用を足すために作られた。RGBの各色を初期のMUSE-E同様[11][26]にサンプリング周波数64.8MHｚでデジタル化し、MUSE-E同様にカラーマトリクスの変換を行う。そして入力映像が静止画の場合、1回のみ単純なフィールドオフセットサブサンプリングを行う。動画の場合も帯域制限が加わるだけで静止画の場合と同一である。音声に関してもMUSE-Eと変わらず圧縮・時間軸したことによってシンボルレート12.15Mbaudとなった音声を垂直帰線区間に多重する。
ATV向けのMUSE

日本におけるハイビジョンの開発・放送に影響を受けてアメリカでもHDTVの放送を望む声が高まってきた。これに対しATSC[27]は既存の受信機と互換性のあるHDTV方式であるATVを募集し、FCCはそれに応える形で既存の受信機と互換性のある方式ないしは占有帯域が6MHz幅とサイマル放送しやすい方式でなければならないと定めた[28]。FCCの諮問機関であるACATSが行ったATVコンペディションに応募すべく、走査線数1125本のHDTVスタジオ規格を普及させるべく[29]NHK技研はADTV(Advanced Definition Television)であるNarrow MUSEおよびMUSE-6, MUSE-9を開発した。