匯流趨勢下數位電視的發展

楊士萱教授國立台北科技大學資訊工程系

演講地點：國家通訊傳播委員會演講日期：民國 99 年 8 月 26 日

2

大綱

數位電視

影音訊號

影音壓縮

3

About Me (楊士萱) 學歷

國立台灣大學電機工程學系學士(1987) 美國密西根大學電機與計算機科學系碩、博士(1990、1994)

現職：國立台北科技大學資訊工程系教授

重要經歷 國科會整合型計畫「嵌入式DVB-H接收系統之開發」總計畫主持人

(2009/08-2011/07) 教育部「 數位電視與廣播教學推動聯盟中心」計畫協同主持人 (2007/09-) 國立台北科技大學資訊工程系主任 (2004/08-2006/07)

研究專長：視訊編碼、數位電視、影像處理、多媒體通訊

榮譽 國科會自由軟體計畫績優團隊獎(三次)、、第四屆Linux黃金企鵝獎

編著「數位電視之多媒體技術」一書（全華圖書），該書並獲本校「教材教具製作競賽」特優獎。

台北科技大學優良導師（91學年度及96學年度）、傑出教職員工（95年度）、學院傑出研究獎（91學年度） 、學院傑出教學獎（98學年度）

數位電視

5

電視的數位化

電視開播是人類文明的重要進程。就媒體傳播的觀點，電視是 一般大眾休閒娛樂的重心

獲取資訊的重要管道

數位電視(digital television; DTV)：以數位傳輸整合視訊與音訊的通訊服務。 DTV可以 提昇電波頻譜的使用效率，

提供民眾更高品質的視聽服務及多元的選擇，

促進平面顯示器、數位電視機及數位內容等相關產業的發展。

成為家庭網路與娛樂中心。

隨著科技革新與數位匯流的發展，電視的創新蛻變正加速演進中，未來除了固定頻道節目外，隨選視訊、互動多媒體、遊戲、上網等多元應用，都是電視可望提供的服務內容。

Transmitting Side Receiving Side

AudioEncoder

VideoEncoder

DataEncoder

DataDecoder

VideoDecoder

AudioDecoder

System & Transport Multiplexing System & Transport De-Multiplexing

Digital Modulation & RF Transmission System

RF tuning & Digital De-Modulation

Audio Video Data AudioVideoData

DatacastingBroadband

Channel Coding

Source Coding

本頁取自銘傳大學陳游利教授上課講義6

數位電視的通訊模型

7

A DTV System

Audio

Video

AudioCoder

VideoCoder

MUX

Tx Rx

DEMUX

AudioDecoder

VideoDecoder

DataDecoder

Audio

Video

DataDataCoder

Data

ReturnTx

ReturnRx

Terrestrial BroadcastSatellite BroadcastCable Broadcast

Cable ModemSatellite ModemTerrestrial ModemPhone Line Modem

本頁取自銘傳大學陳游利教授上課講義

8

數位電視廣播的發展現況 世界上數位電視廣播的三大系統

歐規的DVB (digital video broadcasting) 美規的ATSC (advanced television systems committee) 日規的ISDB (integrated services digital broadcasting)

數位電視廣播標準，針對不同傳輸環境分別制定其技術規範： 地面廣播(terrestrial, -T) 衛星廣播(satellite, -S) 有線電視廣播(cable, -C) 手持式裝置廣播(handheld, -H)

各國數位電視地面與衛星廣播的進程 美國於2009年6月12日起全面停止播送類比電視信號

歐洲國家從2010年起陸續停播類比電視信號。

日本從2000年12月起開始以廣播衛星轉發數位電視訊號，稱為「BS Digital」，2003年12月起在三大都會區（東京、京阪神、名古屋）開始發射地面數位電視訊號，預定於2011年全面停播類比電視。

目前全球有線電視數位化比重約達三成，預估至2013年全球數位有線電視用戶將會成長至2億9仟萬戶，數位化比重也將超過50%。

隨著電視數位化的趨勢日漸明朗，以及寬頻接取網路的頻寬增加，各國IPTV的興起與日俱增。根據國際研調機構 Informa Telecoms&Media 統計，截至2009年全球IPTV用戶數已突破2,000萬戶，服務提供者達110家。

全球數位電視標準分佈圖

9

10

台灣數位電視的發展

我國將數位電視的發展遠景定為「數位電視普及化、數位頻道多元化、數位內容優質化、數位落差極小化」

在數位電視地面廣播方面 2003年4月全區開播「標準畫質電視」(standard-definition television; SDTV)節目

2008年開始試播「高畫質電視」(high definition television; HDTV)節目

國家通訊傳播委員會(NCC)已規劃開放至多5張執照供數位無線電視使用，均為全區執照，每張執照頻寬均為6MHz，規劃使用頻道分別為Ch25、Ch27、Ch29、Ch31、Ch33，有關公共廣電使用頻道將另案研議。

在數位電視有線廣播方面，2002年起東森與中嘉兩大MSO開始提供數位電視頻道服務，目前各家業者皆在積極進行數位寬頻網路的建置。

在手持式數位行動電視方面， 2006年進行試播，並規劃於近期釋出至多2張全區、各6 MHz頻寬之執照供數位行動電視使用，其使用頻道分別為Ch35、Ch36。

我國目前已是LCD數位電視的生產大國，在數位電視接收器與數位機上盒(Set Top Box; STB)之技術也已臻成熟，在市場佔有率上有不錯的表現，對於DTV相關之關鍵零組件也在積極開發之中。

11

目前台灣數位電視播出頻道

本頁資料取材自「社團法人台灣數位電視協會」網頁

12

通訊傳播匯流與數位電視

在全球數位化、網路IP化浪潮的推波助瀾下， 電信網路（以語音通訊為主）

電腦網路（以數據通訊為主）

電視網路（以視訊廣播為主）

的界線日漸模糊，進而造成服務、網路、及終端設備的匯流。

數位匯流的影響 節目內容製播的改變

固定通信網路與無線通信網路頻寬與服務的提升

數位電視在數位匯流下的發展趨勢 高畫質電視、3D電視

網路電視IPTV

13

數位匯流架構圖

Fibe

r

Cop

per

Cop

per

Cop

per

Cop

per Fibe

r資料來源：Ofcom2007

14

新興數位電視科技的發展

第二代數位無線電視朝向高傳輸效率與高畫質發展 採用H.264/AVC及AAC-HE等高效能的影音編碼技術，提供第一代標準兩倍以上的壓縮效能。

導入高效能的調變與通道編碼技術，如256-QAM、OFDM調變、LDPC改錯碼等，已可接近傳輸速率的理論極限。

在MPEG-2傳輸串流之上採用GFP (Generic Framing Procedure)，可針對同一頻道內的服務提供不同的服務品質(Quality of Service; QoS)。

網路電視IPTV IPTV為一種融合廣播電視、視訊、音訊、文字、圖像及數據的多媒體服務，經由使用「網際

網路協定」 (IP)的通訊網路，提供具備可靠性、互動性、安全性的服務品質予使用者。

IPTV可大致分為線性服務與非線性服務兩種類型，線性服務係以傳統廣播方式傳送影音媒體服務，即一群收視戶可同步接收相同的電視節目內容，而非線性服務是指由用戶依個別的需求，隨時點選自己想要收看的電視節目。

IPTV能結合「數據」、「語音」、「視訊」之整合服務，推展三合一 (Triple Play Service; TPS)的整合服務。與傳統電視服務相較，IPTV能提供個人化、多樣性和互動性的多媒體內容與服務，但是，IPTV必須滿足適當的傳輸品質，才能確保IPTV服務功能的完整性與客戶使用的滿意度。

新興電視上網平臺服務 透過機上盒與電視做連結，或

將聯網功能內建於電視機內。

15

手持式行動數位電視的發展 除了透過傳統地面廣播、衛星廣播、與有線廣播等接收技術之外，近年來數位電視也

開始強調移動接收與手持裝置技術。

在手持式行動裝置（如手機或PDA）上收看電視節目，可以讓廣大的行動通信用戶隨時隨地獲取他們需要的資訊和喜愛的節目，也可以讓通訊業者提供更多樣化的多媒體加值服務。

國際間目前已（試）營運的手持式電視系統 以歐規數位電視地面廣播(DVB-T)為基礎之DVB-H 以數位音訊廣播(DAB)為基礎加以改良的T-DMB 日本的整合式數位電視及廣播ISDB-T 美國的MediaFLO (Qualcomm)及ATSC-M/H 中國大陸訂定的CMMB標準。

目前美國、日本、南韓等國之行動電視系統已陸續進入商業運轉，估計2010年全球行動電視用戶將達1.25億戶，電視手機的產值規模則上看300億美元。

2008年10月Google發布開放手持式裝置軟體平台Android的第一個正式版本，同時提供軟體開發與模擬環境。

我國近年行動終端設備(如手機、PDA等)相關軟硬體製造年產值高達兩千億元以上，目前本土電子大廠已開始卡位行動電視，並著手開發支援行動電話的數位電視手機、Smartbook、網卡等終端產品。

16

主要行動數位電視廣播標準基本技術比較

行動數位電視標準 DVB-H T-DMB ISDB-T CMMB

使用國家 Europe/Australia Korea Japan China

Frequency (MHz) 170-230 / 470-862 / 1452-1492 170-240 558-566 30-3000

訊號源編碼Video/Audio

H.264 or VC-1/HE AAC or AMR-WB+

H.264 / MPEG-4 (BSAC)

H.264 / MPEG-2 (AAC) AVS

通道編碼Convolutional code

/ RS codesConvolutional code /

RS codesConvolutional code /

RS code LDPC / RS code

傳輸通道頻寬 5/6/7/8 MHz 1.536 MHz 430 kHz@6MHz 2/8 MHz

傳輸流格式 IP over MPEG-2 TS MPEG-2 TS, MPEG-4 Sync Layer MPEG-2 TS CMMB Frame

Spectral Efficiency ~ 2 bit/s/Hz ~ 0.5 bit/s/Hz < 1 bit/s/Hz ~ 2 bit/s/Hz

Data Rate perChannel (kbps)

Typical: 300 Max.: 384 400 280.85 - 1787.28

per Segment Max.: 406

調變 (Modulation) COFDM / QPSK/ 16-QAM/64-QAM COFDM/DQPSK COFDM/QPSK /

16-QAMBPSK / QPSK /

16-QAM

17

DVB-H影音傳送系統的資料封裝

視訊資料經過H.264 VCL層壓縮，再由H.264 NAL層封裝成為NAL單元(NAL unit, NALU)。音訊資料經過HE-AAC v2壓縮，再封裝成AU (Access Unit)。

TS 102 005技術規範規定，對於 手持式裝置 IP Datacast的應用(handheld devices with severe limitations on computational resoureces and battery) ，H.264的影像資料應該用單一的NALU或非交錯模式的RFC 3984直接封裝成一個RTP封包。

RTP封包再用UDP (User Datagram Protocol)和IP (Internet Protocol)通訊協定進一步封裝成IP datagram。IP datagram由MPE或MPE-FEC進一步包裝後，再傳至MPEG-2 Systems 編碼器，編成MPEG-2傳輸串流(Transport Stream, TS)，再經過通道編碼及調變後發射出去。

H.264 VCL / NAL

RTP(RFC 3984)

MPE

MPE-FEC

MPEG-2TS

MUX

Video DataUDP

ProtocolIP

ProtocolMPEG-2

TSRTP(RFC 3640)

HE-AAC v2 / AUAudio Data

e.g. 公視

e.g. HDTVe.g. SDTV2 (low priority)

e.g. SDTV1 (high priority)

e.g. 星光大道 e.g. SDPe.g. 愛

e.g. Video e.g. Audio1 e.g. Audio2

Relation between DVB networks, Transport Streams, DVB services and components

18

DVB-H Protocol Stack (Receiver)

IP

MPE/MPE-FEC/Time-Slicing PSI/SI

MPEG-2 Transport Stream

DVB-H Receiver (Dib7000H)

UDP

RTP/RTCP

H.264 Content HE-AAC Content ESG ContentApplicationLayer

TransportLayer

NetworkLayer

Data LinkLayer

PhysicalLayer

FLUTE

Source Decoding of H.264 / HE-AAC Decoding XMLPresentation Layer

SessionLayer

19

20

教育部網通人才培育計畫「數位電視與廣播」聯盟中心預定之課程流程圖

影音訊號

22

影像、圖像、視訊、與動畫 「影像」 (image, 或稱為靜態影像still image)

用相機或是掃瞄器等影像擷取裝置所得到亮度或顏色的二維訊號

包括自然影像、超音波或電腦斷層掃描之醫學影像、以及遙測影像等。

影像通常用像素或像點(picture element或簡稱為pixel)所構成的點陣圖(bit map)表示。

「視訊或影片」 (video) ：由一個時間序列的靜態影像所構成。每一幅完整的靜態影像稱為一個畫框(frame)。

「圖像」(graphics) 電腦合成的圖案，通常是由基本幾何圖形(線條、圓、多邊形等)所構成。

圖像通常使用向量圖(vector format)來表示。

「動畫」 (animation) ：由時間序列的圖像所構成。

雖然視訊和電腦動畫的信號本質不同，但是應用上(如電腦遊戲與電影)常加以混用。

23

類比視訊與數位視訊

類比式(analog)影像服務其像點的亮度或顏色來自一個連續的範圍。例如： 傳統照相機

8mm膠捲影片、錄影帶

歐規PAL (Phase Alternation Line)或SECAM (Sequential Color with Memory)類比電視、和美規NTSC (National Television System Committee)類比電視

數位式(digital)影像服務其在時間域與空間域均為離散的取樣。例如： 數位相機(digital camera) 數位攝錄相機(digital camcorder)、VCD、DVD 數位電視、數位電影

24

影片序列的空間與時間取樣

時間軸

空間軸

25

像素與像素深度

數位影像每個像素所使用的位元數稱為像素深度(pixel depth)。 像素深度=1位元，每個像素只能有明暗兩種變化，也稱為半色調

(half tone)。像素深度=8位元，可以表示黑白影像的256種灰階值，或是彩色影像調色盤上的256種顏色。

16位元的像素深度可以直接代表216 = 65536種顏色(高彩)24(或32)位元的像素深度可以直接代表224(或232)種顏色(全彩)高彩或全彩通常是將其全部的位元數分配到3個成分顏色上。

「色彩空間」(color space) 探討成分顏色的選擇及其視覺意義。

26

Trichromatic color vision

27

Color Mixing

Additive Color Mixing Subtractive Color Mixing

28

RGB色彩空間

用紅(R)、綠(G)、藍(B)三原色所構成的相加性顏色系統 其他顏色由三原色不同的權重值產生，譬如黃色可由等量的紅色

與綠色相加得到。

RGB三原色的成分值愈大，亮度愈高。

被廣泛地使用在影像擷取及顯示裝置，如 CCD (charge-coupled device)感測器

CRT (cathode ray tube)顯示器

LCD (liquid crystal display)顯示器

使用RGB格式的缺點 對於影像的傳輸及編輯較缺乏效率。

29

YUV色彩空間

Y代表亮度(luminance)的資訊，

U與V代表彩度(chrominance)的資訊。

人類對於亮度與彩度的敏感度不同，

YUV色彩空間更貼近人類視覺系統。

YUV是歐規類比電視所使用的色彩空間。

YUV與RGB之間存在線性轉換的關係：

−−−−=

BGR

VUY

100.0515.0615.0436.0289.0147.0114.0587.0299.0

)(877.0)(492.0

YRVYBU

−=−=

U是B的色差成分，而V是R的色差成分。

30

YIQ色彩空間

YIQ主要用在NTSC美規類比電視系統，I代表同相(in-phase)分量，Q代表垂直相(quadrature phase)分量。

YIQ與RGB之間的線性轉換：

−−−=

BGR

QIY

311.0523.0212.0321.0275.0596.0114.0587.0299.0

−−−=

QIY

BGR

704.1107.11647.0272.01621.0956.01

31

YCbCr色彩空間

是YUV的延伸版本。如果RGB各用8位元代表(0~255)，則Y的值會落在0到255之間，而Cb與Cr的範圍都是在–128到+127之間，都可以恰好用8位元精確到其整數值。

JPEG與MPEG-1/2/4等壓縮標準所預設的色彩空間。

其與RGB的轉換關係如下：

−−−−=

BGR

CrCbY

081.0419.0500.0500.0331.0169.0114.0587.0299.0

Cb是B與Y差值縮放的版本，Cb = 0.564(B-Y)；Cr是R與Y差值縮放的版本，Cr = 0.713(R-Y)。

32

HSV色彩空間

Hue: 色調(如紅色或黃色)，用角度(0到360度)來表示

Saturation: 飽和度(如鮮紅或淡紅)Value:亮度(如亮紅或暗紅)比較貼近對於人類對於顏色的主觀認定

與RGB、YUV(及其延伸版本)之間不存在線性轉換。

HSV及其延伸版本常應用於美術與影像檢索(如MPEG-7)等場合。

33

YCbCr 4:4:4彩度次取樣格式

：亮度樣本(luminance samples).：色差樣本(chrominance samples)

34

YCbCr 4:2:2彩度次取樣格式

：亮度樣本(luminance samples).：色差樣本(chrominance samples)

35

YCbCr 4:2:0彩度次取樣格式

：亮度樣本(luminance samples).：色差樣本(chrominance samples)

36

視覺暫留與動畫

視訊或動畫的基本原理是利用人類的視覺暫留(afterimage or photogene)現象，當拍攝與播放的速度夠快時，人類的視覺暫留會讓影片或動畫看起來具有連續動作的效果。

畫框速率(即每秒的畫框數frames per second; fps) 低於10 fps時，會感覺動作有跳動不自然的現象。

畫框速率介於10到20 fps之間時，畫面看起來會稍覺平順

目前電視的標準畫面速率為25或30 fps。 顯示速率(每秒顯示的畫面數，以Hertz為單位)

顯示器播放影片時會間隔一段時間閃爍(flicker)一次

要使人不覺得閃爍，顯示速率(每秒顯示的畫面數，以Hertz為單位)必須達到人的閃爍融合率(flicker fusion rate)，其數值約為50 Hertz以上。

37

漸進式與交錯式影片

漸進式(progressive)影片：以完整「畫框」(frame) 為拍攝或播放的單元。

交錯式(interlaced)影片：將一張完整的畫框分割成兩個不同宇稱性(parity)的「圖場」 (field)，以圖場為拍攝或播放的單元。

上圖場(top field, 由奇數之掃描線組成)下圖場(bottom field, 由偶數之掃描線組成) 。

在相同的畫框速率下，交錯式影片的閃爍較不明顯，而且動作看起來更平順動作看起來更平順。

電視以交錯式格式為主，其圖場速率達到每秒50或60張圖場。不管是畫框與圖場在編碼標準中都被叫做「畫面」 (picture) 。

一般電影的畫框速率是24 fps，透過遮光器(shutter)讓每個畫框重複顯示3次，所以其顯示速率為72 Hertz。

38

交錯式影像序列

39

常見的標準數位影像格式格式 解析度 畫框速率 掃描類型

SQCIF 128 × 96QCIF 176 × 144CIF 352 × 288VGA 640 × 480525 SD (美規) 720 × 480 30 交錯式

4CIF 704 × 576625 SD (歐規) 720 × 576 25 交錯式

SVGA 800 × 600XGA 1024 × 768720p HD 1280 × 720 漸進式

4VGA 1280 × 96016CIF 1408 × 11521080i HD 1920 × 1088 交錯式

16VGA 2560 × 1920

40

珈瑪修正(Gamma correction)

包括陰極射線管(CRT)在內的影像顯示器，其輸出光線強度I與輸入信號電壓V之間呈指數關係

一般顯示器的珈瑪(γ)值介於2.0到3.0之間，γ = 2.2 (NTSC)。 線性RGB資料在傳送前(拍攝時)就會先做珈瑪修正：

在許多實際應用場合中，數位影像的RGB值為經過珈瑪修正後的值。

使用珈瑪修正的優點： 降低顯示裝置(如電視機)的成本。

由於眼睛對於相對的亮度改變具有相近的敏感度，珈瑪修正後的影像對通道雜訊有較高的免疫力。

γVI ∝

γ/1inputtransmit II =

影音壓縮

42

視訊壓縮的必要性

視訊電話 (CIF, 15 fps, YCbCr 4:2:0) 352 (pixels or pels) * 288 (lines) * 15 (frames/s) * 1.5 bytes =

18.25 Mb/s available bandwidth on PSTN ≤ 33.6 kb/s

數位電視 (525 SD, YCbCr 4:2:0) 720 (pels) * 480 (lines) * 30 (fps) * 1.5 (bytes) * 8 (bits) = 124.4

Mb/s available bandwidth on cable networks ≤ 6 Mb/s

DVD (SD, YCbCr 4:2:0, 2小時) 124.4 * 60 (s/min) * 60 (min/hr) * 2 (hrs) / 8 = 112 GB Current DVD has the storage capacity no larger than 17 GB.

43

影片中的冗餘(redundancy)

時間上(畫面間)的冗餘 temporal redundancy 同一場景前後張畫面的相似性

空間上(畫面內)的冗餘 spatial redundancy 畫面內鄰近的像素點通常具有相近的亮度或顏色

編碼冗餘 coding redundancy 量化後符號機率並非完全相等，且符號間也存在相關性。

感官冗餘 perceptual redundancy 人類視覺系統對於不同顏色或空間頻率的敏感度不盡相同，某

些圖像成分較不容易被察覺。

44

影像壓縮演算法的衡量指標(1/2)

壓縮效率 (compression efficiency)，包括

以及位元率等。 壓縮比愈高，或像素(位元)率愈低，壓縮效率愈好。

8位元的灰階影像如果壓縮成0.5 bpp，其壓縮比為16倍；

525 SD, YCbCr 4:2:0的視訊如果壓縮40倍，其位元率將成為3.11 Mbps。

品質 (quality)，本項指標只對失真壓縮有意義。 主觀衡量方式如平均品質分數MOS (mean of scores)。 客觀衡量方式包括平均平方誤差MSE (mean square error)，

或峰訊雜比PSNR (peak signal-to-noise ratio)等。

)()(

位元壓縮後的資料大小

位元未經壓縮的資料大小壓縮比 =

)()(

像素原始影像大小

位元壓縮後的影像大小像素率 =

45

影像壓縮演算法的衡量指標(2/2)對於兩張由N個像素點所構成的相似影像x 與y

對於像素深度8位元的灰階影像，A = 255。一般而言，PSNR達到40 dB以上時，肉眼幾乎無法分辨兩張影像的不同；普通的視訊應用通常要求PSNR達到30 dB以上。

Other visual fidelity measures: PQS, SSIM, VIF, etc 複雜度 (complexity)，如

包括運算複雜度(每秒需要多少運算MOPS) 記憶體需求

處理延遲

其他：如對於錯誤的強健性(error robustness)、漸進傳輸能力(scalability) 等。

MSElog10

2

10APSNR =∑

=

−=N

iii yx

N 1

2)(1MSE

46

Images polluted with high frequency noise (left) and band-pass filtered noise (right) having identical PSNR

影音壓縮技術 (1/2)

熵編碼(Entropy Coding) 無失真壓縮，將較短的碼字指派給機率較高的事件，平均最小碼長為熵

值。

範例：霍夫曼編碼、算術編碼

量化 (Quantization) 失真性壓縮，將一個較大集合的樣本，轉換到一個較小有限集合的近似

值。

轉換編碼 (Transform Coding) 轉換可以看成是座標基底的變換，轉換的目的在於凸顯訊號的某些特性

，如能量集中、去相關性、或具備物理意義(如頻譜)。 常見的轉換：DFT(離散傅立葉轉換), DCT(離散餘弦轉換), 小波(wavelet)

47

48

Discrete Cosine Transform (DCT)

1-D Type II DCT

The 2D DCT (type II) used in MPEG

MDCT (modified DCT) in audio coding (type IV)

1,0 ,cos1),(2

)12( −≤≤= + Nkrc

krAN

rk

r

π

≠=

=0,2/0 ,

rNrNcr

Nvj

Nuixcc

Ny

N

i

N

jijvuuv 2

)12(cos2

)12(cos2 1

0

1

0

ππ ++= ∑∑

−

=

−

=

Nvj

Nuiycc

Nx

N

u

N

vuvvuij 2

)12(cos2

)12(cos2 1

0

1

0

ππ ++= ∑∑

−

=

−

=

=

=otherwise 1

0,for 2/1, vucc vu

1,0 ,cos),(2

)12/2)(12( −≤≤

= +++ NkrkrA

NNkr π

49

DCT的性質

對於高度相關的資料(相關係數ρ > 0.7)，DCT的能量集中效率會非常接近KLT。

DCT存在類似FFT的快速演算法。

8×8二維DCT的64個基底影像如右。左上角為直流(DC)成分。

50

影像壓縮系統範例：JPEG

JPEG標準的DCT轉換編碼(基線模式) 考慮像素深度8位元的灰階影像，對每一個8×8的影像區塊

X進行轉換編碼。

二維DCT轉換

純量量化 熵編碼

8×8 頻譜係數

符號串8×8

影像區塊位元串

8×8 量化矩陣Q 霍夫曼編碼表

原始影像 壓縮影像

51

JPEG (cont.)：二維DCT正轉換

=

78787575697877728380796771717676808278756968636985797878677570737981808675757674827478807867757294858683827678769494868282797579

X

由於X 是一個相對平緩(空間域高度相關)的區域，Y的能量明顯集中於左上角低頻的係數。

−−−−−−−−

−−−−−−−

−−−−−−−−−

−−

=

3211252422222529333131319114123634811511240445501232070472321422930620

Y

52

JPEG (cont.)：量化

=

9910310011298959272101120121103877864499211310481645535247710310968563722186280875129221714566957402416131455605826191412126151402416101116

Q

−

−−

=

00000000000000000000000000000000000000100000000100000012000001339

Z

Z(u, v) = Integer Round [Y(u, v) / (Q(u, v))] 人對空間高頻成分較不敏感，Q矩陣右下方取較大的元素(量化步階)。

53

JPEG (cont.)：熵編碼

之字形掃描(zigzag scan)得到中間編碼序列

(39, -3, 2, 1, -1, 1, 0, 0, 0, 0, 0, -1, EOB)，其中39為DC係數，EOB代表end_of_block(後面細數均為0)。

DC係數採用DPCM編碼，假設前一個影像區塊量化後的DC係數為34，則編碼數值為其與目前量化後DC係數的差值5。

使用霍夫曼編碼分別對DC係數的差值及AC係數進行壓縮，最後產生的位元串為

(100,101)DC, (01,00), (01,10), (00,1), (00,0), (00,1), (1111010,0), (1010)，共35位元。

此區塊的碼率為35 / 64 = 0.547 bpp。

54

範例(cont.)：反轉換

解碼時先以熵解碼解回Z，再回乘量化矩陣及用二維DCT得到以下結果：

與原始的X相比較，這個區塊對應的MSE為12.55，PSNR = 37.15dB，這代表解碼影像的品質極佳。

−

−−

=

000000000000000000000000000000000000001700000000140000001224000001033624

Y

=

77767574757677788180777573727373858279757169686884827875727069698281787674747474848381787777777891898682797877779895918580777574

X

影音壓縮技術 (2/2)

預測編碼

預測(prediction)是利用已知的觀測資料，推測目前編碼資料的技術。預測越準確，待編碼資料的不確定性就越低。

預測可以用在無失真編碼(降低編碼資料的熵)或是失真編碼(降低編碼資料的能量)。

動作估計：估算編碼畫面與參考畫面間運動參數的一種機制。

動作補償：依據動作估計，由參考畫面計算出編碼畫面估計值。

通常動作估計只在編碼方進行，其估算的基本單位通稱為巨區塊。

由參考畫面估算所得巨區塊與編碼巨區塊的殘差，可以套用一般靜態影像的壓縮技術(如轉換編碼)再進行壓縮。

多數視訊編碼標準採用平移模型，只估計動作向量 (dx, dy)。

55

56

影片時間上的相關性

影片是由一個時間序列的影像所組成，通常相鄰畫面拍攝時相差的時間很小(如1/30秒、1/25秒、或1/10秒)，所以畫面間的相似性很高。

下圖為標準測試影像Mobile & Calendar的前兩張畫面(畫面間隔時間1/30秒)，我們可以發現，後一張畫面的內容幾乎都可以從前一張畫面找到，而且移動的距離不大。

57

動作估計示意圖

多數視訊編碼標準採用平移模型，只估計動作向量 (dx, dy)。由參考畫面估算所得巨區塊與編碼巨區塊的殘差，可以套用一般靜態影像的壓縮技術(如轉換編碼)再進行壓縮。

58

感謝聆聽敬請指教