MIT 628: Multimedia Technology

Dr. Kritsada Sriphaew

Master of Science in Information TechnologyRangsit University

สั�ปดาห์�ที่ ห์�วข้ อ/รายละเอยด1 Multimedia Systems, Standards and Trends

MPEG and Visual Display Unit

2 MPEG-4 standards

3 Image Technology, JPEG standards

4 Encoding and Compression

5 Video Indexing and RetrievalContent-Based Image Retrieval

6 Speech/Audio Processing for Multimedia Applications

7 Speech Recognition

8 สัอบกลางภาค

สั�ปดาห์�ที่ ห์�วข้ อ/รายละเอยด9 Handwritten Recognition

10 Interactive Multimedia Systems

11 Multimedia Hardware, Software and Authoring Tools

12 Design, Development and Evaluation of Interactive Multimedia Systems

13 Open Topic 1 (tentative HTML5/CSS3 or Flash)

14 Open Topic 2 (tentative HTML5/CSS3 or Flash)

15 Mobile Multimedia Technology

16 สัร�ป ที่บที่วน รวบรวมความร� จากการเรยน17 สัอบปลายภาค

What is Multimedia?

• Multimedia: a working definition– A combination of two or more categories of

information having different transport signal characteristics

– Typically, one medium is a continuous medium while another is discrete

– Image, audio, video and graphics are examples of media

Videos

• Some issues– How are the temporal relations between the

media represented?– What do I need to stream video across the

network?– Are the different media synchronized?– How can I describe a video retrieval request

like a query?

Background

• MPEG : Moving Picture Experts Group“Compactly representing digital video and audio signal for consumer distribution”ISO/IEC Standard

• ITU-T : International Telecom UnionThe ITU Telecommunication Standardization Sector

Some standards for MPEG and ITU-T are duplicate

MPEG Standards

• MPEG-1: (1993) Standard for VCD“Coding of moving pictures and associated audio for digital storage media at up to about 1.5 Mbit/s”

• MPEG-2: (1995) Standard for SVCD, DVD, digital TV“Generic coding of moving pictures and associated audio

information”

• MPEG-3: intention for Standard of HDTV– Found Redundant and merge with MPEG-2, there is no MPEG-3 standard– It is not MP3, which is MPEG-1 Audio Layer III.

MPEG Standards• MPEG-4: (1998)

“Coding of audio-visual objects for 3D or more efficient video”“closer to computer graphics applications”

• MPEG-4 Part 2: visual objects และ format vdo– DivX– XviD

• MPEG-4 Part 3: audio– AAC (Advance Audio Coding) Implemented by Apple Inc. AAC is referred to have

low bitrate at 96 kbps with the quality equal to MP3 at 128 kbps and applying in iTunes Music Store with the file format as .aac, .mp4 and .m4a

• MPEG-4 Part 10: Advanced Video Coding (AVC)– H.264 (ITU-T) or AVC (MPEG) Higher standard for vdo codec than MPEG-4 part 2.

Applying in QuickTime 7 และ MacOSX 10.4 Tiger, and broadcasting digital TV in Japan and Europe and next generation of disk for Blu-ray and HD-DVD

MPEG Standards

• MPEG-7: (2002) Standard for Adding Contents (Semantic) to the Media“Multimedia content description interface”

• MPEG-21: (2001) Standard for Adding Contents to the Media in a more detail (Frame by Frame)

“Multimedia Framework”

MPEG-1 MPEG-2 MPEG-4ออกมาตั้งแตั้� 1993 1995 1998ความละเอ�ยดสู�งสู�ดของว�ด�โอที่��ที่�าได� 352 x 288 720 x 576 1920 x 1152

ค�าเริ่��มตั้�นของว�ด�โอในริ่ะบบ(PAL)

352 x 288 720 x 576 720 x 576

ค�าเริ่��มตั้�นของว�ด�โอในริ่ะบบ(NTSC)

352 x 288 640 x 480 640 x 480

ย�านความถี่��ของเสู�ยงสู�งสู�ด 48 kHz 96 kHz 96 kHzแชลเนลของเสู�ยงได�สู�งสู�ด 2 8 8

การิ่ถี่�ายโอนข�อม�ลสู�งสู�ด 3 Mbit/sec 5 to 10 Mbit/sec 80 Mbit/sec .

อตั้ริ่าการิ่ถี่�ายโอนข�อม�ลเริ่��มตั้�น

1380 kbit/s (352 x 288)

880 kbit/s (720 x 576)

6500 kbit/s (720 x 576)

จำ�านวนเฟริ่มตั้�อว�นาที่�ในริ่ะบบ(PAL)

25 25 25

จำ�านวนเฟริ่มตั้�อว�นาที่�ในริ่ะบบ(NTSC)

30 30 30

 ค�ณภาพของว�ด�โอ satisfactory good to very good verygood

ความตั้�องการิ่ด�านฮาริ่*ดแวริ่*ใน การิ่ Encoding

ตั้��า สู�งมาก สู�ง

ความตั้�องการิ่ด�านฮาริ่*ดแวริ่*ใน การิ่ Decoding

 ตั้��ามาก สู�ง ปานกลาง

Visual Display Unit

HDTV

• HDTV ( High Definition Television ) ม�ช,�อเริ่�ยกอย�างเป-นที่างการิ่ว�า "โที่ริ่ที่ศน*ความคมชดสู�ง" หริ่,อ "โที่ริ่ที่ศน*ริ่ายละเอ�ยดสู�ง"

หริ่,อเริ่�ยกสูนๆ ว�า HDTV เป-นค�าสู นๆ ที่��แสูดงให�เห1นถี่2งการิ่แสูดงภาพว�ด�โอ โดยเลข 1080 หมายถี่2ง จำ�านวนความละเอ�ยดของเสู�นในแนวนอน 1,080 เสู�น และตั้วอกษริ่ p ย�อมาจำาก

Progressive Scan หริ่,อ non-interlaced ในขณะที่�� i ย�อมาจำาก interlaced ป4จำจำ�บนที่ง 1080i และ 1080p เป-นฟอริ่*แมตั้ความละเอ�ยดสู�งสู�ด ที่��ใช�กนที่�วไปในการิ่แพริ่�ภาพโที่ริ่ที่ศน*และการิ่

  เก1บภาพว�ด�โอ ดงนน 1080p จำ2งเป-นสูญญาณภาพแบบ HDTV โดยม�การิ่ริ่บสู�งสูญญาณภาพ ในแบบจำอกว�างหริ่,อไวด*สูกริ่�น ( Widescreen ) อตั้ริ่าสู�วน 16:9 น�นหมายความว�า ความ

ละเอ�ยดของการิ่แสูดงจำะผลอย��ที่�� 1920 จำ�ดในแนวนอน และม�ความละเอ�ยด 1080 จำ�ดในแนว  ตั้ง ริ่วมเที่�ากบ 1920 x 1080 หริ่,อเที่�ากบ 2,073,600 พ�กเซล ( 2 Mpixel หริ่,อ 2 ล�านพ�กเซล )

Full HD and HD Ready

HD Ready ค�าน�จำะใช�สู�าหริ่บจำอภาพที่��ม�ความละเอ�ยดตั้��ากว�า Full HD ไม�ว�าจำะเป-นขนาดภาพ 1366x768 หริ่,อ 1024x768 หริ่,อ1280x720 • สู�าหริ่บจำอภาพโที่ริ่ที่ศน*ที่��โฆษณาว�าเป-น HD Ready นนจำะ

ริ่องริ่บการิ่น�าเข�า input HDMI ริ่บสูญญาณภาพจำากเคริ่,�อง เล�นที่��เป-น Full HD ( 1080i หริ่,อ 1080p )

• เช�น.. เคริ่,�องเล�น Blu-ray ม�ขนาดภาพ Full HD 1920x1080 (pixels) สู�งตั้�อสูญญาณภาพให�โที่ริ่ที่ศน*ที่��ม�ขนาดจำอภาพเป-น HD เพ�ยง 1280x720 (pixels) เคริ่,�องริ่บโที่ริ่ที่ศน*จำะที่�าการิ่Down Scale ให�เหล,อแค� Native Resolution ให�แสูดงผลเที่�าที่��

จำอภาพของมนจำะที่�าได�เที่�านน ค,อจำากขนาดภาพ 1920x1080 pixels (1,080 เสู�น) เหล,อเพ�ยงขนาดภาพ 1280x720 (720 เสู�น) เหม,อนว�าริ่องริ่บสูญญาณภาพ Full HD 1920x1080 (1,080 เสู�น) แตั้�จำริ่�งๆแล�วแสูดงผลบนจำอภาพโที่ริ่ที่ศน*เพ�ยง1280x720 (720 เสู�น) เที่�านน

Interlace and Progressive• i ย�อมาจำาก Interlace  ค,อการิ่สูแกนภาพแบบฟ4นปลา หริ่,อเริ่�ยกง�ายๆ ว�า เสั น

 เว นเสั น อธิ�บายให�ละเอ�ยดค,อ ที่�ว�ที่��ม�ความละเอ�ยด 1080 เสู�นในแนวนอน จำะ สูแกนเสู�นเลขค��ก�อนก1ค,อเสู�นที่�� 1,3,5,7,9,.....,จำนถี่2งเสู�นสู�ดที่�ายของเลขค��ซ2�งก1

ค,อเสู�นที่�� 1079 ( ริ่วมเป-น Field 1) แล�วค�อยกลบมาสูแกนเสู�นเลขค��ก1ค,อ2,4,6,8,10,......,จำนถี่2งเสู�น1080 คริ่บ ( ริ่วมเป-น Filed 2) ซ2�งเป-นการิ่สู�ง

สูญญาณภาพที่�ว�ที่ �วไป (PAL-576i, NTSC-480i)

• p   ย�อมาจำาก Progressive ค,อการิ่สูแกนภาพแบบเรยงล�าด�บ ตั้งแตั้�1,2,3,.... ไปจำนถี่2งเสู�นสู�ดที่�ายจำากบนลงล�าง ภาพที่��ได�จำ2งเน�ยนกว�า ซ2�งจำอplasma และ LCD  จำะใช�ริ่ะบบน�เป-นหลก บางคริ่งก1เริ่�ยกริ่ะบบน�ว�า Non-Interlaced Scan

TV and Monitor

•   จอ CRT จำะใช�ว�ธิ� Scanline ตั้วเลขที่��ริ่ะบ�ริ่าย ละเอ�ยด เช�น 480i (720 x 480) หมายถี่2ง จำ�านวน

เสู�น scanline ตั้ามแนวนอนจำ�านวน 480 เสู�น แตั้�ละ เสู�นม�ความยาว 720 pixels ที่�างานแบบ interlace

( ถี่�าเป-น 480p จำะเป-น Progressive)

• จอ LCD ห์ร�อ Plasma ถี่�าเข�ยนว�า 640 x 480 จำะ หมายถี่2งจำ�านวน pixel ที่งในแนวตั้งและแนวนอน

และม�การิ่สูแกนแบบ Progressive

Resolution of TV

• SDTV : Standard Definition Television เป-นที่�ว�ที่��สูนบสูน�นความ ละเอ�ยดภาพแบบปกตั้� (โที่ริ่ที่ศน*ริ่ะบบอนาล1อก)

เช�น 480i, 576i – NTSC บนที่2กภาพที่�� 525x858 และแสูดงผลที่�� 480x720 (2:3) (เที่�ากบ

345,600 จำ�ด) – PAL/SECAM บนที่2กและแสูดงผลที่�� 576x720 (3:4) (เที่�ากบ 414,720

จำ�ด)

• EDTV : Enhanced Definition Television เป-นที่�ว�ที่��สูนบสูน�นความละเอ�ยดภาพที่��ม�ค�ณภาพมากข2น เช�น 480p, 576p, 720i

• HDTV : High Definition Television เป-นที่�ว�ที่��สูนบสูน�นการิ่แสูดงภาพที่��ม�ความละเอ�ยดสู�ง เช�น 720p, 1080i, 1080p

Current Technology for TV• การเพิ่!มความถี่ในการสัแกน  โดยการิ่ริ่บสูญญาณจำาก field A,B 50Hz ไปที่�าการิ่สูแกน

บนจำอเพ��มสูองเที่�าเป-น 100Hz เช�น Sony-DRC100, Philips 100Hz, 100Hz Digital Scan  ภาพที่��ได�จำากว�ธิ�การิ่น�จำะน��งมาก

• Progressive Scan (เที่�ยม) ที่�ว�จำะน�าข�อม�ล interlace จำาก field A,B มาผสูมริ่วมกนแล�ว ที่�าการิ่ deinterlace เพ,�อแสูดงบนจำอแบบ progressive เช�น Sony DRC Progressive ภาพ

จำะคมชดมากกว�าแบบ interlace  ธิริ่ริ่มดา

• การเพิ่!มความละเอยดบนจอ เป-นการิ่น�าสูญญาณเด�มมาเพ��มริ่ะดบความละเอ�ยดที่งแนว นอนและแนวตั้ง เช�น Sony-DRC1250  ภาพจำะละเอ�ยดย��งข2น

• Hybrid จำะเป-นการิ่ริ่วมเที่คน�คหลายๆ แบบเข�าด�วยกน เป-นการิ่เพ��มที่งความถี่��ในการิ่สูแกน และความละเอ�ยดของภาพ เช�น Philips-Pixel Plus

• Progressive Scan (แที่�) ที่�ว�จำะริ่บข�อม�ลสูญญาณแบบ Progressive scan จำากพวกเคริ่,�อง เล�น DVD, เคริ่,�องเล�นเกม น�าไปแสูดงบนจำอแบบ Progressive ซ2�งการิ่ใช�งานแบบน�จำะได�

ค�ณภาพของภาพสู�งสู�ด เพริ่าะมนเป-น Progressive มาตั้งแตั้� Source ที่��สู�งสูญญาณdigital แบบ Progressive ผ�านสูายแบบ DVD component หริ่,อ VGA, DVI, HDMI เที่�านน