Upload
others
View
9
Download
0
Embed Size (px)
Citation preview
カラー情報の表現と解析カラ 情報の表現と解析
呉海元@和歌山大学呉海 和歌2010年6月28日
参考書:参考書:
●南 敏、中村 納
画像工学(増補)―画像のエレクトロニクス―コロナ社コロナ社
●松山隆司 久野義徳 井宮淳:●松山隆司、久野義徳、井宮淳:
コンピュータビジョン --技術評論と将来展望--新技術コミュニケーションズ、1998
期末試験の通知期末試験の通知
7月22日(木) 4コマ A204
Physics-Based Visiony● 知覚とは別に,視覚系への色刺激となる光の物理現象を調べて,これを利用する視覚研究現象を調 て,これを利用する視覚研究
●物体表面での光の反射の仕方(物体表面を構成する材質によって異なる)がカラー画像生成を決定づけるる材質によって異なる)がカラ 画像生成を決定づける
Observer (Camera)光源 カメラ
)(LightE )(E
)()()(Light Reflected
EL光の反射の仕方物体表面の材質による)()()( EL
物体
物体表面の材質による
)(Object of eReflectanc
Color Image FormationColor Image FormationObserver (Camera)
照明光源 カメラ
OutputCamera RGBLight
)(ELight Reflected 光の反射の仕方
)()()( EL
物体
物体表面の材質による
)(Object of eReflectanc
物体
●画像内の物体の色は照明光源、物体、カメラ3者
の幾何関係と物体表面の材質に応じて変化の幾何関係と物体表面の材質に応じて変化
Color Image Formation(カメラ)Color Image Formation(カメラ)
OutputCameraRGB
Observer (Camera)光源 カメラ
)(LightE
OutputCameraRGB
)(E
)()()(Light Reflected
EL光の反射の仕方物体表面の材質による)()()( EL
物体
)(Object of eReflectanc
Observer/SensorObserver/SensorEye Response Camera Response
Reflected light spectrum is represented by a 3 element vector
・人間の目とカメラセンサーの色知覚が異なる人間の目とカメラセンサ の色知覚が異なる・反射光のスペクトルがRGB3次元のベクトルより表現
表色系(Color System)
表色系は特定の記号を用いて 色の表示を明確表色系は特定の記号を用いて、色の表示を明確に行うための一連の規定および定義からなる体系である (CIE C l St d d 1931)系である (CIE Color Standard – 1931)
CIE standardized (Commission InternationaleCIE standardized (Commission Internationale de L’Eclairage) → 国際照明委員会
CIE色空間CIE色空間 CIEは“imaginary”光を三つ(X, Y, Z)定義g y , ,
0.490 0.310 0.2000 177 0 813 0 011
RG
XY = 0.177 0.813 0.011
0.000 0.010 0.990GB
YZ
人間の目
Measured vs CIE色空間Measured vs. CIE色空間
measured basis CIE transformed basis• 単色光
• 物理的観測
• イメージされた光源
• 全部正、単位面積
• 負の部分を含む • Yは明るさ
CIE色空間とRGB色空間CIE色空間とRGB色空間以降のRGBは画像処理分野に使っているもの
CIE色空間CIE色空間
RGB色空間(立方体)RGB色空間 in CIE色空間
明るさと独立した色度平面内のRGB明るさと独立した色度平面内のRGB
1b 1 bgr
Same Color, different
Colour CubeChromaticity Plane色度平面
brightnesses
BbGgRr BGR
bBGR
gBGR
r
CIE色度図CIE色度図
3次元のCIE色空3次元のCIE色空
間内の色を2次元に変換し、表現:に変換し、表現:
X X+Y+ZX = xy
Y X+Y+ZY = y
Z X+Y+ZZ = z
x+y+z = 1
x xy色度図
HSV色空間HSV色空間
HSV色空間
Saturation
HSV色空間
ValueSaturation
Hue
Color SpacespModels Applications
Colorimetirc XYZ(基準空間) Colorimetric calculations
i if S iDevice-oriented
Non-uniform spacesRGB, YIQ, YCC, ...
Storage, processing, analysis, coding, color TV
Uniform spacesL* a* b*, L* u* v*, ...
Color difference evaluation, analysis, color
t tmanagement systems
User-i d
HSI, HSV, HSL, I1I2I3
Human color perception, computer graphicsoriented I1I2I3, ... computer graphics
Munsell Human visual system
RGB to YIQ・YUV YIQ色空間(カラーテレビ、Used in NTSC: National
Television Systems Committee)Television Systems Committee) Y:明るさ, I & Q:色 (I=red/green, Q=blue/yellow)
Y 0 299 R + 0 587 G + 0 114 B• Y = 0.299 R + 0.587 G + 0.114 B• I = 0.596 R - 0.275 G - 0.321 B• Q = 0.212 R - 0.528 G + 0.311
色空間( YUV色空間(デジタルビデオカメラ、1982 standard)• Y = 0.299R + 0.587G + 0.114B• U = 0.492(B – Y)• V = 0 877(R Y)• V = 0.877(R – Y)
カラーデバイスとCIE色度図の比較
色弁別(Color Discrimination)色弁別(Color Discrimination)色弁別:色の違いを見つけること;
●観測者は刺激光を参考光に何回も繰り返し等色する実験より測定
等色実験
図の中の図の中のI, III, IIはは白色拡散反射面であり、白色拡散反射面であり、IIにはには33原色光を濃度原色光を濃度フィルタを通して照射しフィルタを通して照射しフィルタを通して照射し、フィルタを通して照射し、IIIIには試料光を照射するには試料光を照射する
●RGBの量を適当に調整し●RGBの量を適当に調整し、
I,IIの色がまったく一致した時等色された
●明るさも一致していなければならない
色弁別色弁別
●刺激光は参考光の周りにばらつく
●そのばらつきの標準偏差を求め 10倍して表示求め、10倍して表示
●CIE色度図の上方の緑色の
部分の楕円は極めて大きく部分の楕円は極めて大きく、左下の青紫の部分の楕円は極めて小さい極めて小さい
●人間の色に対する弁別能力が、色度図上の位置によって大きく異なる大きく異なる
均等色度図均等色度図
●色度図の座標変換を行って 色度図上の●色度図の座標変換を行って、色度図上のどの部分においても、標準偏差の楕円は大きさが等しい円として示されるようになれば 色さが等しい円として示されるようになれば、色度の視覚差がどこでも均質なものとなる
●このようにして得られる色度図が均等色度図(U if Ch i i S l Di図(Uniform Chromaticity Scale Diagram, UCS Diagram)であるg )
CIE1960UCS色度図CIE1960UCS色度図
●CIE1960UCS色度図(xy色度図)への座標変●CIE1960UCS色度図(xy色度図)への座標変換は次式より行われている
4 / ( 2 +12 +3) 6 / ( 2 +12 +3)u = 4x / (-2x+12y+3); v = 6y / (-2x+12y+3)●3刺激値X, Y, Zを用いれば
u = 4X / (X+15Y+3Z); v = 6Y / (X+15Y+3Z) となるとなる
●利点:式で簡単に計算できる
欠点:完全に均一になっていない
→楕円は円に近いが 円になっていない→楕円は円に近いが、円になっていない
均等色空間(D.Farnsworth 1957)均等色空間(D.Farnsworth 1957)
心理実験より心理実験より
混色
●混色:二つの色を
混色
混合して別の色を生ずること
●加法混色●加法混色:
二つの色光を同一スクリ ン上に重ねてスクリーン上に重ねて投影したときに別の色が生ずるような混色●減法混色:
光源とスクリーンの間に色フィルタ・他の吸収媒質を置き、その重ね合わせによって重ね合わせによって別の色を生じさせるような混色
カラーテレビジョンカラ テレビジョン
Additive (RGB)( )加法混色
カラ 画像表示は 加法混色の原理に基づくカラー画像表示は、加法混色の原理に基づく
加法混色の3原色:赤(red)● 緑(green)● 青(blue)●を光の3原色が用いられる赤は波長700nmの光,緑は波長546.1nmの光,そして青は波長435.8nmの光です.
CRTディスプレイの構造CRTディスプレイの構造
減法混色 補色減法混色・補色
減法混色では、RGBの補色(Complementary Color)、シアン(シアン(CC))、、マゼンタ(マゼンタ(MM))、、黄(黄(YY))を3原)、シアン(シアン( ))、、 ンタ(ンタ( ))、、黄(黄( ))を 原色として用いる
補色: 二つの色光を加えて白色になる場合、それら二つの色光は互いに補色の関係があるれら 色光 補色 関係 ある
カラープリントの場合は、減法混色の原理に基づいて色を再現している
Subtractive (CMYK)減法混色減法混色
●反射光として目に入り、カラー画像として知覚されるて知覚される
●カラープリントは、シアン(cyan)● マゼンタ(magenta)● イエロー( )● 原色からカ 画像を構成(yellow)● の3原色からカラー画像を構成
●カラープリントに入射した光は、C層でRを、M層でGを、Y層でBを吸収吸収
赤を吸収 緑を吸収 青を吸収 赤と緑を吸収 緑と青を吸収 青と赤を吸収
光学迷彩 光を完全に透過・回折させる光を完全に透過 回折させる
http://rikunabi-next.yahoo.co.jp/tech/docs/ct_s03600.jsp?p=000878
Color Image SegmentationColor Image Segmentation Pixel-based techniques(画素) Pixel based techniques(画素)
Region-based techniques(領域)
Edge-based techniques(エッジ)
Stochastical Model-based techniques Stochastical Model-based techniques(確率的)
物 Physics-based techniques(物理)
Hybrid techniques(混成)Hybrid techniques(混成)
Example modelling skin and p gsegmenting
Color Clustering (or Segmentation) g ( g )by K-means Algorithm
Image Clusters on intensity Clusters on color
2
x j i
2
jelements of i' th cluster
iclusters
Color Clustering (Segmentation) by K-meansForm K-means clusters from a set of n-dimensional vectors1. Set i (iteration count) to 11. Set i (iteration count) to 12. Choose randomly a set of K means m1(1), …, mK(1).3. For each vector xi, compute D(xi,mk(ic)), k=1,…K3. For each vector xi, compute D(xi,mk(ic)), k 1,…K
and assign xi to the cluster Cj with nearest mean.4. Increment i by 1, update the means to get m1(i),…,mK(i).4. Increment i by 1, update the means to get m1(i),…,mK(i).5. Repeat steps 3 and 4 until Ck(i) = Ck(i+1) for all k.
Original RGB Image Color Clusters by K-Means
画像上での対象追跡(K-means Tracker)
Nd5次元特徴空間
入力画素
ターゲットクラスタ中心
非ターゲット楕円重心
=5次元特徴空間
Tdタ ゲットクラスタ中心
対象の位置
2
2
~1)(min uTNiT id ff
d 最も近いタ ゲ トまでの距離dTd
2
~1)(min uNTEjNT jd ff
Td :最も近いターゲットまでの距離
Nd :最も近い非ターゲットまでの距離
Nd
Color Image Segmentationg g
Histograms for the three color spaces
出席チ ック出席チェック
色空間の名前を5つ記入し、それぞれの特徴を述べなさい述べなさい。
学籍番号と名前記入して提出してください学籍番号と名前記入して提出してください。
課題課題スイカ画像から赤と緑の部分をそれぞれ分離して下さいスイカ画像から赤と緑の部分をそれぞれ分離して下さい。スイカの画像例:
2週間後提出してください2週間後提出してください。
RGBからHSVへの変換R、GおよびBが0.0を最小量、1.0を最大値とする0.0から1.0の範囲にあり、(R,G,B)で定義された色が与えられたとすると、それに相当する(H,S,V)カラーは次のような数式により決定することができる。MAXを(R,G,B)値の最大値と等しく、MINをその最小値と等しいする。この式は次のように書ける。MAXを(R,G,B)値の最大値と等しく、MINをその最小値と等しいする。 の式は次のように書ける。
結果は(H,S,V)形式であり、またHは0.0から360.0まで変化し、色相が示された色環に沿ったディグリー結果は( , , )形式 あり、また は ら ま 変化し、色相 示された色環 沿 たディグリの角度で 表現される。SおよびVは0.0から1.0までの範囲で変化し、それぞれ0.0を最小値、1.0を最大値とした彩度および明度である。角座標系で、Hは 360から0までを覆っており、0.0から360.0の範囲を超えるHのいずれもHを360.0で割ることでこの範囲に対応させることができ、剰余(また は「モジュラ演算」)で求めることができる つまり たとえば 30は330と等しく 480は120と等しくなる算」)で求めることができる。つまり、たとえば-30は330と等しく、480は120と等しくなる。この式がHSVの他の性質の影響を示すことにも注意。MAX = MIN(例・S = 0)のとき、 Hは定義されない。上記のHSV空間の図を考慮すればこれは明白である。もしS = 0ならこの色は中央のグレイの直線の周囲にあり、従って必然的にこの色には彩度がなく、。 中央 直線 周囲 あり、従 然 彩度 、角座標には意味がない。MAX = 0(例・V = 0)のとき、Sは未定義である。これは上記の円錐状の図に最もよく表れている。もしV = 0ならこの色は完全な黒であり、この色に色相も彩度もないことは自明である。従って円錐状の図は単 の点に潰れ この点では角度も角座標系も無意味であ る単一の点に潰れ、この点では角度も角座標系も無意味であ る。円柱よりは円錐モデルを好む人は、次のようにSの方程式を変更することによって円錐空間を実現することができる。
Color Image Formation(光源)Color Image Formation(光源)
OutputCameraRGB
Observer (Camera)光源 カメラ
)(LightE
OutputCameraRGB
)(E
)()()(Light Reflected
EL光の反射の仕方物体表面の材質による)()()( EL
物体
)(Object of eReflectanc
Seeing Color Image●画像内の物体の色は照明光源、物体、カメラ3者の幾何関係と物体表面の材質に応じて変化何関係と物体表面の材質に応じて変化
Fixed color of light
Fixed viewing Fixed lightingFixed viewingangle
Fixed lightinggeometry
光源の幾何関係(shading)光源の色
光源の幾何関係1:光源の位置
nn
e2
が小さ
e1が大きい が小さいが大きい
暗い 明るい
光源は物体表面の法線方向に近いほど、画像の色が明るくなる
明るい
光源の幾何関係2:マルチ光源光源の幾何関係 ルチ光源
有効光源マルチ光源
n n
有効光源マルチ光源
e1 e2
e1+ e2
1 2
●マルチ光源は一つの有効光源に等価することも可能●光源が多いほど、画像の色が明るくなる
Electromagnetic SpectrumElectromagnetic Spectrum
Colour Vision 46
Visible LightVisible Light
Wavelength in nanometer
Coloured light is electromagnetic energy between 400 and 750nm
Colour Vision 47
Li ht S t f Fl t Li htLight Spectrum of Fluorescent Light
From OsramColour Vision 48
From Osram
照明のスペクトル変化Spectral Variation of the Illumination
光源のスペクトルが変化するならBlack Body
光源のスペクトルが変化するならIf Spectra of Light Source Changes
y
反射光のスペクトルが変化するT, Kelvin
反射光の クトルが変化するSpectra of Reflected Light Changes
光源のスペクトルBlackbody Radiator黒体放射 Fluorescent light蛍光灯
光源のスペクトルは関係した色温 (C l t d C l光源のスペクトルは関係した色温 (Correlated Color Temperature; CCT)より構成される
温度(熱力学温度)評価の基本単位:ケルビン(Kelvin; K).
光源のスペクトルCCT = 6200KCCT = 2600KBlackbody Radiator
Fluorescent light
・光源の色温度が異なると、同じ物体でも撮られた画像の色が異なるK:絶対温度(=摂氏温度+273 15)・K:絶対温度(=摂氏温度+273.15)
全ての分子の運動が停止する絶対零度=0K
画像の色が光源色に依存画像の色が光源色に依存
(標準カ ボ ド)Macbeth color checker(標準カラーボード)
Daylight Tungstenタングステン電球白色蛍光灯
Redder
光源色の補正光源色の補正
Illuminant ColorTungsten M b th lg
Color照明が何に?
Macbeth color checkerと一致
ColorCorrection
元の照明光源の色が分かれば元の照明光源の色が分かれば、照明による画像の色変化が校正・除外できる
光源色の推定
Macbeth color と 較?Illuminant
Estimationcheckerと比較
ColorColorCorrection
肌色より光源色の推定肌色より光源色の推定
Colour Vision 55
Example of ApplicationColor Correction
Estimation error 1.6°1.6
von Kreis
00RRc
Transformation
000000
BGR
BGR
c
c
Canonical image Re-rendered imageImage taken under
00BB
at CCT = 3200Kto canonical cond.標準条件の画像
CCT = 4700K
Estimating the Illuminant Colorg||
C C CComputational Color Constancy
光源色の推定||
色恒常性 計算色恒常性の計算
Representative ColorConstancy Algorithms
Grey-world color constancy [e.g. Hunt] Linear model algorithms [Maloney-Wandell]g [ y ] Neural Net approach [Funt-Cardei] Gamut Mapping Color Constancy [Forsyth 1991] Gamut Mapping Color Constancy [Forsyth 1991] Example: Illuminant Estimation from Skin
Colour Vision 58
How do image colors depend on lighting? Color Constancy
Colour Vision 59