SVEUČILIŠTE U ZAGREBU

FAKULTET ELEKTROTEHNIKE I RAČUNARSTVA

Seminar iz kolegija Računalna forenzika

ANALIZA RAW FORMATA SLIKE

Mihael Varga

Zagreb, siječanj 2018.

Sadržaj

1. Uvod ................................................................................................................................... 2

2. Proces nastanka slike izvornog formata ............................................................................. 3

3. Opis i analiza izvornog formata slike ................................................................................. 4

3.1 Problematika analize izvornog formata ....................................................................... 4

3.2 Najčešći tipovi izvornog formata i njihov opis ........................................................... 4

3.3. Nikon Electronic Format RAW Image (.nef) .................................................................. 5

4. Usporedba izvornog formata s .jpeg formatom .................................................................. 8

4.1. Prednosti izvornog formata nad .jpeg formatom ............................................................. 8

4.2. Nedostaci izvornog formata nad .jpeg formatom ............................................................ 9

5. Zaključak .......................................................................................................................... 10

6. Literatura .......................................................................................................................... 11

2

1. Uvod

Izvorni (engl. raw) format slike je oblik podatkovnog zapisa koji sadrži minimalno (ili

nimalo) obrađene informacije o slici dobivene sa senzora kamere. Uz informacije o slici on

također sadrži metapodatke koji opisuju format karakterističan za baš tu sliku. Izvorni format

slike zapravo je samo skup podataka (bitova informacija) i ne smatra se pravim formatom.

Takav zapis se tek nakon obrade i pohrane u neki drugi oblik (npr. .jpeg ili .tiff) može nazvati

slikom. Iz toga razloga se izvorni zapis naziva digitalnim negativnom. Naziv digitalnog

negativa je zapravo poprilično točan pošto analogni negativ ne može direktno poslužiti kao

slika ali sadrži sve informacije da se iz njega stvori jedna, slično tome izvorni format slike može

poslužiti kao izvor informacija iz kojeg nakon obrade možemo stvoriti neki digitalni oblik slike.

Problem sa izvornim formatom slike je taj što ne postaji standardizirani format nego postoji na

stotine izvornih oblika slika. Ovaj seminar će dati primjer nekih od popularnih izvornih zapisa

poput Nikon Electronic Format RAW Image (.nef) te Canon RAW CIFF Image file (.crw)

formata, a za primjer analize biti će uzeti .nef format slike.

3

2. Proces nastanka slike izvornog formata

Digitalna slika nastaje tako da fotoni nakon otvaranja blende udaraju u senzor kamere koji

tada pretvara energiju elektromagnetskog vala (fotona) u električnu vrijednost koja opisuje

pojedini piksel senzora. Te vrijednosti se tada mogu digitalno interpretirati od strane

fotoaparata. Najčešći tip fotoaparata koji je sposoban stvoriti sliku u izvornom formatu naziva

se Color Filter Array Camera (CFA). Ovaj tip fotoaparata koristi dvodimenzionalnu mrežu

fotosenzitivnih elemenata izvedenih u CCD ili u CMOS tehnologiji. Svaki fotosenzitivni

element predstavlja jedan piksel konačne slike. Problem je u tome što svaki element generira

naboj koji je direktno proporcionalan količini fotona koje je udarilo u njega. Fotosenzitivni

element nije osjetljiv na pojedinu valnu duljinu te ne „razlikuje boje“ – on vidi u sivim

tonovima. Kako bi se omogućila rekonstrukcija slike u boji potrebno je ispred senzora staviti

filtar koji propušta samo boje određene valne duljine na određeni fotosenzitivni element.

Najčešći tip takvog filtra je Bayernov filtar čija je struktura prikazana na slici 1. Ovime je

postignuto da svaki element generira naboj proporcionalan intenzitetu pojedine valne duljine

svjetlosti koja ga obasjava. Koristeći metapodatke o slici koji govore kako od RGB elemenata

slike stvoriti cjelokupnu sliku moguće je iz izvornog zapisa modificirati i izvesti sliku željenih

svojstava. Sljedeća slika prikazuje proces nastanka i obrade izvornog formata (obrada je

predočena Raw convertorom i ona se odvija u nekom od programa namijenjenih za obradu

izvornog formata poput Adobe Photoshop Lightroom-a).

Slika 1. Proces nastanka i obrade izvornog oblika slike

4

3. Opis i analiza izvornog formata slike

Ovo poglavlje bavit će se opisom izvornog formata, a time će se odmah dobiti osjećaj za

njegovu analizu. Analizu formata moguće je vršiti pomoću svakog programa koji podržava

otvaranje datoteke u obliku heksadecimalnih brojeva (npr. HxD).

3.1 Problematika analize izvornog formata

Iz aspekta forenzičke analize, analiza izvornog formata slike zahtjevna je zbog već

navedenog nepostojanja standardnog formata. Da bi stvar bila još gora, formati variraju od

serije do serije fotoaparata istog proizvođača. Ovo je uz problem obrade također problem

pohrane podataka jer kako fotoaparat s vremenom zastari, tako i podrška za obradu njegovog

formata nestaje. Iz ovog razloga forenzičke baze podataka moraju uz izvorni format sadržavati

eksponirani .tiff ili .jpeg formati iste slike. Preferencija se stavlja na .tiff format zbog njegovog

svojstva malog gubitka kvalitete. Princip dobavljanja dokaza iz izvornog formata je taj da se

on koristi kao sigurnosna kopija, a kao dokazi korišteni u istrazi se koriste eksponirani formati

koje je lakše prikazati kod prezentiranja dokaza. Digtal negative (.dng) format je jedini

prihvaćeni industrijski format koji se predlaže kao rješenje za ovaj problem, no tada bi svi

proizvođači trebali podržavati ovaj format što je radi konkurentnosti na tržištu teško postići.

3.2 Najčešći tipovi izvornog formata i njihov opis

Uz navedene .nef, .crw te .dng formate, postoje formati drugih proizvođača: Sony (.arw,

.srf, .sr2), Pentax (.pef, .ptx), Leica (.raw, .rwl,, Kodak (.dcs, .dcr) i mnogi drugi. Velika većina

nabrojanih formata se bazira na .tiff formatu i oni su neka izvedena varijanta tog formata. Iako

se pojedini formati razlikuju, postoje velika preklapanja u njima, odnosno sličnosti. Tako se

svaki format sastoji od ovih dijelova:

▪ Zaglavlje koje sadrži informacije o poretku bajtova unutar datoteke, oznake datoteke

i vrijednosti pomaka do indeksa gdje se nalaze podaci o slici.

▪ Metapodaci senzora kamere. Ti podaci potrebni su za interpretaciju podatka, a oni

moraju opisati: veličinu senzora fotoaparata, opis i atribute Color Filter Array-a

(CFA) te njegov profil boje (najčešće AdobeRGB ili sRGB).

▪ Metapodaci slike. Oni su potrebni za daljnju obradu slike pomoću računala, a

uključuju informacije o ekspoziciji, modelu objektiva, datumu i mjestu nastanka

slike, otvoru blende, ISO vrijednosti i sl. Neki formati ove metapodatke pohranjuju

u standardiziranom Exchangeable image file format (.exif) formatu.

▪ Sažeti prikaz slike (engl. thumbnail)

5

▪ Puni prikaz slike u .jpeg formatu korišten za prikaz na LCD zaslonu fotoaparata.

▪ U slučaju uzastopnih snimaka (engl. Continuous shooting mode) podaci o poretku

slika bez obzira na njihov naziv (radi lakšeg razvrstavanja).

▪ Izvorni zapis informacija sa senzora kamere

Od gore nabrojanih dijelova izvornog formata potrebno je reći nešto o samom zapisu

podataka sa senzora. Svaki fotosenzitivni element predstavljen je 12 ili 14 bitnom vrijednosti

što znači da taj podatak može reprezentirati jednu od 4096, odnosno 16384 nijansi boje. Boje

koje pojedini piksel reprezentira su crvena, plava i zelena. Postoje 2 tipa zapisa podataka sa

senzora: podatak bez i podatak s kompresijom. Podatak s kompresijom zadržava većinu

informacija te odbacuje samo podatke u desnom području histograma (Whites). Ova kompresija

omogućuje uštedu od oko 25% memorije, ali ukoliko je slika presvijetla („spaljena“) izgubljena

je većina podataka. Podaci bez kompresije ne odbacuju nikakve informacije.

3.3. Nikon Electronic Format RAW Image (.nef)

Izvorni .nef format zasniva se na .tiff formatu i najčešće se sastoji od dva IFD-a (engl. Image

File Directory). Analizirani format je korišten od fotoaparata serije Nikon D100. Format

započinje zaglavljem koje je zapravo standardno .tiff zaglavlje.

Tablica 1. Izgled zaglavlja .nef formata

Pomak Duljina Tip Opis Vrijednost

0x0000 1 short Poredak bajtova Najčešće 0x4D4D - "MM", osim

za E5700 ( 0x4949 - "II" )

0x0002 1 short TIFF magični broj 0x2a

0x0004 1 long TIFF pomak 8

0x0008 IFD primarni IFD

Nakon zaglavlja smješten je prvi (primarni) IFD, On se nalazi na adresi (pomaku) iznosa 8

te opisuje sažeti prikaz slike (thumbnail), no neke informacije sadržane u njemu odnose se na

izvornu sliku. Opis cijelog IFD-a za potrebe ovog rada nije primjeren stoga će biti opisani samo

njegovi najbitniji dijelovi. Prikaz i opis svih IFD-ova može se vidjeti u [6.], odnosno u poglavlju

NEF file layout.

6

Bitnije stavke koje se nalaze u primarnom IFD-u:

▪ Opis sažete slike: rezolucija, oblik kompresije, broj bitova po uzorku piksela, broj

uzoraka koji predstavljaju piksel, orijentacija slike

▪ Proizvođač i model fotoaparata, verzija firmware-a

▪ Vrijeme okidanja slike

▪ Relativni pomak do sekundarnog IFD-a koji opisuje cijelu sliku (najbitnije) – ovaj

podatak nalazi se na adresi 330

▪ Pokazivač na EXIF IFD (nalazi se na adresi 34665)

Sekundarni IDF smješten je na pomaku (adresi) od 1570, odnosno na vrijednosti koja je

upisana u polju pomaka 330. Unutar ovog IDF-a nalazi se opis slike i njezini izvorni podaci.

Bitnije stavke sekundarnog IDF-a su:

▪ Opis cijele slike: visina i širina u pikselima, koliko bitova opisuje pojedini piksel, oblik

kompresije, fotometrička interpretacija (opis filtera boje), broj uzoraka po pikselu,

orijentacija slike

▪ Vrijednost pomaka do izvornih podataka o pikselima

▪ Broj odjeljaka sadržanih u bloku unutar kojeg su pohranjeni podaci (engl. raster block)

▪ Veličina bloka u bajtovima

▪ Horizontalna i vertikalna rezolucija slike izražena u inčevima

▪ Veličina i tip filtera boje te raspored filtriranih boja unutar matrice filtera; npr. segment

Bayernovog filtra prekriva 4 piksela (2x2) a raspored propuštenih boja je: G-R-B-G

Exchangeable image file format (EXIF) IFD sljedeći je IFD koji sadrži metapodatke o

fotografiji poput vremena ekspozicije, otvoru blende, da li je korištena bljeskalica ili ne, fokalna

udaljenost, CFA raspored, tip ekspozicije, tip balansa bijele boje i sl. Unutar EXIF IFD-a nalazi

se vrijednost pomaka do Maker Note-a.

Maker Note je zakonom zaštićen blok podataka unutar izvornog zapisa. Unutar njega nalazi

se popis svih postavki fotoaparata korištenih kod nastanka slike te se na ovaj blok nadodaju

podaci od strane software-a pomoću kojeg se naknadno obrađuje slika (engl. Capture Editor

Data).

Uz opis svih IDF-ova potrebno je reći nešto i o zapisu informacija sa senzora (engl. Raster

Data). Raster Data se najčešće kodira kao 12 bitna vrijednost. Ovim podatkom može se ugrubo

odrediti veličina slike rezolucije od npr. 4928 x 3264 piksela: 4928 * 3264 * 12 / 8 = 23,0097

MB. Informacije su pohranjene tako da ne postoji redundantnih 4 praznih bitova kao posljedica

razlike do 16 bitova nego se 12 bitne vrijednosti nadovezuju tako da 10 uzoraka piksela čini

7

120 bitova, odnosno 15 bajtova. Nakon svakog petnaestog bajta dolazi padding bajt kao bajt

koji zaokruži blok na 16 bajtova. Kako su podaci pohranjeni u obliku „redaka“ nakon svakog

retka dolazi 10 padding bajtova. Parni redovi sadrže bajtove s informacijama o ovim bojama:

G-R-G-R-G-R, a neparni sadrže ovu sekvencu: B-G-B-G-B-G. Razlog većine informacije o

zelenoj boji je ta što ljudsko oko raspoznaje puno više tonova zelene boje nego ostalih. Ovo je

također razlog zelenkaste boje samog senzora kad ga se pogleda golim okom.

8

4. Usporedba izvornog formata s .jpeg formatom

Ovo poglavlje reći će ponešto o prednostima i nedostacima svakog formata. Razlog zašto

je jpeg uzet kao format za usporedbu jer je jedan od veoma često korištenih formata. Sljedeća

slika daje usporedbu .jpeg slike nastale korištenjem standardnih postavka i obrađene izvorne

slike. Vidljiva je veća oštrina i kontrast na izvorno (desnoj) slici.

Slika 2. Usporedba slike u .jpeg i izvornom formatu.

4.1. Prednosti izvornog formata nad .jpeg formatom

▪ Izvorni format sadrži 12 ili 14 bitni zapis pojedinog piksela (212 nijansi svake od

osnovne boje ili 68 milijardi mogućih konačnih boja), u odnosu na .jpeg koji sadrži 8

bitni zapis (256 nijansi ili 16 milijuna mogućih boja)

▪ Velik dinamički raspon koji omogućuje dobivanje detalja iz svijetlih i tamnih dijelova

slike u odnosu na .jpeg gdje su ti detalji izgubljeni tokom kompresije

▪ Iako fotoaparat nudi mogućnost izmjene nekih postavki prilikom slikanja (npr. oštrina,

balans bijele boje), uvijek je moguće naknadno promijeniti te postavke kod obrade

(osim ako se ne radi o fizičkim prilikama nastanka slike poput otvora blende i sl.).

Slike .jpeg formata obrađene su od strane fotoaparata i ukoliko je neka od postavki

krivo namještena nemoguća je naknadna izmjena iste

9

▪ Izvorni format nije podložan nikakvih artefaktima koji nastaju kao posljedica

kompresije. S druge strane kompresija .jpeg formata znači i gubitak detalja unutar slike

i pojavu artefakata (pogotovo na mjestima brze izmjene kontrasta)

▪ Mogućnost korištenja boljih algoritama izoštravanja slike kod njezine obrade.

▪ Nakon obrade veći kontrast i manje pozadinskih nečistoća pruža bolju mogućnost

analize objekata na slici (npr. otisaka prsta)

4.2. Nedostaci izvornog formata nad .jpeg formatom

▪ Naknadna obrada izvornog oblika zahtijeva puno vremena

▪ Slike u izvornom formatu su puno veće od onih u .jpeg formatu. Kao posljedica toga

potrebno je puno veći prostor za pohranu originala.

▪ Već naveden nedostatak standardnog izvornog formata

▪ Izvorni format nije pogodan za rukovanje unutar dokumenata, za razmjenu slika i sl.

10

5. Zaključak

Izvorni format kao format zapisa slike u forenzičkom smislu pruža mogućnost analize

detalja koje nisu mogući kod standardnog .jpeg zapisa slike. Svojstvo zadržavanja svih

informacija i zapisa bez gubitaka ponekad može biti ključan faktor za izvlačenje informacija iz

sjena ili jako osvjetljenih dijelova slika. Razina kontrasta i malog pozadinskog šuma unutar

slike dobra je za određivanja kontura nekog detalja poput otiska prsta ili za određivanje nekih

drugih dimenzija predmeta koji se nalaze unutar slike. S druge strane izvorni formati su

nespretni za obradu, zahtijevaju mnogo vremena za procesuiranje i količina podataka u njima

zauzima mnogo memorije u arhivima. Nepostojanje univerzalnog izvornog formata (bar za

sada) je problem neprenosivosti ovih informacija te pojedini formati s vremenom postaju

zastarjeli. Najpraktičnije ispada iz originala slike izvući sve potrebne informacije te njega

pospremiti u .tiff formatu kako bi dokazi ostali očuvani.

11

6. Literatura

[1.] https://www.cambridgeincolour.com/tutorials/raw-file-format.htm

[2.] https://en.wikipedia.org/wiki/Raw_image_format

[3.] http://www.evidencemagazine.com/index.php?option=com_content&task=

view&id=327

[4.] http://www.evidencemagazine.com/index.php?option=com_content&task=

view&id=1619

[5.] https://digital-photography-school.com/12-bit-versus-14-bit-raw-which-is-right-for-

you/

[6.] https://hwiegman.home.xs4all.nl/fileformats/nef/NEF.pdf

https://www.cambridgeincolour.com/tutorials/raw-file-format.htmhttps://en.wikipedia.org/wiki/Raw_image_formathttp://www.evidencemagazine.com/index.php?option=com_content&task=view&id=327http://www.evidencemagazine.com/index.php?option=com_content&task=view&id=327http://www.evidencemagazine.com/index.php?option=com_content&task=view&id=1619http://www.evidencemagazine.com/index.php?option=com_content&task=view&id=1619https://digital-photography-school.com/12-bit-versus-14-bit-raw-which-is-right-for-you/https://digital-photography-school.com/12-bit-versus-14-bit-raw-which-is-right-for-you/https://hwiegman.home.xs4all.nl/fileformats/nef/NEF.pdf