Audio Forensics con strumenti Open Source

Audio Forensics con strumenti Open Source

Paolo Dal Checco Consulente Informatico Forense

Udine, 29 novembre 2014

Audio Forensics con Strumenti Open Source - Paolo Dal Checco

Open Source Day - 29 novembre 2014 - Udine

Chi sono

• PhD in Computer & Network Security

• Consulente Informatico Forense

• Procure, Tribunali, Avvocati, Aziende, Privati

• Co-Titolare Digital Forensics Bureau (DiFoB)

• DEFT Association e Osservatorio ONIF

• Socio IISFA, AIP, CLUSIT



Perché Audio Forensics• Per passione personale ed estendere le attività di

Studio, abbiamo cominciato a occuparci anche di audio forensics:

• Pulizia del suono (noise/crackle/click/clip/hum/reverb removal)

• Rilevamento contraffazioni audio (tagli, sovrapposizioni, composizioni)

• Confronto timbrico e riconoscimento vocale

• Trascrizioni e riconoscimento parole



Miti e realtà dell’audio forensics



Il suono• Variazione, rispetto a un valore costante,

della pressione dell’aria



Il suono• La variazione ha andamento sinusoidale



Il suono• Il numero di cicli al secondo è la frequenza



Il suono• Il periodo è il tempo impiegato per un ciclo



Il suono• La lunghezza d’onda è la distanza tra due punti

corrispondenti (per esempio due massimi successivi)



Il suono• L’ampiezza è lo scostamento massimo

dalla posizione neutra di equilibrio



Campionamento• Convertire tempo e ampiezza da continui a

discreti, quantizzandoli in base all’esigenza



Campionamento• Maggiore è la frequenza, migliore il campionamento



Campionamento• Errori di campionamento dovuti a frequenza di

campionamento più bassa di quella del segnale

• Frequenza di Nyquist: la frequenza di campionamento deve essere almeno il doppio della max frequenza presente nel segnale



Rappresentazioni del suono

• Tempo-Ampiezza (Waveform)




• Tempo-Frequenza (Spectrogram)

Lineare




• Tempo-Frequenza (Spectrogram)

Logaritmico



Rappresentazioni del suono• Per farci un’idea

indicativa dello spettrogramma, pensiamo a un carillon: il tempo scorre e i buchi sulla piastra indicano le note da suonare



Software Commerciali• Sony Sound Forge + Spectra Tools

• Adobe Audition

• Avid Pro Tools

• iZotope RX 4

• Speech Pro

• Multi Speech 3700



Software Open Source

• Audacity

• PRAAT

• Sonic Visualizer

• Speech Filing System

• SoX



• Multipiattaforma

• Open Source

• Plugin, filtri ed effetti (anche VST)

• Multitraccia

• Potenti funzioni di analisi e visualizzazione



Audacity• Waveform



Audacity• Spettrogramma



Audacity• Waveform + Spettrogramma



Audacity• Plot Spectrum



Audacity• Livello del suono in uscita (RMS Value)

CR: media livello

CP: livello corrente

RP: livello recente

MP: livello massimo

CPCR MP ML



Audacity• Riproduzione continua: SELECT + SHIFT + PLAY



Audacity• Noise Removal



Audacity• Rimozione frequenze alte/basse (low/high pass)



Audacity• Rimozione frequenze specifiche (ad esempio disturbi da linea elettrica)



Audacity• Riproduzione a rallentatore o velocizzata



Audacity• Funzioni di analisi e audio forensics



Audacity• Filtri ed effetti



Audacity• Filtri ed effetti di terze

parti



• Scritto da Paul Boersma e David Weenink, Phonetic Sciences, University of Amsterdam


• Potente per analisi e sintesi fonetica

• Con un po’ di lavoro arrivaai livelli dei sw professionali

• Supporta scripting

• Sì, ha un logo assurdo…

PRAAT



• Una volta caricato il file è possibile scegliere tra numerose attività, per ora ci limitiamo alla visualizzazione delle forme d’onda e degli spettrogrammi

PRAAT



PRAAT



PRAAT• Disegno di

spettrogrammi di un intervallo

• Seleziono intervallo: Spectrum -> View Spectral Slice



PRAAT• Sullo

spettrogramma possiamo decidere di ascoltare soltanto le frequenze desiderate isolando le altre



PRAAT• Esempio di utilizzo nell’audio forensics: valutare se

esiste un taglio nella registrazione utilizzando intensità o frequenze caratteristiche



PRAAT• Esempio di utilizzo nell’audio forensics: segmentare

le parole per riconoscere il parlato e confrontarlo



PRAAT• Frequenze “formanti”: frequenze di risonanza delle vocali

che dipendono dalla conformazione del tratto vocalico, sono i picchi di energia più forti

!

• Frequenza “fondamentale”: frequenza di vibrazione delle corde vocali

• spazia in genere tra 70 e 150 Hz per voce maschile, 150 e 250 Hz per voce femminile, 250 e 350 Hz per voce di bambino.



SOX - Sound Exchange• “Coltellino svizzero” dell’audio processing

• Conversione da numerosi formati

• Applicazione di effetti

• Disegno di spettrogrammi


• Open Source



SOX - Sound Exchange• Applicazione di effetti a

catena

• sox telefonata.wav out.wav remix - norm -3 highpass 22 gain -3 rate 48k norm -3 dither

• sox telefonata.wav test.wav reverse reverb



SOX - Sound Exchange• Sintesi del

suono (es. LA-7 con suono di organo)

• play -n -c1 synth sin %-12 sin %-9 sin %-5 sin %-2 fade h 0.1 1 0.1



SOX - Sound Exchange

sox telefonata.wav -n spectrogram



Immagini e suoni• I suoni possono essere visualizzati come

immagine, editati e ricodificati/ascoltati (es. per rimuovere/copiare/incollare frequenze)

• Spectra Layers, RX4, ma anche con PRAAT e Audacity

• Questo significa che si può “sintetizzare” un’immagine e ascoltarne il contenuto dove la posizione dei pixel indica le frequenze e il colore l’intensità del suono



Immagini e suoni

Inverto i colori

Uniformo scritta e tolgo sfondo



Immagini e suoni



Immagini e suoni



Immagini e suoni• Free & OS

• imageSpectrogram: https://github.com/plurSKI/imageSpectrogram

• Free

• Audio Paint: http://www.nicolasfournel.com/audiopaint.htm

• Virtual Ans: http://www.warmplace.ru/soft/ans/

• Commerciali

• PhotoSounder: http://photosounder.com/

• MetaSynth: http://www.uisoftware.com/MetaSynth/index.php

• Audible Ink: https://itunes.apple.com/it/app/audible-ink/id331533183

• SonicPhoto: http://www.skytopia.com/software/sonicphoto/

http://www.skytopia.com/software/sonicphoto/



Q & A• Domande? Suggerimenti? Osservazioni?

• Donazioni alla DEFT Association (www.deftlinux.net)?

!

!

• Contatti?

[email protected] - @forensico

http://www.deftlinux.net

Technology

Audio Forensics con strumenti Open Source