Upload
nerina-perini
View
220
Download
1
Embed Size (px)
Citation preview
Mixed Reality: Virtual Reality, Augmented Reality,
Augmented Virtuality
Luigi Cinque-Enver Sangineto
Sistemi per l’Interazione Locale e Remota
Marzo 2009
Outline
• Mixed Reality (MR)
• Virtual Reality (VR)
• Augmented Reality (AR)
• Augmented Virtuality (AV)
Mixed Reality
• Mixed Reality (MR)
è un termine che viene usato per rappresentare un intero spettro di situazioni che spaziano dall’ambiente reale all’ambiente virtuale.
Mixed Reality Continuum
• Mixed reality includes augmented reality, augmented virtuality, and other mixed configurations.
Mixed Reality (MR)
Caratteristiche dei sistemi di MR
– Reproduction Fidelity: misura la qualità della generazione delle immagini
– Extent of Presence Metaphor: misura il livello di immersioni dell’utente dentro la scena
– Extent of World Knowledge: livello di accuratezza nella sincronizzazione degli oggetti virtuali e mondo reale
What is Virtual Reality ?
– Brooks (1999) definisce come: “un’esperienza .. nella quale l’utente è
immerso in un mondo virtuale capace di reagire alla sua presenza” …
– Sherman and Craig (2003) definisce come: “un mezzo composto da simulazioni interattive
tramite computer che percepiscono la posizione e le azioni dell’utente e sostituiscono o aumentano il feedback di uno o più sensi, dando l’impressione di essere mentalmente immersi o presenti nella simulazione (virtual world)”
Performance of VR systems
• In un sistema VR è importante poter produrre immagini 3D realistiche ad alta risoluzione, in real-time e senza evidenti “flicker”.– Hardware capability– Software capability
Four Key Elements in Experiencing VR
– Un ambiente virtuale– Immersione (fisica e mentale): dà un senso di
“presenza” nell’ambiente virtuale; questo può essere uno stato puramente mentale o realizzato con mezzi fisici
– Feedback: sensoriale visivo/auditivo/tattile/… inviato all’utente.
– Interattivita: in un’esperienza di realtà virtuale, i partecipanti si possono muovere e cambiare punto di vista.
Four Crucial Technologies for VR
• Visual displays: immersione dell’utente nel mondo virtuale
• Graphics rendering system: che genera da 20 a 30 frames per secondi
• Tracking system: rileva continuamente la posizione e l’orientamento della testa e della mano dell’utente (ritardi di ms nessun problema, >0.1 s, effetto negativo)
• World modeling system: per la costruzione e l’aggiornamento dei dettagli dei modelli realistici del mondo virtuale
Presence and Immersion
• Immersion“immerso nell’ambiente”: realizzato tipicamente mediante HMD o sistemi multi-display
• Self Presencesenso di 3D relativo all’ambiente: “I am there”
• Object Presence gli oggetti sono 3D rispetto all’utente: “it is there”
The Technology of Immersion
• Stereoscopic display: dà la profondità del campo visivo dell’utente
• Head tracking: dà illusione all’utente di guardarsi attorno.
• 3D computer graphics: riempie l’ambiente con gli oggetti virtuali
• 3D interaction: dà la sensazione all’utente di interagire con oggetti reali
Criteria of Immersion
• Totale illusione di essere circondato da oggetti virtuali
• L’ambiente dovrebbe “reagire”all’utente.• Gli oggetti devono avere un senso di presenza• Non è richiesto un modello del mondo reale• Non sono importanti foto realistiche
Typical Components of VR• Sistema Base:
– Computer – Head-Mounted Display (HMD) – Hand-tracked device (VR Glove or Wand)– 3D graphics rendering system
• Inoltre:– 3D sound, spaceball, etc.
Typical Computer used for VR
SGI’s Onyx 2 (4 CPUs, 2 Infinite Reality Pipelines)
Head-Mounted Display (HMD)
– Piccoli display montati sulla testa, completamente immersivi, hanno bisogno di un tracker per tracciare la posizione e l’orientazione della testa.
Head-Mounted Display (HMD)
-supported Floor Display
Stereoscopy• Stereoscopia è una tecnica capace di creare
l’illusione della profondita’ in un’immagine.
• L’illusione della profondita’ in una foto, film, o altre immagini 2D e’ creata tramite due immagini leggermente diverse per ogni occhio.
VR Glove
Wand
3D Tracking Paradigm
• Uno o più sensori determinano la posizione e l’orientamento rispetto ad una sorgente
• Il sensore(i) capta un segnale proveniente dalla sorgente e stabilisce sia la posizione che l’orientamento
• Sorgente e sensore possono essere fissi o mobili
• Diverse tecnologie:• Ultrasuoni, Elettromagnetici, Ottici
Localization by Ultrasound
• Una sorgente (emittente) emette un segnale (ultrasuono) verso il guanto, che contiene 2-3 ricevitori.
• Il tempo che intercorre tra l’emissione e la ricezione determina la distanza emittente-ricevente
Localization by Ultrasound
Emitter
Ultrasound wave
Finger flexion sensor
Spatial position sensor
Ultrasonic Tracking Advantages and Disadvantages
• Vantaggi• Basso costo• Facile da realizzare
• Svantaggi• Nessun ostacolo tra emittente e ricevente• Range molto corto (few feet)• Fortemente dipendente dalla temperatura e
dall’umidità dell’aria
Localization by Electromagnetic (EM) Pulses
• Tre antenne emettono impulsi radio in sequenza
• Tre antenne ricevono gli impulsi e determinano la potenza del segnale lungo gli assi
• La potenza globale delle tre receventi darà la distanza dalla sorgente emittente
Localization by EM Pulses
Electronicbox
output t
o the
host
com
puter
Receiver weak signal
Emitter strong signal
EM Advantages and Disadvantages
• Vantaggi• Facilità nella gestione del tracking• Possono esserci ostacoli tra sorgente e sensore• Tecnologia matura
• Svantaggi• Errori nel tracking• Range corto• Fortemente sensibile al campo magnetico e oggetti
metallici nell’ambiente
Localization by Optical Correlation
• Analisi stereoscopica, correlazione pixels comuni a due immagini riprese da due telecamere
• I punti correlati permettono la triangolazione delle posizioni (3D)
• La triangolazione si basa sulla corrispondenza di punti simili presi su due immagini diverse
Localization by Optical Correlation
Optical Advantages and Disadvantages
• Vantaggi• Qualità molto buona del segnale di tracking• Uno dei metodi più precisi
• Svantaggi• Nessun ostacolo tra emittente e receivente• Ingombrante e difficile da realizzare
Cave Automatic Virtual Environment (CAVE)
• Sistemi basati sulla proizione: proiezione diretta o con retro-proizione, l’utente è completamente circondato da immagini proiettate su grandi schermi. Crea un senso di elevata immersione
CAVE
• Completely immersive• Maximum cost solution• Centralized facility• Not Mobile
• The desire for higher-resolution color images and good surround vision without geometric distortion
• Less sensitivity to head-rotation induced errors
• The ability to mix virtual reality imagery with real devices (like one's hand, for instance)
• The need to guide and teach others in a reasonable way in artificial worlds
Goals that inspired CAVE Engineering
CAVE Demo
Cave Demos
• CAVE project: http://www.youtube.com/watch?v=-Sf6bJjwSCE
• Quake with CAVE: http://www.youtube.com/watch?v=gnGRHWzGifU&feature=related
Cave Applications
• architectural walk-through• evaluation of engineering designs (virtual
prototyping)• driving simulators• training for dangerous situations and other
scenarios• molecular modeling• virtual reconstruction of archeological sites• medical and biological visualization• artistic expression of ideas, and more ...
Cave Applications
Distributed Architectures: Idea of the Future
Present way of Teaching
Super Computer(Flow data, Visualization computation)
visualization
data
visualization
data
user command
s
user command
s
Ultra Net
Future way of TeachingCAVE A
(ELG 5121)
CAVE B Prof. El Saddik
Blue-c System
• Blue-c system by ETH institutes: collaborative virtual reality
Blue-c System
Workbenches• Banchi di lavoro: schermi piatti che presentano
immagini in modalita’ stereo. Possono essere montati anche in orizzontale/inclinati. Immersione parziale, alto senso di presenza dell’oggetto
– Interagire piu’ efficaciamente con I mondi virtuali:
• Manipulation• Wayfinding
– Modellare I mondi efficientemente• Modeling the existing world• Modeling non-existing worlds
– Misurare l’illusione della presenza e la sua efficacia operazionale
Hot Open Challenges
Augmented Reality (AR)
• A differenza della virtual reality, augmented reality si riferisce a situazioni nelle quali l’obiettivo è integrare la percezione dell’utente di un mondo reale attraverso l’aggiunta di oggetti virtuali
Augmented Reality
• AR e’ una tecnologia o un ambiente dove l’informazione aggiuntiva, generata da un computer, e’ inserita nella visione dell’utente di una scena del mondo reale.
Augmented Reality
• L’informazione aggiuntiva puo’ consistere in: – oggetti virtuali posti nell’ambiente o – nella visualizzazione di informazione relativa
ad oggetti esistenti tipo la temperatura nella stanza
Augmented Reality
Augmented Reality
• Sistemi di AR spesso fanno uso di head mounted displays (HMD)
• Ci sono due principali catagorie di sistemi HMD-based AR:– Optical See-Through Augmented Reality– Video-based Augmented Reality
• Altri sistemi AR fanno uso di proiettori o altri tipi di display.
Optical see-through• Combinatori ottici parzialmente trasparenti sono
posti di fronte agli occhi, permettono di vedere in essi il riflesso di immagini virtuali rappresentate su piccoli display
Video-based• Fa uso di piccole video-camere per catturare la visione
del mondo reale che sarebbe vista dagli occhi. Le immagini reali sono combinate con quelle virtuali, create dal computer, per creare immaginidi AR che vengono visualizzate su un classico HMD (non see-through).
Esempio: il sistema MRCVEMixed Reality-based collaborative virtual environment (MRCVE)
(Wang et al. 2003):
– Modeling computer: Running AutoCAD or other modeling software.
– MR computer: Running the Mixed Reality viewing software.
– Camera-attached head mounted display (HMD)
Augmented Reality
The Process of Video-Based Marker Detection and Overlay of Virtual Objects
MRCVE Scenarios
Mixed Reality view through head-mounted display
MRCVE collaboration scenario
AR-based Videoconferencing
Demo
• ARQuake Project: http://wearables.unisa.edu.au/arquake/
Some Issues in AR
– Focalizzazione: e’ desiderabile avere gli oggetti virtuali visualizzati ad una distanza focale corrispondente alla loro relativa profondità nel mondo reale.
– Portabilità: in VR, la portabilita’ e’ optional. In AR, l’utente se vuole cambiare la sua posizione nel mondo reale, ha bisogno della portabilita’.
…Some Issues in AR
– Qualita’ dell’immagine: in VR, l’ambiente virtuale deve essere modellato, renderizzato e visualizzato. In AR, un’accurata visione del mondo reale e’ fornita “for free”. Il display ha solo bisogno di manipolare la visualizzazione degli oggetti virtuali, che può essere realizzata in modo soddisfacente con un campo visuale piu piccolo, ridotto range di colori, e/o bassa risoluzione.
…Some Issues in AR
• Tracking and Registration: In VR, non e’ richiesta una “registrazione” accurata degli oggetti, che possono essere difficili da rilevare e non hanno importanza. In AR, la registrazione accurata e’ critica. Ogni minimo errore nella registrazione sara’immediatamente visibile, ed molto difficile da evitare o superare.
Augmented Virtuality (AV)
• AV descrive tutti quei casi in cui un oggetto (entità) reale e’ inserito in un ambiente generato dal computer.
• I sistemi di AV tipicamente includono un input reale multi-sensoriale, che integra l’ambiente virtuale presentato
• Esempi AV– Dirigere il profumo di caffe’ verso un utente quando questo passa
vicino ad una macchina del caffe’ virtuale posta in un ambiente virtuale.
– Accendere una lampada calda su un utente quando si avvicina ad un punto nell’ambiente virtuale esposto al sole.
– Accendere una ventola di fronte all’utente quando si avvicina a un punto nell’ambiente virtuale esposto al vento
AV-based videoconferencing
Fine…