Using Visual and Spatial Cues to Represent Social Contacts ...kucg.korea.ac.kr/new/seminar/2019/ppt/ppt-2019-01-03.pdf · Holoportation: Virtual 3D Teleportation in Real-Time [Sergio

Using Visual and Spatial Cues to Represent Social Contacts in AR (Augmented Reality)

Alaeddin Nassani et al.Siggraph Asia Symposium on Mobile Graphics & Interactive Application, 2017

Copyright of figures and other materials in the paper belongs original authors.

Presented by Min-Gyu Kim

2019. 01. 03

Computer Graphics @ Korea University

Min-Gyu Kim | 2019. 01. 03 | # 2Computer Graphics @ Korea University

VR? AR?

• VR (Virtual Reality) : experiencing fake world as real world

• HMD (Head Mounted Display)

• AR (Augmented reality)


VR? AR?

• Entertainment

▪ Game

▪ Movie, 360 Video

▪ Travel

▪ Exhibition

• Education

▪ Design, Study

▪ Simulation

• Medicine

▪ Operation

▪ Education

▪ Simulation


Abstract

• AR(Augmented Reality) System 사용성 증가

▪ 일반적인 VR System이 가지는 한계와 복잡성이 주 원인

▪ AR System : Mobile VR, Google Glass, Microsoft HoloLens …


Abstract

• Social System 중심의 연구 부재와 위치 기반 시각화 중심 연구

▪ 체험하는 사용자의 사회적 관계를 고려 X

• 사용자 중심 Social System 설계 및 AR 기반 Social Contacts 제공

▪ Social Contacts : 개인 및 그룹 간의 사회적 상호 작용


1. Introduction (1/4)

• AR(Augmented Reality)을 체험할 수 있는 시스템 개발 및 상용화 준비

▪ Microsoft, Facebook, Apple, Samsung? …

▪ VR 체험하기 위한 HMD 수요, 공간적 문제로 인한 AR 시스템 접근이 편리

• 소셜 네트워크 연결을 통해 사용자간 정보 공유 및 상호작용 연구 진행

Facebook’s Social VR (Oculus Connect 2016)


Facebook’s Social VR



• HMD를 착용하는 것이 아닌 간단한 착용 식 AR 디스플레이를활용해 Social VR을 체험하도록 연구가 진행

• 이전엔 모바일, 휴대용 AR 시스템을 사용하여 소셜 네트워크를 사용

Presslite’s Twitter 360 [Presslite, 2009] Junaio Glue image recognition technology for augmented reality AR [Junaio 2, 2010]



• Live Video Streaming, 원격 협업 시스템 등 AR 시스템 기술 사용

Collaborative Augmented Reality.[Mark Billinghurst(University of Washington) and HirokazuKato. Communication of ths ACM, 2002.]

Augmented reality annotation for Social video sharing.[Alaeddin Nassani (University of Canterbury) et al. SA, 2016.]

모바일을 활용한 AR 시스템의 한계점은단순한 텍스쳐, 이미지 전달 인터페이스와 사용자의 시야를 고려 X



• 실제 공간과 사물을 활용한 Social AR 협업 상호작용 시스템

• 이러한 시스템과 연구들의 한계는 한정된 인원 및 같은 환경(카메라배치, AR 디스플레이) 구성

Holoportation: Virtual 3D Teleportation in Real-Time [Sergio Orts-Escolano (Microsoft Research) et al. UIST, 2016.]


Contribution

• 사용자의 Social Network 정보를 AR 환경에 적용한 새로운 시스템

▪ 사용자의 소셜 네트워크에서 많은 양의 연락처 및 사용자 정보들을시각적으로 표시 및 관리하기 위한 연구가 필요

• Microsoft HoloLens 와 같은 wearable AR 디스플레이를 착용해사용자 Social Network 정보를 항상 표현하고 상호작용 가능

▪ Education, Simulation, Exhibition, Operation … 에 활용


About Microsoft Hololens

• 현실 화면에 실제 객체의 스캔 된 3D 이미지를 출력 및 조작 가능한혼합 현실(Mixed Reality, MR) 시스템 또는 장비

▪ 완전한 가상 화면을 보여주는 가상현실(VR)이나 실제 화면에 덧씌우는증강현실(AR) 과는 다름


About Microsoft Hololens

Related Work


• 가상 회의 및 협업을 위한 Remote Proxemics 연구

▪ 같은 공간이 아닌 사용자와 협업을 위해 Eery Space 사용

▪ 환경 및 사용자 간 상호 작용하기 위해 Social bubbles 시스템을 적용

2. Related Work

2.1 사용자 위치 기반 Social Network 연구

Remote Proxemics. [Mauricio Sousa et al. Collaboration Meets Interactive Spaces, 2016.]


2. Related Work

2.2 3D Avatar를 활용한 Social Network 연구 (1/2)

• 배경 환경 및 사용자를 나타내는 Avatar 표현에 따른 Presence 연구

▪ 현실적인 3D Avatar 표현이 협업 및 공동 작업에 효율을 나타냄을 확인

Effects of Avatar and Background Representation Forms to Co-Presence in Mixed Reality (MR) Tele-conference System.[Dongsik Jo et al. SIGGRAPH ASIA, 2016.]

Effects of Virtual Human Appearance Fidelity on Emotion Contagion in Affective Inter-Personal Simulations.[Matias Volante et al. TVCG, 2016.]


2. Related Work

2.2 3D Avatar를 활용한 Social Network 연구 (2/2)

• 다른 사용자들과의 Social 환경 위한 Face-to-Face 상호작용 연구

▪ 기존의 사용자를 2D 이미지로 표현하는 원격 화상 회의 시스템인Skype, Cisco TelePresence TX9000 와 달리 3D 표현 연구

▪ Kinect를 활용하여 다른 사용자를 3D 표현

• 이외 High Fidelity, Itsme3D 등의 기업들은 사용자들이 3D Virtual Avatar 로 표현되는 Social VR 환경을 구축 중

Immersive 3D telepresence. [Henry Fuchs, at al. Computer, 2014.]


• AR 환경에서 이미지, 객체 등 많은 정보를 관리하는 방법이 필요

Information filtering for mobile augmented reality. [Simon Julier et al. ISAR, 2002.]

2. Related Work

2.3 AR Interface 연구 (1/2)

User interface management techniques for collaborative mobile augmented reality. [Tobias Hollere et al. Computer & Graphics, 2001.]


• AR 환경에서 주로 사용되는 UI 인 Label 정보를 관리하는 연구

▪ L : Label, x : Screen position, α : Weight, P : Penalty factor

Image-driven view management for augmented reality browsers. [Raphael Grassetet al. ISMAR(International Symposium on Mixed and Augmented Reality), 2012.]

2. Related Work

2.3 AR Interface 연구 (2/2)

Filtering Using a Social Continuum & Implementation


3.1 Filtering Using a Social Continuum (1/2)

• 새로운 Social AR Interface는 시각적 및 가까운 단서를 사용해사용자의 Social Network 정보를 표시

• Visual fidelity

▪ 사용자의 친밀한 가족 및 친구는 현실적으로 보여줄 수 있음

• 현실적으로 표현하는 것이 AR, VR 환경에서 몰입, 효율을 높임

• Proximity

▪ 사회적 환경에서 사람 간의 거리는 친밀감 수준에 따라 다름을 활용

• Visual fidelity + Proximity 를 통해 사용자 주변의 실제 세계에사람들의 가상 표현을 배치

Collaboration Meets Interactive Spaces. [Craig Anslow et al. Collaboration Meets Interactive Spaces 1st, 2017.]


3.1 Filtering Using a Social Continuum (2/2)

• 원하는 사람에게 효율적으로 정보 공유와 관심을 기울이기 쉬움

▪ 실시간으로 변화되는 가상의 상황과 협업에 적합

Figure 2 : Proxemic & Visual Fidelity Filtering of Avatars


3.2 Implementation (1/3)

• Social Continuum metaphor 를 적용한 AR 환경에 대한 실험 및분석을 위해 HoloLens의 프로토타입을 개발

▪ Unity 3D, HoloToolkit-Unity 를 활용해 환경 구축,

▪ Avatar는 Morph3D 사용

Unity3D + HoloToolkit SDK Morph3D



• 프로토 타입은 HoloLens Spatial Mapping 기능을 사용해사용자의 초기 위치를 중심으로 동심원 (Circle Manager)을 배치

▪ Circle 에서 사용자의 Social Network 정보가 3D Avatar, 2D Image, Bust image, emoji 로 표시 (Friend Manager)

HoloLens Spatial Mapping





• Social Network 를 정렬하기 위해 사용자는 손동작 (탭, 드래그)를사용해 Avatar 를 조작하여 실시간으로 업데이트 가능하게 함

▪ 이때 각 Circle 에 알맞은 Avatar 의 모습으로 변형

Figure 3 : System Components

Focus Groups & Results


4.1 Focus Groups

• Focus Group

▪ 8~12 명으로 구성된 집단과 깊이 있는 상호작용적인 인터뷰를수반하는 평가 기법

• 해당 조직이나 그룹에 관련되어 있는 사람들이나 논의되는 주제에관심 있는 사람들로 구성

• 본 연구에서 11명의 참가자와 함께 두 개의 포커스 그룹으로 진행

▪ 첫 번째 그룹 : AR / VR 연구를 담당하는 6명 대학원생

▪ 두 번째 그룹 : AR / VR 경험이 없는 그래픽 디자이너 및 UX 디자이너

• 실험은 User participatory design 과 Usability Test 로 2번 진행


4.1 Focus Groups

4.1.1 User Participatory Design (1/2)

• Focus Group은 AR 환경에서 Social Network 를 시각화 하는 방법에대한 토론 및 Brainstorming 세션으로 시작

▪ Brainstorming : 창의적인 아이디어 생산을 위한 학습도구 및 회의 기법

• 프로토 타입 시스템을 시연하지 않고, 다음의 3가지에 대한 질문을통해 피드백을 얻기로 함

▪ T1 : Imagine the future of social networks in AR

▪ T2 : Map social group in terms of physical distance

▪ T3 : Map social groups in terms of visual fidelity


• Task 1 : 참가자들에게 AR 에서 Social Network 를 어떻게 표현할것인지, 설명 및 그림으로 표현 후 그룹에서 발표 및 피드백 교환

• Task 2 : 사용자의 현재 위치에서 물리적인 거리 측면으로 네 개의집단을 놓아보도록 지시

▪ Intimate, Friend, Acquaintance, Stranger

• Task 3 : 참가자들에게 4 가지 다른 종류의 Visual fidelity를 Social groups으로 대체하도록 함

▪ Visual fidelity : 3D avatar, 2D image, Busy image, Emoji

▪ Social Groups : Intimate, Friend, Acquaintance, Stranger

4.1 Focus Groups



• 프토로 타입 구현을 시연하고 참가자들에게 다음 네 가지 설문 진행

▪ Baseline (B)

▪ Proximity (P)

• the Intimate group was the closest, then Friends, then Acquaintance, then Strangers

▪ Visual Fidelity (F)

▪ Combined (C)

4.1 Focus Groups

4.1.2 Usability Test (1/3)

Figure 4 : Four conditions of representing social contacts as seen through HoloLens; Baseline(B): same distance and visual, Proximity(P): different distance, Visual Fidelity(V): different visual, and Combined(C): different distance and visual


• 참가자는 각 조건을 무작위로 체험하고 각 조건에 대하여 System Usability Scale (SUS) 설문 진행

▪ Baseline (B) Proximity (P) Visual Fidelity (F) Combined (C)

▪ SUS : Usability 에 대한 주관적인 평가를 쉽게 확인하기 위해 10가지항목으로 설문지를 구성

• 개별 항목에 대한 점수는 의미 없고 SUS 합계에 의미 부여

4.1 Focus Groups


SUS-A quick and dirty usability scale. [John Brooke. Usability evaluation in industry 189, 1996.]


• 마지막으로 각 참가자에게 주관적 설문 진행

▪ Likert scale of 1 to 7 (1=Not very natural/easy and 7=Very natural/easy )

▪ SQ 1 : How natural was the mapping of proximity to social relationship?

▪ SQ 2 : How natural was the mapping of visual fidelity to social relationship?

▪ SQ 3 : How easy was it to distinguish between the different avatar types?

4.1 Focus Groups



• 11명의 참가자

▪ four female, aged between 16 and 41 years old, M=29, SD=5.89

▪ 대부분 매일 Social Network (페북, 잉스타, Snapchat) 사용 (85%)

▪ 월간 기준으로 AR / VR 헤드셋(HoloLens, HTC Vive) 사용 (60%)

• Task 1번에서 AR 플랫폼에서 Social Network 표현에 대하여 크게반복되는 두 가지의 주제가 존재함

▪ Virtual Avatars : 공간적 단서를 활용해 주변의 친구를 표현

• 사용자는 다른 Avatar와 상호작용을 통해 정보 공유 및Communication 가능

▪ Miniatures : 사용자 중심으로 미니어처 Avatar(구 또는 Bubble)를 표시

4.2 Results



• Task 2번에서 사용자의 현재 위치에서 물리적인 거리 측면으로 네개의 집단을 놓아보도록 지시에 대한 결과

▪ 해당 결과는 사용자들이 친밀감과 Proximity을 연관시켰다는 것을 확인

4.2 Results


Figure 5 : Visual fidelity categorization for social contacts


• Task 3번인 4 가지 다른 종류의 Visual fidelity를 Social groups으로대체한 결과

▪ 친밀도에 비례하여 Visual 적으로 표현하는 사례의 연구와 비교적 같음

4.2 Results


Figure 6 : Proximity categorization for social contacts


• SUS Score 결과 B(69), V(69), C(72)로 “Good”, B(67)로 “OK”

▪ Baseline (B) Proximity (P) Visual Fidelity (F) Combined (C)

▪ Proximity와 Visual Fidelity 조건을 결합한 Combined 조건이 비교적사용하기에 편리함을 확인

4.2 Results

4.2.2 Usability (1/2)


• 주관적 설문지 SQ1, SQ2, SQ3 각각에 대하여 Friedman Test 진행

▪ Friedman Test : 비모수통계기법, 대응되는 두 집단 이상의 순위 비교

▪ 결과적으로 유의미한 차이가 있음을 확인

4.2 Results

4.2.2 Usability (2/2)

Figure 7 : Subjective questions results by condition by question.

a : 행의 수 b : 열의 수 𝑅𝑗 : j 번째 열의 순위 합

SQ 1: 𝑋2 = 18.407, 𝑝 < 0.001SQ 2: 𝑋2 = 21.194, 𝑝 < 0.001SQ 3: 𝑋2 = 20.967, 𝑝 < 0.001

Discussion & Conclusion


5. Discussion (1/2)

• 사용자 연구결과 AR 환경에서 필터가 없는 것 보다 Social 사용자를표현해줄 필터를 선호함을 확인

▪ 순위 결과를 기반으로 가장 선호되는 Visual Fidelity 및 Combined 이후 Proximity, Baseline 순

▪ 참가자들은 Visual Fidelity 가 Avatar를 구별하는데 가장 쉽다고 판단

Figure 8 : Ranking (4=highest, 1=lowest)) Whiskers indicate standard error.


5. Discussion (2/2)

• 실험을 진행한 몇 참가자의 공통된 의견에 대한 User Interface 개선

▪ Avatar를 구별하기 힘들며, 같은 거리에 존재하는 Avatar에 대한정보까지 둘러봐야 되는 문제가 존재

▪ Circle 거리가 너무 좁아 Avatar에 대한 거리감이 오히려 부작용

▪ 표현되는 Avatar에 대한 사용자 정보가 너무 부족

• 전반적으로 사용자가 자신과의 관계에 따라 Social Network 필터링하는 것을 선호


6. Conclusion

• 본 연구는 착용 가능한 AR 인터페이스에서 이전의 시각적 정보와위치 정보만 제공하는 것이 아닌 사용자의 Social Network 를 표현

▪ Social Network 의 사용자 정보들을 Avatar로 표현

▪ 포커스 그룹에서 다양한 방법에 대한 피드백 받아 표현방법을 고려

• HoloLens 디스플레이를 통해 AR Interface 구현 및 실험 분석 진행

• 사용자 Social Network 정보 표현은 향후 상호작용 연구로 발전되어AR과 VR을 결합한 Social VR 환경에 유용하게 사용됨을 확인


7. Limitations

• 본 연구에서 제안하는 AR 환경을 제공하기 위해 HoloLens를 사용

▪ 사용된 모델은 개발자 모델 (335만원 이상)

• 실제 사용자 모델을 사용하는 것이 아닌 가상의 Avatar를 사용

▪ 3D 캐릭터와 실제 캡쳐 된 사용자 모델을 활용한 VR 연구에서 캡쳐 된사용자 모델을 선호


Appendix 1

• Overlap on the importance map

• Overlap on the edge map

• Leader line length


Appendix 2

• 비모수 통계 방법을 사용하는 경우

▪ Transformation으로 해결이 안될 때

▪ 표본수가 너무 적어 분포를 알 수 없는 경우

▪ 집단들의 표본수가 서로 크게 다를 경우

▪ 변수가 명칭 혹은 순서 척도일 때

▪ 중앙값의 비교가 목적

▪ 최소한의 가정. 즉 등분산성, 정규분포 등의 가정을 만족 못할 때


Appendix 3

Documents

Using Visual and Spatial Cues to Represent Social Contacts ...kucg.korea.ac.kr/new/seminar/2019/ppt/ppt-2019-01-03.pdf · Holoportation: Virtual 3D Teleportation in Real-Time [Sergio