FaceTouch : Enabling Touch Interaction in Display Fixed Uis for …kucg.korea.ac.kr/new/seminar/2019/ppt/ppt-2019-05-23.pdf · 2019-05-23 · • Passive haptic을위해사용자의손에물리적인패들을사용한선택

FaceTouch : Enabling Touch Interaction in Display Fixed Uis for Mobile Virtual Reality

Jan Gugenheimer(Institute of Media Informatics, Ulm University) et al.UIST’16 Annual Symposium on User Interface Software and Technology, 2016

Copyright of figures and other materials in the paper belongs original authors.

Presented by Min-Gyu Kim

2019. 05. 23

Computer Graphics @ Korea University

Min-Gyu Kim | 2019. 05. 23 | # 2Computer Graphics @ Korea University

Abstract

• Mobile HMD System 수요와 VR/AR 콘텐츠 증가

일반적인 VR System 한계와 복잡성이 주 원인

• 고사양의 PC 및 다양한 악세서리 (Gamepad, Tracking System …) 필요

Mobile VR 의 장점을 극대화 한 System 수요가 증가

• 가상 공간에서의 상호작용을 위한 입력 처리 기술이 필요


Abstract

• HMD의 사용되지 않는 뒷면을 활용한 새로운 상호작용 System

단순한 Touch System 이 아닌 Sense of Proprioception 활용

Digital Nomad과 같은 환경을 체험 및 사용 가능

• 사용자가 한 공간에서 다양한 환경을 체험, 회의 및 원격 할 수 있음


1. Introduction (1/3)

• Mobile HMD를 착용해 장소, 시간과 상관없이 가상 환경을 체험

사용자가 IVEs (Immersive Virtual Environments) 접근이 쉬움

• 시간과 장소 상관없이 가상공간 및 컴퓨터 작업이 가능을 분류

“Nomadic computing – An Opportunity”

• Leonard Kleinrock (Chairman, UCLA), Sigcomm, 1995

• ‘Nomadic Computing’의 분류에 따라 Nomadic VR로 정의



• Mobile VR HMD에 최적화된 많은 입력 처리 기술이 상용화 및 개발

Tracking System (Oculus’ Positional Tracking, HTC Vive’s Lighthouse)

3D 마우스 및 Gamepad …

사용자 HMD 환경이 고정, Nomadic Scenarios 적합하지 않음

• Leap Motion과 같은 장비는 높은 수준의 몰입을 유도하는 장점을지니며, Nomadic Scenarios 에 적합하나 성능에 중점을 둠

“A Survey of 3d object selection techniques for virtual environments”[Argelagues, F., and Andujar, C. (VR4i Research Group, France). Computer & Graphics, 2013.]



• 가상환경에서 상호작용이 ‘natural’ 을 추구하는 것 뿐만 아닌‘super natural’ 가능하게 해야 함

• 대부분의 Mobile VR의 UI는 Head-Rotation with Crosshair Cursor

사용자의 높은 몰입과 제일 많이 사용되는 방법으로 Head-Rotation

UI 요소들은 3D 공간 (World-fixed UI)의 고정 된 위치에 무조건 구현

• 측면 버튼이나 터치 패널과 같은 다른 입력 수단이 필요


FaceTouch (1/2)

• 앞선 단점을 보완하는 Mobile VR HMD 상호작용 기술을 제시

HMD 뒷면을 터치 표면으로 활용

• 사용자 FoV(Field-of-View)내의 객체, 콘텐츠와 직접 상호 작용 가능

시각적인 피드백 및 Kinesthetic Memory 으로 빠르고 정확한 선택 가능

Figure 1


FaceTouch (2/2)

• 사용자는 자신의 손을 볼 수 없으나 정확한 터치를 위한Proprioceptive Sense 활용

• FaceTouch의 프로토 타입을 만들어 두 개의 사용자 연구를 진행

정밀도와 상호작용 시간

터치패드의 장착 위치에 대한 영향 측정

• 손, HMD 옆면, HMD 앞

“Proprioceptive interaction” [Lopes, P. (Hasso Plattner Institute Potsdam, Germany) et al. CHI EA, 2015.]


Contribution

• Nomadic VR Scenarios 에서 빠르고 정확한 상호작용 가능한 기술

자체적으로 사용하거나 Head Rotation과 결합하여 사용 가능

• Display-fixed UI를 위한 FaceTouch의 가능성을 확인

비교적 낮은 Selection error rate (≈ 3%), fast selection time (≈ 1.49 𝑠)

• 이는 일상적인 VR 환경에서 사용 가능함을 확인

• 터치 패드의 세 가지 장착 위치를 비교하며, 장점을 확인

Hand : ≈ 8%, Side : ≈ 29%

• 다양한 Application에서 상호 작용을 활용하는 방법을 보임

Related Work


• 사용되지 않는 모바일 기기의 뒷면을 입력 면으로 이용하는Back-of-Device interaction들이 제안 됨

2. Related Work

2.1 Back-of-Device Interaction (1/2)

“Eyes-free access to mobile phones.”[Li, K. (Georgia Institute of Technology, USA) et al. SIGCHI, 2008.]

“Back-of-device interaction allows creating very small touch devices.”[Baudisch, P. (Hasso Plattner Institute Potsdam, Germany) et al. SIGCHI, 2009.]


• 대부분의 디바이스 표면에 손의 표현을 최소화 하기 위해Proprioception 감각을 활용한 연구를 진행

대부분 디바이스의 상호 작용의 개념은 크기와 독립적으로 작동

• FaceTouch 는 Back-of-Device 상호작용을 활용해 VR 공간으로 확장

사용자는 완벽하게 손이 시각적으로 분리

• 사용자는 Proprioception 감각에 의존해 콘텐츠와 상호작용 진행

2. Related Work

2.1 Back-of-Device Interaction (2/2)

“Under the table interaction.”[Wigdor, D. et al. ACM Symposium on User Interface Software and Technology, 2006.]


2. Related Work

2.2 Proprioceptive Interaction (1/4)

• 공간에서 자신의 몸과 여러 신체 부위의 위치와 관계를 아는 인간의능력을 Proprioception 이라 함

“Handbook of Perception and human performance.”

• Boff, K. R. et al. 1986


2. Related Work


• Proprioception 감각을 이용해 눈을 가린 사용자 자신의 ‘코’나 다른특정 신체 부위에 잘 도달할 수 있는지 실험을 진행

“Movement and thought: identical control mechanisms by the cerebellum.”

• Ito, M., Trends in Neurosciences 16, 1993.

• Proprioception 감각과 시각적 피드백과 비교하여 정확도 측정 연구

시각적 피드백을 제공하지 않아도

비교적 동일한 정확도를 지님

“Does proprioception guide back-of-device pointing as well as vision?.”[Wolf, K. (TU Berlin) et al. CHI, 2012.]


2. Related Work


• Proprioception 감각을 활용한 HMD와 상호작용을 위한 연구

“Exploring the use of hand-to-face input for interacting with head-worn displays.”[Serrano, M. (TU Berlin) et al. CHI, 2014.]


2. Related Work


• Back-of-Device 연구 분야와 같이 대부분 Proprioception 감각을 활용

이러한 연구들은 사용자의 손이 비교적 자유롭지 않음

사용자의 행동 및 공간 제약, 많은 물리적인 힘이 필요

• 이외에도 IVE 에서 활용되는 연구들이 진행

“Carryover effects of calibration to visual and proprioception information on near field distance judgments in 3D user interaction.” [Ebrahimi, E. (Clemson University, USA) et al. 3DUI, 2015.]


• 최근 Virtual Reality 연구의 큰 부분은 상호작용개념 중심 연구 진행

IVE에 대한 상호작용개념의 초점은 대부분 사용자가

exocentric or egocentric 상호작용의 분류로 나뉨

2. Related Work

2.3 Input Techniques for Virtual Environments

“GyroVR: Simulating inertia in virtual reality using head worn flywheels.”[Gugenheimer, J. (Ulm University) et al. UIST, 2016.]

“A motorized swivel chair to nudge users‘ orientation for 360 degree storytelling in VR.”[Gugenheimer, J. (Ulm University) et al. CHI, 2016.]


• 가상공간에 손의 시각화를 위한 물리적인 범위 내에서 콘텐츠와상호작용할 수 있어야 함

• Passive haptic을 위해 사용자의 손에 물리적인 패들을 사용한 선택작업 연구 진행

2. Related Work


“Analysis of direct selection in head-mounted display environments.”[Lubos, P. (Immersive Media Group, Germany) et al. 3DUI, 2014.]

“The Virtual Mitten: A Novel interaction paradigm for visuo-haptic manipulation of object using grip force.”[Merwan, A. (Inria Rennes, France) et al. 3DUI, 2014.]


• FaceTouch는 Tracking System, 추가 액세서리 없이 상호작용이 가능

이후 Mobile VR Device에서 쉽게 구현 가능 함

• Haptic Feedback을 제공하므로 일반적으로 선택 성능이 높음

2. Related Work


“Touching the void: Direct-touch interaction for intangible displays.”[Chan, L. -W. (National Taiwan University) et al. SIGCHI, 2010.]

Interaction Concept


3. Interaction Concept (1/2)

• 사용자 HMD 뒷면을 Touch sensitive surface로 활용

사용자 앞의 물리적 터치 표면과 IVE 내의 FoV 사이의 매핑을 생성

• 물리적인 터치패드에 손이 닿는 즉시 사용자 시야에 시각적으로 표시

LandOn


3. Interaction Concept (2/2)

• 가상의 환경에서 선택 방법을 보완하기 위해 두 가지 기술을 사용

LiftOff

PressOn

사용자가 선택을 커밋하기 전에 손가락을 움직여 타겟 수정 가능 함

• FaceTouch의 UI 요소는 Display or World 에 고정 가능함


• 대부분 Mobile VR HMD 에서 UI 요소들은 머리를 회전시킴으로써타겟을 시야 중심으로 맞춰 선택

이러한 상호작용개념은 User를 가상 환경에 몰입시키는 UI에 적합

3. Interaction Concept

3.1 World-Fixed UIs


• World-Fixed UI와 달리 항상 사용자 FoV에 UI 요소들을 배치 가능

기존의 Mobile HMD 에서 이러한 방식은 선택이 불가능

다양한 메뉴 선택이나, 실용적인 상호작용이 가능

• Display-Fixed UI를 사용해 다양한 변수와 성능을 확인

3. Interaction Concept

3.2 Display-Fixed UIs

Figure 11.2018 평창 VR 홍보 이미지


4. Implementation

• Oculus Rift DK2 뒷면에 터치패드(15.5cm x 9.8cm) 장착한 프로토 타입

3D 프린터를 통해 쉽게 설계 + Arduino pro mini로 터치 인식

• 인체 공학적으로 고려되는 HMD의 장착 위치를 시뮬레이트하기위해 옆면에도 터치 패드 장착

Samsung GearVR, Google Glass 의 터치 패널 및 버튼

앞의 터치 패널과 동일한 해상도 및 종횡비

Figure 3.

Display-Fixed UI – User-Study


5. Display-Fixed UI – User Study (1/2)

• FaceTouch와 관련된 Investigate Parameters 를 조사를 위해Display-Fixed UI에 대한 선택 User Study 진행

Proprioception 에 의존하기 때문에 크기, 위치, 정확도에 대한 실험

• 시각적 피드백이 없는 LandOn 과 LiftOff, PressOn 비교

LiftOff, PressOn 은 현재 타겟의 위치를 보여줌

이는 LandOn 을 이후 연구에서 더욱 빠르고 정확한 선택 방법으로사용하기 위함


5. Display-Fixed UI – User Study (2/2)

• 가상의 터치 평면을 실제 표면의 실제 거리에 위치 시킴

이는 Proprioception 의 간섭을 덜 받기 위함

• Oculus 가이드 라인에서 시야의 1/3 만 채워 “eye strain” 줄임

가상 평면의 거리를 변경했을 때의 효과도 고려 함

“Oculus VR best practices guide.” [Yao, R. (Oculus VR) et al. Oculus VR, 2017.]


5. Display-Fixed UI – User Study

5.1 Study Design (1/3)

• 세 가지 독립 변수로 반복적인 대상 선택 작업을 수행

Commit Method.

• LandOn / LiftOff / PressOn

Plane distance.

• NearPlane / MidPlane / FarPlane

Target Size.

• Small circular target / Large circular target

• Commit Method.




• Plane distance.

사용자의 시야에 있는 가상 평면의 크기에 대한 다른 비율 설정

• Target Size.

작은 원형 타겟은 크기가 48dp (density-independent pixels), 큰 타겟은2배의 크기

• Android design 가이드 라인을 기반으로 선정

Figure 4.




• 앞선 방식으로 총 9가지 조합 (3 commit methods x 3 plane distances) 으로 실험 진행 및 설문지 제공

표적 위치와 함께 표적 크기를 무작위로 추출

• Dependent Variable: Selection Time, Error Rate, Simulator Sickness

Simulator Sickness의 측정은 RSSQ (Revised Simulator Sickness Questionnaire) 을 사용

“Development of method for quantification and analysis of simulator sickness in a driving simulation environment.” [Kim, D. (Hanyang University)., 1999.]



5.2 Procedure

• 첫 번째 사용자 연구에서는 얼굴 장착 위치만 사용

모든 참가자는 프로토타입을 착용, 의자에 앉아 표적 선택 작업을 진행

전반적인 실험 설명을 진행 하고 설문 진행 (RSSQ 역시 작성)

• 참가자들은 편안함을 느끼도록 연습 후 실험 진행

참가자들은 각 72개의 표적 데이터를 출력하며, 1.5 시간이 걸림

Figure 4.



5.3 Results (1/5)

• 18명의 참가자로 총 11664 개의 데이터를 뽑아 분석을 진행

18 Participants, 2 size, 12 location, 3 plane distances, 3 commit method with 3 repetitions

• Error Rate.

타겟에 정확히 도달하지 않은 선택 시도를 Error Rate로 정의

• Start 버튼은 해당 되지 않음

3x3x2 (Commit x plane distance x target size) ANOVA 시행

• Commit method (𝐹 1.078, 18.332 = 634.822, 𝑝 < .001, 𝜂2 = 0.97)

• Plane distance (𝐹 2, 34 = 8.928, 𝑝 < .001, 𝜂2 =0.24)

• Target size (𝐹 1, 17 = 801.810, 𝑝 < .001, 𝜂2 = 0.97)



5.3 Results (2/5)

• 예상 했던 대로, LandOn 방식이 Error rate가 높음을 확인

LiftOff, PressOn 이 정확도가 높음을 확인

• Start 버튼에 가까운 목표의 Error rate 평균은 LandOn이 가장 낮음

Plane distance 는 터치 패드의 실제 타겟 크기가 아닌 시각적 타겟크기만 변경 함

Figure 5.


Figure 6.


5.3 Results (3/5)

• Selection Time.

Start 버튼과 목표를 선택하는 시간으로 정의 (성공적인 시도만 고려)

• Error rate 이 높은 LandOn 은 제외

Small target이 의미 있음을 확인하기 위해 LandOn 과 비교 (M=0.84s)

• Error rate과 달리 Plane distance는 Selection Time에 영향을 미치지 않음


• LandOn Precision.

LandOn -> 큰 타겟 보다 작은 타겟의 Overshoot 이 증가

Plane distance : Near > Mid > Far

LandOn의 장점 살려 더욱 최적화 할 수 있도록 선택 위치에 대한 분석

• 기존 distance 보다 더욱 멀리 터치 되는 것을 Overshoot 으로 정의


5.3 Results (4/5)

Figure 7.



5.3 Results (4/5)

Figure 7.


• 최적의 목표 크기를 계산하는 함수를 만들어 95% 성공률을 보임

목표 크기 자체가 성능에 영향을 주기 때문에 추정값

최적의 목표 크기는 약 370px (30.06mm)

• Usability Data.

마지막 설문에서 자신의 선호도에 따라 순위를 매김

• LiftOff, MidPlane

FaceTouch는 ‘훌륭한 아이디어’ 및 ‘괜찮은 상호작용 방식’

• RSSQ 결과 simulator sickness 는 없음


5.3 Results (5/5)



5.4 Discussion (1/2)

• FaceTouch가 Display-Fixed UI에 사용할 수 있는지, 다양한 변수들과상호작용하는 방식을 찾는 것

LiftOff 는 Error rate 낮으며, 선택 시간 짧아 VR HMD UI에 적합

• 자신의 첫 위치를 보여주는 참조 점이 하나가 필요함

PressOn은 LiftOff와 비교적 비슷하나 IVE 에서 ‘흔들림’ 과 더 높은물리적 힘이 필요하다는 단점이 존재

• 미래의 프로토타입에서 Apple의 3D 터치 기능 활용이 답

LandOn은 높은 Error rate, 짧은 선택 시간으로 개선 가능함을 보임

• 시작 중심으로 MidPlane의 최고의 효율을 보여줌

• 이는 Application에서 충분히 활용 가능



5.4 Discussion (2/2)

• 터치패드의 물리적 크기가 변경되지 않더라도 Plane Distance가Error Rate 에 영향을 미침

FaceTouch 는 Plane Distance를 신중하게 선택해야함을 보여줌

• MidPlane이 시야의 약 절반을 커버함으로써 최고의 성능을 보여줌

• Display-Fixed UI 를 위한 상호작용 기술로 작동함의 가설을 뒷받침

VR HMD로 가져오는 실용적인 접근법임을 시사

“Oculus VR best practices guide.” [Yao, R. (Oculus VR) et al. Oculus VR, 2017.]

Touchpad Positioning – User-Study


6. Touchpad Positioning – User Study

• FaceTouch가 대체 장착 위치를 탐색 및 성능에 미치는 영향을측정을 위해 세 가지 장착 자세를 비교

Face, Hand, Side

첫 번째 사용자 연구에서 최적의 변수를 바탕으로 실험 진행

• HMD 뒷면의 터치 패드와 다른 두 위치와 비교하여Proprioception 의 영향 확인

Figure 8.




• Face, Hand, Side 세가지와 One independent variable (Mounting Position)를 가지는 반복 측정을 통해 수행

선택 방법으로 LandOn, LiftOff 사용

• PressOn은 LiftOff 와 비교적 성능이 비슷하여 제외

첫 번째의 실험 진행 시 LandOn으로 선택, 목표 타켓 크기를 조절

• Hand, Side 와의 비교를 할 수 있도록 유도

Plane Distance 는 MidPlane 사용




• 측면 터치 패드는 Face의 터치 패드와 동일한 종횡비, 해상도 유지

사용자의 자주 사용되는 손의 방향을 고려해 양쪽 설치

• Dependent variable: Selection Time, Error Rate, Usability & Workload

Usability 는 전문적인 SUS 설문지와 NASA-TLX 사용해 측정

• System Usability Scale -> 해당 system 의 활용, 사용성 평가

• NASA-TLX (Task Load Index) -> System의 16가지 주관적 실험을통해 시뮬레이션에 적합도(System 작업 부하) 및 사용성 평가

“Sus-a quick and dirty usability scale.” [Brooke, J. et al. Usability evaluation in industry, 1997.]

“Development of nasa-tlx: Results of empirical and theoretical research.” [Hart, S. et al. Advance in psychology, 1988.]



6.2 Results (1/3)

• Error Rate.

첫 번째 사용자 연구와 동일한 정의

반복 측정 분산분석 (One-factorial repeated measures ANOVA)를 통해LandOn을 사용하여 장착 위치에 대한 중요한 영향을 확인

• (𝐹 2, 34 = 38.276, 𝑝 < .001, 𝜂2 = 0.69)

Face 가 Hand, Side 보다 현저히 낮은 Error Rate 를 보임

Figure 9.



6.2 Results (2/3)

• Selection Time.

첫 번째 사용자 연구와 마찬가지로 시작 버튼 및 목표 선택 시간 측정

Bonferroni 교정을 통해 Face (M=0.96s, SD=0.18s), Hand (M=0.99s, SD=0.26s), Side (M=2.10s, SD=0.44) 확인

• (P <.05)

Figure 10.



6.2 Results (3/3)

• Usability, Workload and Fatigue.

SUS, NASA-TLX 설문지를 통해 FaceTouch 에 대한 다양한 요소 확인

System Usability Scale.

• Face (M=79.86, SD=10.72), Side (M=51.11, SD=19.40), Hand (M=76.11, SD=14.84)

NASA-TLX (Task Load Index).

• Face (M=17.22, SD=4.21), Side (M=27.11, SD=5.48), Hand (M=18, SD=4.21)

전체적으로 Face 에서의 활용도와 작업 부하 점수가 좋음을 확인

• 이는 사용자가 VR HMD 착용하여 작업 시 Face를 활용이 유리함

Fatigue 실험은 Hand 점수가 좋음을 확인



6.4 Discussion

• Positioning 실험은 LandOn, LiftOff 에 대한 터치 패드 위치의영향을 측정

LfitOff 방식은 Face가 Hand, Side 비해 Error Rate, 선택 시간 면에서비교적 좋았으나, 장착 위치 간의 큰 차이가 없음

• 시각화의 이점을 가지고 있기 때문에 Proprioception 감각에의존하지 않음

LandOn 방식이 Positioning에 영향을 크게 작용하며, 전반적으로최상의 결과를 얻을 수 있음

• 낮은 Error Rate, 빠른 선택, SUS & Nasa-TLX 점수

GearVR과 같은 소비자 VR HMD 에서 터치 패드의 위치를 고려 가능함

Applications


7. Applications

• FaceTouch 의 장점을 제시하기 위해 Display-Fixed UI 를 세 가지예제 Application 에서 활용됨을 보여 줌

우선 일반적인 VR Application에 사용되는 UI 개념을 제시

FaceTouch가 VR Application에 대한 상호작용을 향상시키는 방법 확인

• Game Controls, Text Input, 3D Modeling

• General UI Concept.

IVE (Immersive Virtual Environment) 를 떠나지 않고 메뉴를 탐색 가능

Figure 11.


7. Applications

7.1 Gaming Controls

• Gamepad 같은 컨트롤러와의 사용이 요구되는 게임에 쉽게 배치

시선과 동작이 동시에 진행 되어야하는 Application

• 추가적인 액세서리 없이 쉽게 사용함

• LandOn 의 빠른 선택으로 비교적 높은 몰입을 제공

Figure 12.


7. Applications

7.2 Text Input

• Mobile VR HMD에서 데이터를 검색하는 Application에 활용 가능한IVE 내부에서 키보드를 구현

IVE 를 떠나지 않고 VR 환경에서 즉시 활용 가능

Figure 13.


7. Applications

7.3 3D Modeling

• 3D VR 공간에서 터치 제스쳐를 활용해 3D Modeling 가능

PressOn 도형을 생성 후 다양한 제스쳐로 크기, 회전 등을 조절 가능

Figure 14.


8. Limitation & Conclusion

• This 3D Selection technique can not manipulate virtual object freely an natural gestures, such as holding, grasping, throwing

User can not select an object in a depth complex space easily.

• If there is an occlusion, the selection efficiency is low

• 본 연구는 VR 연구의 현재 추세에 비추어, HMD 입력에 대한 새로운상호작용 개념을 제시

Leap Motion, Game Pad … 추가 장비 없이 VR 환경에서 몰입을 제공

사용자의 Proprioception 감각을 활용한 FaceTouch 제시

• FaceTouch 사용법, 다양한 User-Study 통해 최적의 입력 기술 확인

다양한 VR Application에 활용가능성을 제시


10. Demo


Appendix 1

• 신체의 상대적인 위치와 방향 등을 파악하는 감각


Appendix 2

• Samsung GearVR 메뉴 및 가상 키보드 자판


Appendix 3


Appendix 4

• 비모수 통계 방법을 사용하는 경우

Transformation으로 해결이 안될 때

표본수가 너무 적어 분포를 알 수 없는 경우

집단들의 표본수가 서로 크게 다를 경우

변수가 명칭 혹은 순서 척도일 때

중앙값의 비교가 목적


Appendix 5


Appendix 6

Documents

FaceTouch : Enabling Touch Interaction in Display Fixed Uis for …kucg.korea.ac.kr/new/seminar/2019/ppt/ppt-2019-05-23.pdf · 2019-05-23 · • Passive haptic을위해사용자의손에물리적인패들을사용한선택