Погружение в трехмерный мир Intel® RealSense™Александр Лазарев, инженер по приложениям, Intel

2

Бесконтактные интерфейсы – это еще цветочки

3

4

All-in-One Ноутбук Convertible Detachable Планшет

ПЕРЕДНЯЯ камера

ЗАДНЯЯкамера

Устройства с 3D камерой

4

R200«Видит, понимает»обстановку, окружение

Обучение,обучающие игры

Трехмерноеобщение,творчество

Сканирование,моделирование,

копирование

Естественноевзаимодействие

Игры,другие развлечения

Новые возможностив фотографии

Трехмерное сканирование,моделирование окружения

Трехмерные игры, обучение, сотрудничество Новые возможностив видео

F200Взаимодействует с пользователями и маленькими объектами

Разные цели использованияразных камер

ПЕРЕДНЯЯ КАМЕРА

Intel® RealSense™ 3D камера F200На рынке

Камеры Intel® RealSense™

ЗАДНЯЯ КАМЕРА

Intel® RealSense™ 3D камера R200На рынке скоро

Для устройств 2в1, ноутбуков, AIO

• Использование внутри помещений• Отслеживает пальцы, руки, лица, головы• Распознает жесты, выражения лиц, фон• На короткой дистанции

• Использование внутри помещений и на улице• Отслеживает 3D объекты, сцены• Фото и видео с данными глубины• Для игр, дополненной реальности• На большой дистанции

Планшеты и «пристегивающиеся» 2в1

5

Комплект разработчика

6

https://software.intel.com/en-us/realsense/devkit

Intel® RealSense™ камера F200 для отслеживания рук, лиц, головы

Horiz: 68oVert: 50o

7

Передняя камера F200

8

Параметры камеры F200

3D 2D

Технология: кодированный свет; VGA 60fps;

Платформы: процессор 4,5,6 поколение Intel® Core™ i3/i5/i7;

Использование: в помещении, направлена на пользователя;

ОС: Windows 8.1, Windows 10

Формфактор: интегрированный модуль**

1080p RGB, ИК излучатель и ИК камера

Размеры: 110x12.5x3.75мм

Мощность: 1.6 Вт.

* Other Names and Brands may be claimed as the property of others

Feature Color Camera IR Camera

Active Pixels 1920x1080 640x480 (VGA)

Aspect Ratio 16:9 4:3

FOV (D x V x H) 77o x 43o x 70o 85o x 56o x 72o

Frame Rate 30/60/120FPS* Up to 300FPS*

Filter Type IR Cut Filter IR Band Pass

Focus Fixed Fixed

Interface MIPI CSI-2, 2 Lanes MIPI CSI-2, 4 Lanes

*Частота кадров зависит от разрешения, версии прошивки

Обзор сенсоровIntel® RealSense™ F200

Feature IR Laser Projector

Eye Safety Class 1

Coded Light Projection Vertical Bar Patterns

Nominal Wavelength 860nm

FOV (D x V x H) 85o x 56o x 72o

9

ИспользованиеIntel® RealSense™ F200

Обучение иобучающие игры

Трехмерное общение,творчество

Трехмерное сканирование,моделирование, копирование

Естественноевзаимодействие

Игры идругие развлечения

и многое другое

Цвет

Глубина

ИК

10

ПЕРЕДНЯЯ КАМЕРА

Intel® RealSense™ 3D камера F200На рынке

Камеры Intel® RealSense™

ЗАДНЯЯ КАМЕРА

Intel® RealSense™ 3D камера R200На рынке скоро

Для устройств 2в1, ноутбуков, AIO

• Использование внутри помещений• Отслеживает пальцы, руки, лица, головы• Распознает жесты, выражения лиц, фон• На короткой дистанции

• Использование внутри помещений и на улице• Отслеживает 3D объекты, сцены• Фото и видео с данными глубины• Для игр, дополненной реальности• На большой дистанции

Планшеты и «пристегивающиеся» 2в1

11

12

Задняя камера R200

Vertical FoV

= 46°

Horizontal FoV

=59 °

~0.6m~3.5mindoors

«Глаза» Вашего устройства. Для сканирования, моделирования, редактирования, печати. И для игр

13

Технология: активное стерео; VGA 60fps

Платформы: процессор 4,5,6 поколение Intel® Core™ i3/i5/i7, Intel® Core™ M, Intel Atom x5/x7

Использование:

В помещении до 3.5м;

На улице до 8+м

Большие расстояния требуют

солнечного ИК излучения

ОС: Windows 10

Формфактор:

интегрированный модуль

• Размеры: 101.6x9.6x3.8мм

• Мощность: 1.6W

Параметры камеры R200

13

левый ИК сенсор

Правый ИК сенсор

1080p цветной сенсорR200

ASIC

коннектор

лазерный ИК излучатель

3.3V

USB3

Левый ИКсенсор

Правый ИКсенсор

ИК излучатель

1080p цветной сенсор коннектор модуля (USB3)

R200 ASIC

14

ИспользованиеIntel® RealSense™ F200

Снимайте мир в 3D

Снимайте объекты, людей, обстановку.

Встроенный 3D сканер для передачи,

редактирования, 3D печати

Новые возможности в фотографии

Риалтайм фильтры по глубине,

эффекты редактирования (подсветка,

корректировка фокуса, удаление фона)

Добавить

игрушки в

игру, а игру

в реальное

видео

Новое в играх, развлечениях, обучении, общении

«Покажи,

как надо»,

«как

будет»,

«что если»

Виртуальный

контент в

реальном

мире,

и наоборот

Запи

сь, р

ед

акти

ровани

е,

воспрои

звед

ени

еД

опол

нени

е и

нал

ож

ени

е

Восприятие сцены

Цвет Глубина ИКл ИКп

Introduction to Intel RealSense SW stack

15

17

Camera connected (USB3!), DCM installed

Easy filter

First Sense of RealSense

18

RealSense SDK Sample Browser*

*comes with the SDK

Introduction to Intel RealSense SDK

19

20

Intel® RealSense™ SDK - Windows

F200 Front-Facing Depth Camera

3D Face TrackingBackground RemovalObject Recognition

and Tracking

Front Facing (Laptop)

Speech Recognition

Front-Facing Capabilities

3D Object Scan/Capture

Rear Facing (Tablet)Rear-Facing Capabilities

RealSense™ SDK Framework

Hand Tracking &Gesture Recognition

Augmented Reality / Scene

Understanding

R200 Rear-Facing Depth Camera

EnhancedPhoto&Video

21

Intel® RealSense™ SDK PackageSingle SDK for both F200 and R200 development.

– Developer can choose to install for specific camera or both.

22

Depth Camera Manager Service (DCM)

23

DCM Responsibilities

• Multiple applications access to the camera

• Single camera profile

• Power Management

Requests accumulated from MWs and app by the client

Clients set the requests to the service per stream

If all clients agree to reduce power – the stream will reduce power(currently just lower FPS)

Once a client requests full power – the stream resumes full power

Placeholder Footer Copy / BU Logo or Name Goes Here

Using the Intel® RealSense SDK™ for Windows*

24

*Other names and brands may be claimed as the property of others.

HandsFaceSpeechEnvironment

25

Intel® RealSense™ SDK for Windows*Understands 4 basic types of input - Standalone or various permutations

Categories of Input Capabilities Features

Hands • Hand and Finger Tracking • Gesture Recognition

• 22-point Hand and Finger Tracking• Static Poses and Dynamic Gestures

Face • Face Detection and Tracking

• Multiple Face Detection and tracking• 78-point Landmark Detection (facial features)• Face Recognition and Facial Expressions• Pulse Estimator

Speech • Speech Recognition and Synthesis

• Command and Control• Dictation• Text to Speech

Environment • Segmentation• 3D Scanning• Augmented Reality

• Background Segmentation• 3D Object / Face• 2D/3D Object Tracking• Scene Perception• Enhanced Photo&Video• Human detection&tracking, body tracking (incl. skeleton)