Context-Awarene Services - Ernö Kovacs - Medien Meeting Mannheim 2008

© NEC Corporation 2006(200604)

Ｐage <date> 1May ‘08 - 1

Kontextuelle DiensteDr. Ernö Kovacs (Senior Manager),

NEC Laboratories Europe, Network Laboratories,Internet Services Group

Heidelberg

[email protected]

2008/05/08



2008/04/28Ｐage 2

Europe

Network Laboratories, NEC Europe(Heidelberg, Germany and Acton, U.K.) Mobile Internet Technologies

C&C Research Laboratories, NEC Europe (Bonn, Germany)IT and networking

China

NEC Laboratories, China(Beijing, China)Mobile

North America

Sagamihara

Otsu

Ikoma

Tamagawa

MitaHead Office

Tsukuba

JapanJapan

NEC Laboratories America(Princeton and Silicon Valley, USA)IT, networking, semiconductors, business cores

Globale R&D Standorte• Verfolgen Forschungskooperationen zwischen Standorten unter Verwendung

regionaler Eigenheiten (Märkte und Technologien)

IT, networkingand mobile

Semiconductors

IT, networking, mobile, semiconductors and new business cores

Solutions development and new business cores

Semiconductors and new business cores

Mobile and semiconductors



2008/04/28Ｐage 3

Übersicht

• Vision und Markttrends• Übersicht Kontextlösungen• Die Kontextpyramide• Herausforderungen• Beispiel• Die Umgebung als Teil der Dienstauslieferung • Netzwerkunterstützung• Das Kontextmanagementrahmenwerk



2008/04/28Ｐage 4

Kosequenzen• (so gut wie) jedermann wird von einer Gruppe an

drahtlosen Geräten versorgt werden• all diese Geräte sind mit dem neuen (drahtlosen) Internet

verbunden• Calm Computing: unaufdringliche Technologie

Sensoren, Aktuatoren, (semi-) automatischeUnterstützung

• Sensoren verbinden mit Netzwerken: Realiserung einer unsichtbaren Infrastruktur

Herausforderungen• Wie kann man so neuen Einnahmequellen erschließen?

Ansatz• Hochgradig skalierendes System zur Verwaltung von

Kontextereignissen und –verarbeitung

• context-as-a-service für Drittanbieter

from

: http

://w

ww

.yig

g.de

/398

067_

Nok

ia_s

ays_

Goo

gle_

allia

nce_

parti

cipa

tion_

not_

rule

d_ou

t_at

_all

Vision & Markttrends7 Trillion Wireless Devices Serving 7 Billion People by 2017

- Wireless World Research Forum (WWRF) Vision 2007

Markttrends•Google Markt: Werbung basierende auf Benutzerinformation

– Strategie: offene Hardware und Middleware Platform + attraktive Google Dienste

Open Handset Alliance, Open Social Alliance•Soziale Netze (Facebook) haben eine hoheAkzeptanz

– verwenden soziale Beziehungen (== Kontextinformation) für Dienstentdeckung

– Publizieren und Austausch persönlicher Daten•Nokia acquiring Navteq for $8.1 billion

– industry analyst claiming that target goes beyond location-based services

– base for rich contextual services



2008/04/28Ｐage 5

Context

Context

ContextDistribution

Network

Sensors, Networks &Personal Devices

People and Facilities in the Vicinity

PersonalGroups

User Model

Social Model

ContextAwareness

Enriched

LifestyleRecommendations

Targeted Advertisment

Pro-activeWLAN Setup

Pro-active ActionsAssisted LivingTrain

on Time

Sharing

Gather Analyze

Situation Model

Utilize

Network ModelUser Situation

Context

Übersicht über das KontextsystemIntegrierteIntegrierte KontextverwendungKontextverwendung: Sensor: Sensor--, , NetzwerkNetzwerk-- und und sozialesoziale Information der Information der NutzerNutzerffüürr personalisiertepersonalisierte und und einfacheinfach verwendbareverwendbare NGN NGN DiensteDienste

Kontextquelle: Vielzahl an Sensoren, Umgebungsbeobachtung, Netzwerkmonitore, Dienstinformation, Soziale Netze, …

HochskalierendeHochskalierende KontextverarbeitungsnetzeKontextverarbeitungsnetzeVerarbeitung der Kontextinformation im NetzwerkNeue Geschäftsmodelle um Kontextnutzung und Verfügbarkeit des Nutzers

Page KNS2-6IST-2003-027396 An FP6 Integrated Project

PN3

PN2

PN1

PN4

Fednet

PN3

PN2

PN1

PN4

Fednet

Personal NetworksPN Federation

MAGNET Beyond:Ein illustrierendes Beispiel

MAGNET Advantages:• keine Konfiguration• kein Netzwerk Setup• kein Service Setup

Nur• zusammenkommen• zusammenarbeitenin einem sicheren undautomatisch verwaltetemNetz

• automatisches Bereitstellenvon Kollaborationsdiensten

Federation



2008/04/28Ｐage 7

Die “Context Awareness” Pyramide

Location: N49°24.368’ E8°41.140’Time: 13:00Presence: with 4 friends

The raw data is gathered from

the sensors

Location: Near a bus stopTime: Lunch timePresence: with foreign friends

A personalized significance is

associated to the sensor data

The user is waking by a bus stop, in the role of tourist guide for visiting friends at lunch time.

Interpretation and aggregation as a

whole using learned behavior

The user might be interested in Restaurants of type Traditional reachable via Bus

A necessity is inferred from the situation



2008/04/28Ｐage 8

Herausforderungen an Context Awareness TechnologienGather

• Ubiquitous technologies– sensors– user provided– network/system– application info.

• efficient context access & distribution

– automated gathering

Analyze• Filtering• Aggregation• Data Mining• Reasoning• Learning• Prediction

Utilize• Information selection• Proactive, attentive

services• Group support• Social Networking• Multi-modality

Context representationStandardization (PDIF(IETF) integration into RDF(W3C))

Semantic representations/ontologiesQuality of context – Reputation of Context Provider

Context communication platformScaleable, privacy-enhanced Context Exchange

Context Exchange protocolsInter and Intra-Domain Exchange

Privacy of Context Information is Key to Acceptance



2008/04/28Ｐage 9

Beispiele



2008/04/28Ｐage 10

Funktionen des “Context Watcher”

ContextWatcherContextWatcher

Context tagged

pictures!

MapsControl what

you share!

Experience&

emotions

Keep in touch!

Local 1-click

weather

Condition &

Wellness



2008/04/28Ｐage 11

Soziale Netze

Today was the last day of my business tripto the ISWC’05 conference in Galway together with my colleague M. Luther. It was a cold and rainy day. In the afternoon I traveled back to Munich via Dublin by plane.

Today was the last day of my business tripto the ISWC’05 conference in Galway together with my colleague M. Luther. It was a cold and rainy day. In the afternoon I traveled back to Munich via Dublin by plane.

weather_cond=light_fogtemperature=coldweather=unpleasantdaylight=yestime=afternoon, business_hourslocation=conferencewith=colleague luthersituation=business_trip

weather_cond=light_fogtemperature=coldweather=unpleasantdaylight=yestime=afternoon, business_hourslocation=conferencewith=colleague luthersituation=business_trip



2008/04/28Ｐage 12

Freunde in Google Earth



2008/04/28Ｐage 13

Bleib in Verbindung mit Deinen Freunden

Discovered TV set. Do you

want to transfer the session?Yes No

Do you want to subscribe to

events related to the concert?

Yes No

… going for a bier after the concert

Mark and Thomas are at the concert.

Calling Thomas…

Anna



2008/04/28Ｐage 14

Verwendung der Umgebung zur

Diensterbringung



2008/04/28Ｐage 15

Digital Signage – Marktdaten

Fakten:– aufsummierte Marktkapitalisierung von über $10B

(Quelle: Wikipedia.org)– $3.5 Billion Markt alleine für Flat Panel Displays (FPD)

in 2010– 100.000 öffentliche Displays nur in China, starke Wachstum,

erfolgreiche IPOs an der NASDAQ– NEC ist Marktführer für Public Displays

Markttrends:– personalisierte Digitale Poster, abgestimmte Werbung– Interactive– Verwendung von drahtlosen Netzwerken– Kontextbezug

Digitale Poster (Digital Signage)Elektronische Bildschirme installiert in öffentlichen Räumen



2008/04/28Ｐage 16

Wachsende Anzahl Heteroger Displaytechnologien

Source: IBM Source: IBM

Source: IBM



2008/04/28Ｐage 17



2008/04/28Ｐage 18

Heutige Ubiquitäre Umgebungen:

keine kontinuierliche Sitzungen wenndas Interaktionsgerät sich ändert

keine Middleware die die nahtloseMigration zwischen verschiedenenGeräten unterstützt

keine Möglichkeit das zukünftige“Internet of Services” an wechselnden Gerätekombinationendarzustellen

Migration = Device Change + Adaptation + Continuity

ICT-OPEN Konzepte



2008/04/28Ｐage 19

Technisch



2008/04/28Ｐage 20

ITU: Ubiquitous Sensor Network



2008/04/28Ｐage 21

Entities

Kontextmodel

• Kontext wird modelliert als Kollektion von Entitäten und Ihre Beziehungen• Jede Entitat hat Attribute

– modellieren Eigenschaften der Entität– modellieren Beziehungen zu anderen Entitäten

• Entitäten werden eindeutig bezeichnet

Physical ObjectsUsers

Places/Locations

AttrAttr

Attr Attr

AttrAttr

AttrAttr

Virtual Entities

DCS

ZigBee BT

WLANUMTS

Network



2008/04/28Ｐage 22

Local

Context Management Interface (CMI)

Queries SubscriptionsResponses

Processing&

Storage (P&S)

DSA Manager

Local

Local

Network

Data SourceAbstraction

Layer CMI CASM

CAM DSAM

(To other nodes’CASM module)

(To the same node’sCASM module)

(To the samenode’s CAM module)

CASM CASM

Notifications


CAM/ P&S CASM

Context Access Manager (CAM)

Context AwareSecurity Manager

(CASM)

Context Agent

Modifications

Data Source(Sensors)

Retriever

Data Source(OS

Status)

Retriever

Data Source(PHY/MAC

Parameters)

Retriever

Data Source(…)

Retriever

Ia

Ib

If

Id

Ie

Ig

Ih

Ic

Context Agent: ein Container für Konetextverarbeitung



2008/04/28Ｐage 23

Design Prinzipien

• Applikationen abstrahieren von Speicherort

• Skaliert zu Millionen von mobilen Informationsquellen und-senken

• Schutz der Privatsphäre

• Unterstützt komplexe Verarbeitungs- und Ableitungsschritte

• Passt sich an Änderungen der Last und der Verfügbarkeit von Informationsquellen an

• Folgt den Design Prinzipien der aufkommenden NGN Netzen



2008/04/28Ｐage 24

Kontextsitzungen

Erlaubt transparente Anpasung der Kontextverarbeitung

• Context Session: Kommunikationskanal zwischen Kontextquellen und Kpontextsenken– In Analogie zu NGN Mediensitzungen

• Flexible Kontrolle und effizientes Management der Kontextverteilnetze

Subscription

Context Session

SignallingContext Data

Context UpdatesSession Control

Context=Weatherconfidence>0.9updateRate=1h

25C,...

UpdateRate=30min

Context SinkContext Source

Grundidee: Trennung von Signalisierung und Kontextaustausch



2008/04/28Ｐage 25

ICE – NGN Context Middleware

Signalling Layer

Transport Layer

Service and Application Layer CCR

ContextSource

SSoB SSiC

DSoSi

DCrC

SBC

ContextRegistry

ContextSink

CAM

SSoC

Context Session

Context Access Manager• process requests• find sources using the ICE broker• plan session setup• Establish Ctx Delivery• Monitor and adapt sessions

• provide access to index information

Context Component Repository• Provide access to stored components• Allow addition, removal and update of

context components• Provide index information about stored

context components

Stores information locallySrc Sink

Src

Src Src

Sink

Src Src Sink

Sink



2008/04/28Ｐage 26

Kontextströme und Netze

• Komplexe Abhängigkeiten zwischen Kontextquellen und Verarbeitungskomponenten• Stark verteilt in unterschiedlichen administrativen Domänen

– Mobile Endgeräte– Verschiedene Server und Desktop Machinen

• Massive Zahl untereinander abhängiger Kontextquellen• Informationsfluß muß effizient verwaltet werden

– Welche Kontextquellen beantworten eine gegebene Anfrage ?– Adaptiere Netzwerk auf grund von hinzukommenden und verschwiendenden

Kontextquellenund -senken– Verwalte den Lebenszyklus von Kontextkomponenten

Transport Layer

Src Sink

Src

Src Src

Sink

Src Src Sink

Sink



2008/04/28Ｐage 27

• Zwei Arten von abstrakten Protokollen

• Context Session Initialization Protocol (CSIP)– Sitzungsinitiierunge und -verwaltung– Entwickelt mit SIP und in Hinblick auf Flexibilität

• Context Exchange Protocol (CEP)– Benachrichtigung über Kontextänderungen

Protokolle

Application

CSIP CEP

SIP WS … SIP WS …



2008/04/28Ｐage 28

• Kontextdienste auf der Basis von IMS

• Wiederverwendung der IMS Funktionalität– Basic Identity Management (HSS)– AAA (HSS, SIP REGISTER)– Scalability and Message Routing (IMS

Domains, CSCFs)– Extended Session Control for Context

Subscriptions

• Abstraktes ICE Framework in Java – CDC Personal Profile Environment– basierend auf einem modularen

Context Agent– Läuft auf HTC P3600

• SIP Implementation des CSIP und CEP stack– Basierend auf mjSIP

• Status: Proof-of-Concept Demonstrator

Implementation: IMS Context Enabler

Transport Layer

Service and Application Layer

IMS Core

ICE Broker

ISCB ISCC

ICESink

CAMCCR

ICESource

ISCB

GmSo GmSi

DSoSi

DCrC

Transport Layer

Service and Application Layer

IMS Core

ICE Broker

ISCB ISCC

ICESink

CAMCCR

ICESource

ISCB

GmSo GmSi

DSoSi

DCrC

Local

Context Management Interface (CMI)

Queries SubscriptionsResponses

Processing&

Storage (P&S)

DSA Manager

Local

Local

Network

Data SourceAbstraction

Layer

(To other nodes’CASM module)

(To the same node’sCASM module)


Notifications


Context Access Manager (CAM)

Context AwareSecurity Manager

(CASM)

Context Agent

Modifications


Retriever


Retriever

Data Source(OS

Status)

Retriever

Data Source(OS

Status)

Retriever

Data Source(PHY/MAC

Parameters)

Retriever

Data Source(PHY/MAC

Parameters)

Retriever

Data Source(…)

Retriever

Data Source(…)

Retriever

Ia

Ib

If

Id

Ie

Ig

Ih

Ic



2008/04/28Ｐage 29

Business



2008/04/28Ｐage 30

Business Aspekte: Sensor und Kontext in der Netzbetreiberdomäne

Sensor InformationDistribution

Home Mobile

OfficePersonal

Sensor Information Distribution:• operators cares for sensor

information distribution• everywhere access to sensor • customer value :

- fast and easy sensor services

Sensor InformationDistribution

Home Mobile

OfficePersonal

Context processing

Context Processing:• operators provides context processing,• operator value: sell high value services

(“keep value in network”), protect privacy• customer value: contextual services,

not just sensor or location

WLAN2/3G WLAN2/3G

Profile Matching,Location Reminder,Event Monitoring,

Semantic ProcessingMobile Search

Support, Proximity Detection



2008/04/28Ｐage 31

Business Aspekte: Sensor und Kontext in der Netzbetreiberdomäne

Home Mobile

OfficePersonal

Sensor Information

Home Mobile

Service

Personal

Context processingSensor InformationDistribution

Context processing

IntelligentService Brokering

Office

WLAN2/3GWLAN2/3G

Intelligent Service Brokering:• matchmaking: publish and discover services, find right service,

combine service elements based on context• context for richer semantic and better matches• customer value: right service at right time, easy to use, utilizing mobile environment• operator value: service broker for routing service invocations of the user,

potential for up-selling services, play central role in service eco-system

Service



2008/04/28Ｐage 32

Zusammenfassung

“Connecting the Real World with the Physical World”

• von Sensorinformationen zu hochwertiger Kontextinformation• Schutz der Privatspäre über

– ein ausgereiftes Identitätenmanagement– Kontextfiltern und –verschleiern

• weitreichende Konsequenzen auf mobile und Internetdienste• langfrsitiger Trend der auf Einfluß auf das zukünftie Internet

haben wird



2008/04/28Ｐage 33

Economy & Finance

Context-Awarene Services - Ernö Kovacs - Medien Meeting Mannheim 2008