13‐12‐2017

Smart digital devices –how can we use them for food?

Mikkelsen, BE, Professor Aalborg University

Bern Fachhochschule, Dec 8, 2017

Abstract: Smart digital devices is increasingly being used for behavioral nutrition research. Although the act of detecting food behaviour is still in its infancy, a growing number of policy papers suggest that there are huge opportunities in the borderline between food and "the digital". The availability of new smart sensors and the internet is offering new opportunities for measuring behavior, assessing consumer response to food exposure and for gamified education in the food area. The presentation takes as the point of departure the dVices4food project, the Foosions project and the FoodScape Lab studies development project. Projects has been developed in different labs at AAU: the Foodscape Lab, the AAU Samsung SMILE lab and the AAU Multisensory Experience Lab. The presentation is addressing the following topics. ICT ‐ assisted foodchoice data acquisition, new sensations and experiences of virtual & augmented food‐reality technologies. Smart Exposure Response Technologies and Internet of food Things as well as smart foodscape mapping technologies.

Agenda

1. New sensations and experiences of virtual & augmented food‐reality technologies. 

2. The digital nutrition journey

3. Smart Exposure Response Technologies, 

4. Internet of food Things

5. Smart foodscape mapping technologies.

Digitalisation & nutrition

• Devices such as smartphones touch pads, etc. are increasingly used by consumers for self‐tracking of lifestyle and the number of research studies applying such devices is growing (see for example: Jia et al 2011; Moulos et al 2015). 

• New wearable devices that can objectively assess behaviours (Jia et al 2012, Jia et al 2013, Sun et al 2014) have been developed 

• Signals such as biosignals, GPS, mobile positioning, Wi‐Fi and Bluetooth are examples of signals and protocols that offer new potentials. 

Digitalisation & nutritionfacts & figures DK/Nordics• Between 82% and 92% of the population use mobile ICT devices daily. 

• 89 % of Danish consumers own a mobile phone/smart phone• 88 % of Danes carry out digital self‐service• 88% of Danes do e‐Shopping• 22 % of internet users between 16 and 74 are skeptical about IT security

• Penetration of wearables and according to Statista ‐ the sale of smart watches has risen by 141 percent in recent years* 

• 52 % of information workers across 17 countries report using + 3 three devices for work**

StatisticsDenmark, http://www.dst.dk/da/Statistik/Publikationer/VisPub?cid=019373* Statista, Nordics** https://blogs.business.microsoft.com/en‐us/2016/02/16/employee‐devices‐bring‐added‐security‐concerns/

Example: the foodscapelab

The FoodScapeLab–our own digital foodlabfloorplan

12/13/2017 6Illustration: Laurits Skov

Example: the foodscapelab

The Intelligent Buffet. FoodScapeLab in coop

with Syscore

The digital nutrition journey

eButton: A Wearable Computer for Evaluation of Diet, Physical Activityand Lifestyle. Wenyan Jia, Presentation to Training Course on ICT Assisted Methods for Measuring Diet & Behaviour in Complex Foodscapes, Aalborg University, 24 August 2015

eButton

Video camera: looking at food and PAGPS: positioning  the individual3‐axis accelerometer – estimating motion 3‐axis gyroscope: measuring body orientationUV sensor – distinguishing indoor/outdoorBarometer: determining body position/floor level

The eButton approach

13‐12‐2017

Monitor with the DIMS

Medical Research Council Model MRC for intervention development

Shared nutritiondecision making

NSR 2002  risk screeningNSR 2002  risk screening

DankostMenuplanning

DankostMenuplanning

MasterCaterMenuplanningMasterCaterMenuplanning

Food’n Go Meal BookingFood’n Go Meal Booking

* Der benyttes LCA food og LT/DTU Man regneark samtSimaPro simulering (menuplans‐og opskriftssimulering* Der benyttes LCA food og LT/DTU Man regneark samtSimaPro simulering (menuplans‐og opskriftssimulering

TradeSync – Food Composition GenericBrand level  

TradeSync – Food Composition GenericBrand level  

FoodCost –Price calculationFoodCost –Price calculation

LCA food – Carbon Food Prints* LCA food – Carbon Food Prints* 

FoodComp – Food Composition GenericFoodComp – Food Composition Generic

The Digital Nutrition JourneyThe Digital Nutrition Journey

Creating Seamless interfaces between SoftwareMenu simulationWhat if scenario planning

Dankost Web OrderingDankost Web Ordering Food Preferences Screening (FPS)

Food Preferences Screening (FPS)

DIMS –eMonitoringDIMS –eMonitoring

NutriQualityAssuranceReport (NQAR)

Internet of food Things

Predicting shelflife through IoT, RFID & BT

A Field Test Study on a Dynamic Shelf Life Service for Perishables. Å. Jevinger, M. Göransson, and K. Båth. 26th Conference of the Nordic Logistics Research Network. 2014. [open access]

Platecounting to measure foodflow in canteen

https://www‐03.ibm.com/press/dk/da/pressrelease/50097.wssIBM’s Watson IoT‐platform og TRIRIGA facility management‐software

Eating. Ageing. Digitalisation. PlaceA smart home to elderly

• Goal: to reduce the cost of movingcitizends to elderly homes. Ageing in place is the mantra.Elderly installed 8 sensors in theirhome

• Wrist band & sensors

• Individual going out of bed, to the toilet 

• An app pings if algorithm seessomething strange.

• Big data does predicitions: • increased toilet visits can flag up a urinary‐tract infection, 

• changes in gait can predict an impending fall, the leading cause of death or injury among older adults.

• Only things missing: foodconsumption recording

Economist: special report on the economics of longevity, July 8, 2017 edition

Eating. Ageing. DigitalisationThe eating robot• The case of Bestic

13‐12‐2017

Smart Exposure Response 

Technologies  (SERT)

Smart Exposure Response Technologies (SERT)

Applying digital response measurement to food exposure (Smart Exposure Response Technologies ‐ SERT) is of great interest to a wide range of disciplines from product developers, to sensory scientists, expert of consumer panels or eating behavior and even market research bureaus. 

Traditional measurements have been resting on the use of manually recorded and self‐reported types of data collection. 

New types of ICT technologies are offering interesting new functionalities of interest to the whole health‐oriented scientific community. 

Some of the technologies that has been reported being able to measure sensoric/human response as a function of food exposure include the FaceReader 6.0, Emotiv Insight, Finger Heart Rate Sensor, Google Forms, Garmin Vivosmart HR Bracelet, L18 Smart HR Bracelet and Ear clipper HR pulse. 

The technologies and matching software have been tested to examine the following characteristics: reliability, user‐friendliness, data readability, data export options, possible measurement types, battery life and the participant comfort. 

The action in the SERT work group will carry out work on how to take advantage of new “response” technologies and to coordinate studies on strengths and limitations of these and to validate them against traditional methods within food and sensory studies

Chair: Mari Sandell, Turku Unversity

FaceReader Emotiv Insight Finger heart 

rate sensor

Google FormsGarmin Vivosmart 

HR bracelet

L18

Smart HR bracelet

Ear clipper 

HR pulse

Reliable Yes, if the data is 

controlled

Yes, if the data

could be

controlled

Yes Yes Yes Yes Yes

Easy to use Yes No No Yes Yes Yes Yes

Can we read the 

data

Yes Yes, choosing the 

right software

No Yes Yes, but only real

time data

Yes No, requires 

a special

application

Can we control the 

data

Yes No No Yes Yes No No

Does it provide 

useful data

Yes Yes No Yes No No No

Fast and user 

friendly

Yes No No Yes Yes No Yes

Battery life Sufficient Lifetime: 1 hour

Chargingtime: 2 

hours

Sufficient Sufficient 1 year 1 day 4 hours

How is the data 

exported

ODX or JPEG Dependingon the

software

Not Using Google,

online data

Not, only the real 

time

Applicationmobile 

phone

With an 

external

application

Comfortable for

participants

Yes, when the 

screen is off

No Yes Yes Yes Yes No

Measuring sensory response to food the smart way – an inventory of low cost easy to use wearable devices and an assessment of their feasibilityEllen Landman1, Milou van Empel1, Bent Egberg Mikkelsen2, Dafne Di Sciorio1, Kristin Tammvee1, Kristina Bilinskaité1 Eating insects – does informed choice makes a difference on acceptance of consuming edible insects? Proceedings from ICCAS 2017 AAU CPH

Exposure Response Model

Food exposure

Biosignal response

Reading facial expressions

Reading facial expressions

Ellen Landman1, Milou van Empel1, Bent Egberg Mikkelsen2, Dafne Di Sciorio1, Kristin Tammvee1, Kristina Bilinskaité1 Eating insects – does informed choice makes a difference on acceptance of consuming edible insects? Proceedings from ICCAS 2017 AAU CPH

Milestones

WG Objectives Tasks/ Activities Milestones/  Major deliverable

3 Smart Exposure Response Technologies (SERT’s). 

1) Develop inventory of technologies to create overview of existing SERT’s. Investigate the technological solutions available for Smart Exposure Response. This task will aim at summarising existing approaches and workflows, consolidate outputs from individual projects and identify common technical challenges. 

1) Testing/ feasibility studies of new SERT’s against conventional methods. This task will aim piloting SERT's methods in real‐time consumer‐based innovation platform e.g. food court in Finland and in Denmark together with selected self‐reported food choice questionnaires. 

1) Investigate and document approaches to evaluate SERT testing study accuracy,possibilities and limitations. This task will carry out critical evaluation offeasibility of SERT testing. Develop suggestions for future usage of SERT testing.

e.g. 4 STSMs (Y1, Y2, Y3, Y4), 1WS (Y1), 1 OA‐P (Y2),  

Milestones/  Major deliverable: Short Term Scientific Missions (STSM), Open access peer‐reviewed publications (OA‐P), Workshop/ (WS), Joined Student Supervision (JSS), Consolidated Report (CR), Conferences (C), Conference Proceedings (CP), Training Schools (TS), Action Website (AW), Management Committee meetings (MCMs) 

13‐12‐2017

EEG Electro Enchephalo Graphy

EKGElectro Kardio(Cardio) Graphy

PPGPhoto Plethysmo Gram • See also Electro Galvinic Skin response or Skind conductivitymeasurement and EDA/GSIR (Electrodermal activity)

New sensations and experiences of virtual & augmented food‐reality technologies. 

A snapshot of the virtual supermarket

urtesy of: Dennis Godtfredsen, Philip Brisson, Martin Rene Andersen and Patrick Leh

man

nHald, Project Group Create kl14m

l601

Example: the foodscapelabVirtual Supermarket

13‐12‐2017

Samsung gear VR

The virtual shopper

• a Learning game programmed in unity with the help of Samsung VR and computer technology

• Aims to increase food literacy by providing information/fact on specific vegetables and fruits.

• Process            

Effects of design of the VeggiMatchi game

First Slide

A

Vitamins and minerals chosen for game & the example of the alert

A

Some of products chosen for game & the example of the hint

A

From FSL to Street Science & Food’n Science

• Foodscape Lab. Teaching of graduate students

• Refined at annual Researchers Festivals

• Refined at Annual culture nigths

• Conceptualized in the Food’n Science Program

Food’n science ‐ overall aim & target

• To co‐develop food & nutrition AND science & digital literacy for the benefit of young people in elementary school

• For children aged 8‐12 year

• Elementary school

• Mediators: teachers of natural sciences and home‐economices

Researchers festival & culture nights

13‐12‐2017

Refining Food’n Science components at Aalborg Universitarium summer 2017 

Seven items for UniversitariumName Description

1 The Virtual Shopper Den virtuelle shopper er et læringsspil programeret I Unity og 

beregnet til at lære om det sunde valg i supermarkedet: Det bruger 

Samsung VR og computerteknologi

2 Eye4food Eye4food er en tablet baseret spil for 3‐7 årige og er beregnet på at 

skabe maddannelse ved at udfordre børn til at kombinere billeder med 

ord når det gælder frugt og grønt

3 Growing Blue & Green in 

the city 

Dette set‐up er et simpelt aquaponics anlæg beregnet til at lære børn I 

mellemskolen om urban bæredygtig og cirkulær fødevareproduktion

4 The DIMS calorie identifier Med DIMS’en får du adgang til at billedgenkendelse af tallerken 

anrettede måltider 

5 Veggie Matchi Veggie Matchi er et augmenteret smartphone spil der lære børn om 

frugt og grønt i en augmenteret virkelighed  omkring et 

fødevaremarked

6 The Social Vegetable Nudge SocioNux er en Persuasive teknologi der har til formal at nudge kunder 

til at træffe det sunde valg baseret på real‐time info om hvad andre 

kunder tidligere har gjort

7 Cooking Down Memory 

L

Et 3D kulinarisk oplevelses univers der skal stimulere appetit for 

d t ( k i )

2020

Conclusion

•SERT – huge potential in sensory sciences•IofT – opportunities for teaming up with industry

•Citizen & school science – new evenuesshould be explored

•But cooperation is imperative

RoboFood – can we integrate teaching of  ICT and food literacy at school?

Switzerland on Citizen Science in schools, March 15th (evening)‐18th (midday). Chai: Laura Kløtzer. Bents paper: "Food Sense & Science – engaging citizens in the development of a social learning space in BoxtownAalborg"

Thanks for your attention 

http://www.capfoods.aau.dk/newslist/news/vous‐connaisez‐le‐model‐aalborg‐.cid331849

bemi@dcm.aau.dk, 25 38 43 66Personal web site: http://personprofil.aau.dk/119690?lang=enLinked in: http://dk.linkedin.com/pub/bent‐egberg‐mikkelsen/7/713/13bResearchGate: http://www.researchgate.net/profile/Bent_MikkelsenInstagram: @bentegbergWeb: capfoods.aau.dkPublons: https://publons.com/author/559299/bent‐egberg‐mikkelsen#profile