19‐06‐2015

1

Intelligent Devices4Food

Bent Egberg Mikkelsen &Michal DobroczynskiUsing Wifi sensors to track food behavior in local 

foodscapes ‐ try out the FoodScapeTracker”June 8, 2015 dVices4Food Seminar 

Pittsburgh University

Abstract: Measuring and monitoring lifestyle‐related and popularity worldwide. Increased accessibility of these mobile technologies, including smartphones, personal digital assistants and touch pads (ultra‐portable computers), has made them more feasible for use by consumers for self‐monitoring but also by researchers and health care service providers for monitoring health behavior, compliance and effectiveness. Mobile technologies can be used in a co‐creation mode where users provide input and actively participate in the co‐creation of service, care and best practice.  The presentation illustrates some of the new technologies and give examples of how they can be applied to the study of behavioral nutrition.

Abstract: Measuring and monitoring lifestyle‐related health behaviours with easy‐to‐use portable intelligent devices, has gained interest and popularity worldwide. Increased accessibility of mobile technologies, including smartphones, personal digital assistants and touch pads (ultra‐portable computers), has enabled researchers to try out new options in the collection of behavoural data.  The presentation  give examples of how Wifi sensors can be used to track food behavior in local foodscapes with the  FoodScapeTracker

Network activity 1.Federal RDJ University

• This activity consist of 2 meetings. 

• Workshop at Federal University RDJ. Contact: Rosangela Peirera & Nilma Morceff

• Lecture af Green Rio. May 21 & 22. Conference Tom Jobim, Jardim Botanico

• Visit at UniRio, Urca. Contact: Alessandra Peireira

Read more at  www.dvices4food.aau.dk

Network activity 2.Montclair & Pittsburgh Universities

This activity consist of 2 meetings. ICCAS 2015 at MontClair University the dVices4Food paper “Designing a Healthy Supermarket Checkout Aisle Proofing the concept of Virtual Food Choice Simulator, Cekatauskaite, V; Kwebiiha, PF; Lindum, J; Pawlowski, KD; Sørensen, JR;  Vejlund, C; Vilhelmsen, S. & Mikkelsen, BE. Proceedings from ICCAS 2015, Montclair University, NJ” will be presented. The other meeting will take place on June 8, 2015 at Pittsburgh University‐ Arranged by dVices4food partner Professor Mingui Sun. Mini workshop 10:00‐15:00 with presentations from the Pittsburgh group and people from the university.

Program

• Sun, M: The e‐button• Jia, W: the Pittsburgh lab• Pawlowski, KD: The Virtual Food Choice Simulator (VFCS) as a design tool and an educational tool • Michal Dobrocsynski: Using Wifi sensors to track food behavior in local foodscapes – try out the 

FoodScapeTracker• Ofei, KT: The dietary intake monitor. Towards the next generations

Read more at  www.dvices4food.aau.dk

Network activity 3 Training course, meetings &conference. Aalborg/CPH 

• August 24‐27, 2015 • 4 day PhD Workshop (1+2+1) activity at Aalborg University. • Feature presentation of devices and technologies from participating partners and 

will consist of scientific presentations of examples of how applications has been applied in the study of food behavior and demonstrations of prototypes. The first day of the PhD course will include instructions and group formation. The different technologies will be presented and students will choose and work with a case the following 2 days. 

• The 4th day the results will be presented.  An open meeting (2 hours ‐ 4 presentations) in IDA‐LEVS/DSKE will be planned as well as a closed meeting for the dVices4Food partners. The closed dV4F meeting is expected to have representatives for all 4 countries as well as PhD‐s and Post Docs mainly from Denmark. The agenda for the closed meeting will include drafting of a structure for a state of the art paper, planning of the project in detail, making a plan for research stays and identification of research fund opportunities.  The meeting agenda include also a visit to the FoodScapeLab. 

• The conference ICT Assisting Dietary Assessment is scheduled for August 28, Aalborg University, 2015 and is dependant on external funding

Read more at  www.dvices4food.aau.dk

Other dVices4Food activities

• Network activity 4. Training & Research Course: ICT Assisted Methods for Measuring Behaviour & Architectures in Complex Foodscapes – A Global Approach, FudanUniversity. Shanghai. Preliminary dates: (November 9‐11), 2015

• Network activity 5. Researcher from Copenhagen goes abroad. This activity involves a Danish  PhD or Post Doc staying at a guest institution in one of the participating countries and is planned for mid 2015.

• Network activity 6. Researchers from Pittsburgh/Houston goes abroad:  This activity involves an American PhD or Post Doc staying  at a guest institution in one of the participating countries.

Read more at  www.dvices4food.aau.dk

19‐06‐2015

2

Fudan UniversityPreliminary dates: (November 9‐11), 2015

Training & Research CourseICT Assisted Methods for Measuring Behaviour

& Architectures in Complex Foodscapes – A Global Approach

HeatMapping the Buffet

Courtesy

of Rikke Gade Heatmapping the SuperMarket

the Noldus tracklab approach

Heatmapping the SuperMarketthe Noldus tracklab approach

• You can find the video on our FTP server by surfing to:

•• ftp://mail.noldus.nl• Enter the Username: Download• Enter Password: FromNoldus2013•• You will see a folder called “For Bent”. The video is in that folder.

The Intelligent Buffet. FoodScapeLab in coop

with Syscore

19‐06‐2015

3

The Intelligent Buffet The Intelligent Buffet

The Intelligent Buffet The FoodScape Tracker

FoodScapeLab at Researchers Festival

• https://www.youtube.com/watch?v=‐8h7NTDT4pQ&feature=youtu.be

FoodScape Tracker

19‐06‐2015

4

Objective

•How it startedto see what students are doing during their lunch breaks:

zusing the cafeteriazvisiting a local pizzeriazvisiting a local mall

Lynge school

• https://www.google.dk/maps/@55.843153,12.286537,3a,75y,357.32h,89.87t/data=!3m4!1e1!3m2!1s8TZJjKLPUNRfMMEuOuXvhw!2e0!6m1!1e1

Sagar Koirala: Investigating the influence of food environment and availability in the walking distance of Lynge skole on student’s behavior and their food choices

Reys Pizza

• https://www.google.dk/maps/@55.840449,12.277152,3a,75y,16.8h,90t/data=!3m4!1e1!3m2!1s1GP6oT42kIxR69DjmBXBfA!2e0

WiFi and Bluetooth trackerBig fridge is watching you-

Credits: Sagar Koirala

19‐06‐2015

5

• https://www.google.dk/maps/place/Lynge+Uggel%C3%B8se+Brugsforening/@55.838457,12.277125,3a,75y,180h,90t/data=!3m4!1e1!3m2!1spNzy1jkA4TH3Tt9capKA2g!2e0!4m6!1m3!3m2!1s0x0000000000000000:0xfce345b03f49e4b8!2sSports+Pub+Lynge+V%2Fditte+Maria+S%C3%B8ndergaard+Christens!3m1!1s0x0000000000000000:0x6fd9c19a393416b2!6m1!1e1

Requirements

z cost‐effective and easy to doz should not rely on any active actions from participants, like for example checking‐in with cards or RFID transponders

z it should not put the privacy of participants at risk

First ideas

z we thought about RFID dongles – but they must be carried at all times... and require participants to check‐in

z almost all students have a smartphone

Why not track them using their WiFi signals?

Tracking

z Trackers are 100% passive – do not work as a rogue AP

z Capturing MAC addresses (Layer 2) that are available in the “air”

z MAC address on the device are filtered before things are being sent to the central server

Hardware

z Heart of the system: BeagleBone Blackz WiFi: atheros based regular USB wifi cardz Antennas: from 2dBi omni for small locations up to 5dBi directional antennas to cover larger areas/pickup weaker signals

z Hardware cost? Very small!z Can be reused in different projects? YES!

19‐06‐2015

6

Software

z the board runs Linux debianz the main software running on the board is custom‐written (in Python)

z control and data backend is a web application with regular web‐based interface 

z we are using specially configured Kismet installation on each board to passively capture WiFi beacons 

Why it works?

z Smartphones with enabled WiFi send periodically beacon frames to force nearby Access Points to “reveal themselves quicker”. 

z This way the user can get the list of WiFi networks much quicker. 

z In our experiment we were counting on these beacons being sent every now and then

z It should be stated – the method is not perfect – but it is good addition to other means of testing. 

Security

z The FST tracks MAC addresses; in order to keep high morale standard we have implemented special filtering – that means –we were saving presence only for MACs defined in our database

z The list is obtained by each board automatically from the server. In case of theft there is no data on the device itself

z Everything is sent over encrypted channel

Additional functions

z we had a mapping of MAC <‐> telephone number – therefore we could send “action SMSes” to participants (depending on their location)

z as a by product we discovered “privacy friendly phones” that heavily restrict their beacon sending :) 

WiDetect panel WiDetectz since the panel is “just a website” ‐ it could be operated from any place in the world

z it works out of the box with tablets and mobile phones (responsive design)

z SMS functionality, mapping etc. is realized via the WiDetect application itself

19‐06‐2015

7

Why can we do this

• Thanks to interdisciplinarity• The FoodScape Lab• The close2perfect knowledgetriangle• A few grants• And a little bit of coincidence

Acknowledgements

• Sune Boye Riis• Tine Hvidtfeld• Signe HagedornHenningsen

• Bent Egberg Mikkelsen

• FoodTura project• DVices4food project• Lynge School: students , parents & teachers

• Coop, Lynge• Reys Pizzeria• AAU FoodScape Lab