Human Machine Interface HMI using Kinect sensor to control a SCARA

RobotCarlos Pillajo and Javier E. SierraUPS-ECUADOR /UPB-COLOMBIA

2

6th IEEE Colombian Conference on Communications and Computing

Introducción

Kinect es un dispositivo que permite iteración con el ser HumanoPrime Sense en Diciembre 2010 lanza el primer SDK para kinectMicrosoft desarrolla un SDK gratuito para Windows 7, actualmente se tiene SDK 1.7v

3

6th IEEE Colombian Conference on Communications and Computing

Motivación

4

6th IEEE Colombian Conference on Communications and Computing

Descripción del ProblemaPersonas con capacidades especiales no cuentan con las herramientas necesarias para integrarse a su entorno físico y social

5

6th IEEE Colombian Conference on Communications and Computing

Modelo a implementar

6

6th IEEE Colombian Conference on Communications and Computing

Metodología

Se planteó manipular el robot SCARA (Selective Compliance Assembly Robot Arm) en tiempo real a través del sensor kinectEl programa de adquisición de datos del esqueleto proporcionado por kinect se implementa en C#, el cual envía comandos por puerto USB a la controladora del SCARA

7

6th IEEE Colombian Conference on Communications and Computing

Características del sensor kinectCámara de Video RGBSensor de Profundidad o cámara IRArreglo de micrófonosUn acelerómetro de 3 ejesUna luz ledUn pequeño servo motor

8

6th IEEE Colombian Conference on Communications and Computing

Arquitectura del HMI

Sensor Kinect envía información que representa las acciones del operador las cuales en el PC las procesa y este a su vez envía comandos de control a la controladora del respectivo brazo robótico.

9

6th IEEE Colombian Conference on Communications and Computing

Cinemática del SCARA

Posición final del efector respecto a eje de referencia en la base del hombro del robot

10

6th IEEE Colombian Conference on Communications and Computing

Librerías Open NI para controlar el SCARA

Kinect utiliza OpenNIque es el marco multi-idioma, multi-plataforma en donde se define las API.OpenNI API se compone de un conjunto de interfaces para escribir aplicaciones NI

11

6th IEEE Colombian Conference on Communications and Computing

Diagrama de Flujo del Algoritmo para el control del SCARA

Programa realizado en C#, para el control a distancia de motores del brazo robótico SCARA

12

6th IEEE Colombian Conference on Communications and Computing

Resultados

Control Brazo con Servos Control del SCARA

13

6th IEEE Colombian Conference on Communications and Computing

ConclusionesSe realizó un sistema Hombre-Maquina el cual es controlado mediante sensor kinectutilizando librerias de Interface Natural en C#Se tiene mejor control con servomotores que con motores DC con encoders en lazo abiertoLos algoritmo propuesto utiliza métodos que funcionan para el control del hardware adaptándolo a según sea se necesidadSe debe realizar una buena calibración de los brazos robóticos, sobre todo el espacio de trabajo debe ajustarse a las acciones del operador.

14

6th IEEE Colombian Conference on Communications and Computing

Trabajos Futuros

Se puede añadir algoritmos de visión e inteligencia artificial utilizando el sensor kinectSe esta trabajando en el control de brazos semi-industriales MitsubitshiSe pretende manipular los brazos robóticos desde cualquier sitio web

Control Brazo Mitsubitshi

15

6th IEEE Colombian Conference on Communications and Computing

ReferenciasBibliografía

B. Wang, C. Yang, and Q. Xie, “Human-machine interfaces based on emg and kinect applied to teleoperation of a mobile humanoid robot,” in Intelligent Control and Automation (WCICA), 2012 10th World Congress on, july2012, pp. 3903 –3908.[2] K.-T. Song and S.-C. Tsai, “Vision-based adaptive grasping of a humanoid robot arm,” in Automation and Logistics (ICAL), 2012 IEEE International Conference on, aug. 2012, pp. 155 –160.[3] C. Matuszek, B. Mayton, R. Aimi, M. Deisenroth, L. Bo, R. Chu, M. Kung, L. Legrand, J. Smith, and D. Fox, “Gambit: An autonomous chess-playing robotic system,” in Robotics and Automation (ICRA), 2011 IEEE International Conference on, may 2011, pp. 4291 –4297.

ReconocimientosAl equipo de trabajo:MSc. Vinicio TapiaSr. Alejandro HernándezSr. Slim CastroSr. Fernando Jiménez

[4] A. Ramisa, G. Alenya, F. Moreno-Noguer, and C. Torras, “Using depth and appearance features for informed robot grasping of highly wrinkled clothes,” in Robotics and Automation (ICRA), 2012 IEEE International Conference on, may 2012, pp. 1703 –1708.[5] P. Rakprayoon, M. Ruchanurucks, and A. Coundoul, “Kinect-based obstacle detection for manipulator,” in SystemIntegration (SII), 2011 IEEE/SICE International Symposium on, dec. 2011, pp. 68 –73.[6] M. Nkomo and M. Collier, “A color-sorting scara robotic arm,” in Consumer Electronics, Communications and Networks (CECNet), 2012 2nd International Conference on, april 2012, pp. 763 –768.[7] T. Arici, “Introduction to programming with kinect: Understanding hand / arm / head motion and spoken commands,” in Signal Processing and Communications Applications Conference (SIU), 2012 20th, april 2012[8] C. M. S.Jaime, F.Andrew, “Real-time human pose recognition in parts from single depth images,” Junio 2011.[9] J. Koenemann and M. Bennewitz, “Whole-body imitation of human motions with a nao humanoid,” in Human-Robot Interaction (HRI), 2012 7th ACM/IEEE International Conference on, march 2012, p. 425.[12] F. i. Mahdi Salman Alshamasi, “Kinematic modeling and simulation of a scara robot by using solid dynamics and verification by matlab/simulink,” 2009.[13] Openni standar framework for 3d sensing. http://www.openni.org/.http://msdn.microsoft.com/en-us/library/hh855347.aspxhttp://perso.wanadoo.es/e/alimapp/scara/index.htm

16

6th IEEE Colombian Conference on Communications and Computing

GRACIAS POR SU ATENCIÓN