Supervisore Co-Supervisore

Corso di Laurea Magistrale in Ingegneria Biomedica

25 luglio 2018

Intraoperative Safety Constraints Definition Systemfor Robotic Minimally Invasive Surgery

Luca Vantadori

Prof. Elena De Momi Dr. Thibaud Chupin

Anno Accademico 2017-18

Elena De Momi, DEIB

Background Clinico: Chirurgia Robotica Assistita

Luca Vantadori 1

Introduzione

LA CHIRURGIA ROBOTICA ASSISTITA STARAPIDAMENTE DIVENTANDO LA PRINCIPALEOPZIONE DI INTERVENTO PER MOLTEPROCEDURE CHIRURGICHE

Elena De Momi, DEIB

Background Clinico: Chirurgia Robotica Assistita

Luca Vantadori 2

Introduzione

Tele-chirurgia

Movimenti intuitivi

Maggiore destrezza

Ridimensionamento del movimento

Filtraggio del tremore

Visione avanzata

Visione 3D

Ergonomia migliorata

Elena De Momi, DEIB

Background Clinico: Chirurgia Robotica Assistita

Luca Vantadori 3

Introduzione

Cicatrici più piccole

Ospedalizzazione ridotta

Minori effetti collaterali

Recupero più veloce

Dolore minore

No auto trasfusione

Minore perdita di sangue

Ritorno rapido alle attività

Elena De Momi, DEIB

Background Clinico: Chirurgia Robotica Assistita

Luca Vantadori 4

Introduzione

PRINCIPALE SVANTAGGIO:

ASSENZA DI FEEDBACK TATTILE

x

VENE ARTERIE NERVI

POSSIBILE DANNO ACCIDENTALE ALLE STRUTTURE ANATOMICHE PIÙ CRITICHE

Elena De Momi, DEIB

Un Nuovo Sistema Intraoperativo

Luca Vantadori 5

Metodi

STEP 1 STEP 2 STEP 3

DISEGNO DELL’ AREA DI SICUREZZA

RICOSTRUZIONE DELLA SUPERFICIE

IMPLEMENTAZIONE DEI VINCOLI DI SICUREZZA

Elena De Momi, DEIB

Vincoli di Sicurezza

Luca Vantadori 6

Metodi

Modellizzazione dei vincoli per mezzo di una molla elastica tra lo strumentorobotico e la superficie del volume di sicurezza

𝒇 = 𝑘𝑝(𝒑𝑑 − 𝒑𝑐) + 𝑘𝑑( ሶ𝒑𝑑 − ሶ𝒑𝑐)

𝒇: forza generata𝑘𝑝, 𝑘𝑑: guadagno proporzionale e guadagno derivativo

𝒑𝑑, 𝒑𝑐 : posizione desiderata e posizione corrente dello strumento robotico

REGIONALI

REPULSIVI

Elena De Momi, DEIB

Il Sistema Chirurgico da Vinci

Luca Vantadori 7

Metodi

SISTEMA DI VISIONE INSITE

CONSOLE CHIRURGICA

CARRELLO DI VISIONE

CARRELLO LATO-PAZIENTE

Elena De Momi, DEIB

ATAR: Assisted Teleoperation with Augmented Reality

Luca Vantadori 8

Metodi

N.Enayati et al, Robotic Assistance-as-Needed for Enhanced Visuomotor Learning in Surgical Robotics Training: An Experimental Study, International Conference on Robotics and Automation, 2018.

PCLPoint Cloud Library

VTKThe Visualization Toolkit

ROSRobot Operating System

Elena De Momi, DEIB

Flusso Operativo del Sistema

Luca Vantadori 9

Metodi

DISEGNO DELL’ AREA DI

SICUREZZA

SELEZIONE DELLA POINT

CLOUD

RICOSTRUZIONE DELLA

SUPERFICIE

IDENTIFICAZIONE DEL PUNTO PIÙ

VICINO

ATTIVAZIONE DEI VINCOLI DI SICUREZZA

CURSORE POINT CLOUD TOOL ROBOTICO

FEEDBACK DI FORZA

MASTER CONTROLLER

Elena De Momi, DEIB

Area di Sicurezza

Luca Vantadori 10

Metodi

Implementazione di un cursore comandabile tramite i joystick della console e visualizzato in realtà aumentata

Piano del cursore

Camera

Point cloud

Cursore

Elena De Momi, DEIB

Selezione della Point Cloud

Luca Vantadori 11

Metodi

Proiezione della point cloud sul piano dell’area di sicurezza e identificazione dei punti all’interno di essa

Piano del cursore

Camera

Point cloud

Cursore

Area di sicurezza

Piano del cursore

Punto di vista

Point cloud proiettata

Scena 3D

Elena De Momi, DEIB

Selezione della Point Cloud

Luca Vantadori 12

Metodi

Teorema della curva di Jordan

LANCIA UN SEMI-RAGGIO INFINITO

DAL PUNTO E VALUTA IL NUMERO DI

INTERSEZIONI N CON IL POLIGONO

Se N è pari il punto è esterno al poligono

Se N è dispari il punto è interno al poligono

R. Courant and H. Robbins, What is Mathematics? An Elementary Approach to Ideas and Methods, Oxford University Press, 1996.

Elena De Momi, DEIB

Ricostruzione della Superficie

Luca Vantadori 13

Metodi

RICOSTRUZIONE DELLA SUPERFICIE COLORANDO I PUNTI

DISEGNO DELL’ AREA DI

SICUREZZA

COLORAZIONE DEI PUNTI

SELEZIONATI

Elena De Momi, DEIB

Identificazione del Punto più Vicino

Luca Vantadori 14

Metodi

Strumento robotico Superficie

𝒒

𝐷

𝑁𝑁(𝒒, 𝐷)

Sia 𝐷 un set di 𝑁 punti sulla superficie con 𝒙 ∈ 𝐷 e sia 𝒒 lapunta dello strumento robotico.Trova il punto 𝒙 più vicino a 𝒒, ovvero

𝑁𝑁 𝒒,𝐷 = arg min𝒙∈𝐷

| 𝒒 − 𝒙 |

SUDDIVISIONE IN CELLE DI VORONOI

SUDDIVISIONE IN OTTANTI

Elena De Momi, DEIB

Simulazione Virtuale

Luca Vantadori 15

Esperimenti

SIMULAZIONE VIRTUALE DI UNA PROCEDURA DI

NEFRECTOMIA PARZIALEARTERIE RENALI

ARTERIE RENALI

CURSORE

TUMORE RENALE

RENE

Elena De Momi, DEIB

Simulazione Virtuale

Luca Vantadori 16

Esperimenti

TRACCIAMENTO DELL’ AREA DI

SICUREZZA

RICOSTRUZIONE DELLA SUPERFICIE

RIMOZIONE DEL TUMORE

Elena De Momi, DEIB

Protocollo di Acquisizione

Luca Vantadori 17

Esperimenti

10 CANDIDATI SENZA ESPERIENZA NELLA TELEOPERAZIONE ROBOTICA

PROVA SENZA ASSISTENZA

PROVA CON ASSISTENZA

𝒇 = 𝑘𝑝(𝒑𝑑 − 𝒑𝑐) + 𝑘𝑑( ሶ𝒑𝑑 − ሶ𝒑𝑐)

𝒌𝑝 𝒌𝑑 𝒇𝑚𝑎𝑥

1000 𝑁

𝑚10 𝑁𝑠

𝑚4 𝑁

3 RIPETIZIONI PER PROVA

Elena De Momi, DEIB

Protocollo di Acquisizione

Luca Vantadori 18

Esperimenti

METRICHE DI PERFORMANCE

NUMERO DI COLLISIONI CON LE ARTERIE RENALI

DURATA TOTALE DELLE COLLISIONI CON LE ARTERIE RENALI

PERCENTUALE DI TESSUTO SANO RIMOSSO OLTRE AL TUMORE

𝑇 =

𝑖

𝑇𝑖

%=(𝐴𝑠−𝐴𝑡)

𝐴𝑡

𝐴𝑡: superficie del tumore𝐴𝑠: superficie di tessuto rimosso

𝐴𝑠

𝐴𝑡

Elena De Momi, DEIB

Risultati

Luca Vantadori 19

Esperimenti

NUMERO DI COLLISIONI CON LE ARTERIE RENALI

PROVA LIBERA

PROVA ASSISTITA

P-VALUE

MEDIANA 1.75 0.5 < 0.001

NUMERO DI COLLISIONI

↓

Elena De Momi, DEIB

Risultati

Luca Vantadori 20

Esperimenti

DURATA TOTALE DELLE COLLISIONI CON LE ARTERIE RENALI

PROVA LIBERA

PROVA ASSISTITA

P-VALUE

MEDIANA 4.2015 0.7835 0.0013

DURATA DELLE COLLISIONI

↓

Elena De Momi, DEIB

Risultati

Luca Vantadori 21

Esperimenti

PERCENTUALE DI TESSUTO SANO RIMOSSO OLTRE AL TUMORE

PROVA LIBERA

PROVA ASSISTITA

P-VALUE

MEDIANA 29.09 20.25 < 0.001

PERCENTUALE DI TESSUTO SANO

RIMOSSO

↓

Elena De Momi, DEIB

Risultati

Luca Vantadori 22

Esperimenti

TEMPI DI RIMOZIONE DEL TUMORE

PROVA LIBERA PROVA ASSISTITA P-VALUE

TEMPO MEDIO 40.7951 32.6393 < 0.001

Elena De Momi, DEIB

Conclusioni

Luca Vantadori 23

RISULTATI

I vincoli di sicurezza hanno migliorato l’esecuzione della prova e diminuito lavariabilità delle metriche di performance registrate.

LAVORI FUTURI

STUDIO SU UN CAMPIONE PIÙ NUMEROSO

STUDIO SU UN CAMPIONE ESPERTO NELLA TELEOPERAZIONE ROBOTICA

ESPERIMENTO IN REALTÀ AUMENTATA

CONFRONTO TRA DIVERSI TIPI DI VINCOLI

Elena De Momi, DEIB

SMARTsurg

Luca Vantadori 24

Progetto SMARTsurg (SMart weArable Robotic Teleoperatedsurgery):• attualmente sotto sviluppo da un team europeo di clinici,

accademici e partner industriali• finanziato da «European Union’s Horizon 2020 research and

innovation programme»• sistema avanzato per la chirurgia robotica mininvasiva che

include guanti esoscheletrici indossabili con feedback tattile eocchiali per la visualizzazione della realtà aumentata

[Luca Vantadori et al, Intraoperative Safety ConstraintsDefinition and Enforcement System for Robotic MinimallyInvasive Surgery, CRAS: Joint Workshop on NewTechnologies for Computer/Robot Assisted Surgery, 2018.]

Elena De Momi, DEIBLuca Vantadori

Grazie a tutti dell’attenzione