Work Package 1

Application smartphone

Conception d'une application smartphone A1 pour détecter l'hyperthermie et analyser les variations thermiques de la surface du pied plantaire au cours du temps.

Précédents travaux de notre groupe : Un groupe de recherche international (l'Université d'Orléans ainsi que l'hôpital d'Orléans, l'université PUCP à Lima, l'hôpital Dos de Mayo (HNDM) à Lima, et la Pontificia Universidad Javeriana de Bogota) ont proposé un système basée sur des images thermiques pour détecter l'hyperthermie du pied plantaire du DF. Il a été évalué cliniquement en 2013 à HNDM.

Le protocole était à peu près comme suit. Il faut donner suffisamment de temps au patient pour qu'il équilibre la température de son pied avec les conditions ambiantes : une période minimum de 15 minutes devrait être observée. Une infirmière expérimentée prenait soin du patient. La caméra Flir i5 a été choisie car c'était un bon compromis entre performances et prix (Illustration 1.A).

Une protection plastique d'environ 1 mètre carré et 10 cm d'épaisseur a été utilisée pour assurer un fond homogène à l'image thermique : 2 trous ont été faits dans la protection plastique pour laisser passer les pieds du patient. La caméra était placée sur un trépied. Ce protocole permet d'obtenir une image d'une bonne qualité de la surface du pied plantaire. (Illustration 1.B).

Flir i5 thermal camera picture
Illustration 1.A : Caméra thermique Flir i5.
Thermal image of the plantar foot
Illustration 1.B : Image thermique de la surface du pied plantaire en utilisant le protocole décrit.
Segmented feet picture
Illustration 1.C : Pieds segmentés (lignes rouges). Le pied gauche est retourné verticalement.

Nous avons développé un procédé de traitement automatique d'images (aucune intervention manuelle de l'utilisateur n'est requise) pour signaler une possible hyperthermie. La segmentation, c'est-à-dire trouver les contours des deux pieds, est menée en utilisant le modèle de contour actif de Chan et Vese [CHA-01]. Les résultats sont présentés dans l'Illustration 1.C. Les deux dernières images sont recalées en utilisant la méthode de recalage rigide ICP [BES-92] (Illustration 2.A). La différence absolue d'un point à l'autre entre les images du pied droit et du pied gauche est calculée et les résultats sont illustrés dans l'Illustration 2.B. Si la différence est supérieure à 2,2°C, il y a de l'hyperthermie ce qui est le cas sur l'image présentée Illustration 2.C. Sinon, il n'y a pas d'hyperthermie.

Registration picture
Illustration 2.A : Recalage.
Difference image between the 2 feet.
Illustration 2.B : Image de différence point par point entre les 2 pieds.
Final contour and hyperthermia picture
Illustration 2.C : contour final et hyperthermie (en couleur rouge).

C'est une nouvelle approche dans le domaine des analyses thermiques DF puisqu'il s'agit de la première fois à notre connaissance que l'hyperthermie du pied peut être détectée d'un façon si efficace en utilisant une caméra thermique et un logiciel complètement automatisé. Une étude clinique transversale a été conduite sur une population de 85 patients DF. 9 images sur 85 montrent de l'hyperthermie. Ce travail a été publié lors de la conférence IEEE EMBC en 2014 à Chicago [VIL-14], à la conférence WC2015 à Toronto [VIL-15] et à EMBC à Orlando 2016 [KOC-16].


Approche du projet STANDUP : Lors du projet STANDUP, nous avons l'intention d'aller plus loin et de proposer une technologie efficace et simple d'utilisation basée sur les smartphones pour détecter l'hyperthermie du pied et de créer un nouvel outil avancé afin de mieux prévenir l'ulcère DF.

Le protocole d'acquisition sera simplifié afin de pouvoir atteindre un grand nombre d'utilisateurs. Premièrement, la protection plastique qui assure un fond homogène n'est simple d'utilisation ni pour le personnel médical ni pour le patient. Il ne sera plus utilisé. Deuxièmement, l'image thermique sera prise en ayant les mains libres puisqu'un système utilsant les smartphones sera envisagé. Avec ce protocole d'acquisition simplifié, l'image obtenue souffrira de petites variations géométriques d'une image à l'autre, et sera très bruyante (le bruit étant tous les autres points chauds qui n'appartiennent pas à la région du pied plantaire) comme montrée au milieu de l'Illustration 3.B. Elle peut être comparée à l'image d'utilisation de l'ancien protocole avec la protection plastique (Partie gauche de l'Illustration 3.A).

thermal foot analysis
Illustration 3.A : Image thermique en utilisant l'ancien protocole.
thermal foot analysis
Illustration 3.B : Image thermique bruyante lorsque l'on utilise le nouveau protocole simplifié.
thermal foot analysis
Illustration 3.C : Résultats d'une segmentation préliminaire : la ligne verte représente ground truth, la ligne bleue la méthode snake, la ligne rouge la méthode snake&+atlas

De légères distortions géométriques auront un impact négligeable sur la segmentation. En revanche, la segmentation automatique de ce genre d'images bruyantes est un problème difficile car les statistiques du bruit sont similaires de celles de la surface du pied plantaire. Dans certaines parties de l'images, le bruit et la région du pied plantaire sont voisins. Les premières tentatives montrent que toutes méthodes aveugles classiques échouent à segmenter ce genre d'image. L'approche proposée devra connaître au préalable la forme du pied plantaire. Un atlas du pied plantaire sera développé pour cela. Utiliser une information préalable n'est pas nouveau dans le domaine de l'imagerie médicale [SHA-11].

Cet atlas sera associé à la méthode Snake de Kass et Thersopoulos [KAS-88] car il s'agit d'une méthode efficace. De plus, elle produit un seul contour ce qui est nécessaire dans le cas présent. Un snake est un contour paramétrique qui se déforme sur une série d'itérations pour atteindre le contour visé. Le niveau de nouveauté dans le projet STANDUP sera d'associer les snakes et les atlas qui aideront les snakes à atteindre les contours visés lors de la déformation du snake. Des résultats prometteurs de segmentations récentes sont montrés dans la partie droite de la figure 3.C. La nouvelle méthode (ligne rouge) est très proche du ground truth (ligne verte) alors que le classique Chan et Vese (ligne bleue) manque de segmenter correctement l'image. Nous profiterons aussi des images hyperspectrales (thermique et couleur) en tant qu'images thermiques et une image couleur sont disponibles comme expliqué plus tard dans ce WP. Toutes les informations contenues dans le domaine hyperspectral sera intéressant afin de développer un algorithme de segmentation automatique et robuste pour les images bruyantes de pied plantaire thermiques.

Une fois le pied segmenté, l'hyperthermie comme expliqué précédemment dans la section "Précédents travaux de notre groupe" pourra être évaluée, c'est-à-dire détecter point par point des différences supérieures à 2,2°C. Nous avons l'intention d'aller plus loin lors du projet STANDUP et de développer un nouvel outil avancé et totalement innovant dans le domaine. Utilisant la segmentation automatique de la surface du pied plantaire comme décrite ci-dessus, un test de stress au froid [BAL-12] sera associé à une analyse régionale lors d'une analyse avancée DF. Concernant le test de résistance au froid, une image thermique est d'abord prise comme référence après que le patient se soit habitué pendant 15 minutes. Les pieds sont immergés, protégés avec du plastique fin, pendant 60 secondes, dans de l'eau froide à 15°C. Après 10 minutes, une nouvelle image plantaire thermique est enregistrée. La température plantaire sera comparée entre les deux images thermiques (l'image de référence et l'image prise 10 minutes après le test de résistance au froid).

Une différence de température supérieure à 0,4°C est considérée anormale [BAL-12]. Nous introduirons dans le projet STANDUP une nouvelle stratégie pour organiser de façon intelligente l'information présente dans les images thermiques du pied plantaire, à savoir en utilisant différentes zones d'intérêts (ROI) adaptées à des buts spécifiques. 3 types de ROI du pied plantaires seront considérés : (i) Le premier type de ROI sont les zones angiosomes [NAG-11] (Illustration 4.A). Il définit le ROI de la surface du pied plantaire irrigué par diverses bactéries. Il est possible de segmenter l'image du pied en plusieurs ROI correspondant aux angiosomes du pied. Des variations thermiques lors du test de résistance au froid dans ces zones spécifiques peuvent apporter de précieuses informations à propos de l'ischémie. (ii) Un autre type de ROI peut être considéré. L'organisation nerveuses sera aussi intéressante [BAL-12] (Illustration 4.B). Une segmentation adaptée peut détecter des zones ayant des problèmes de thermo-régulation possiblement lié à la neuropathie. Cette approche se basant sur l'organisation des nerfs pour détecter une neuropathie est une nouvelle contribution dans le domaine des analyses DF. (iii) Un troisième type de ROI peut être défini. Il correspond aux zones physiologiques étroitement liées à des tensions mécaniques lors de la marche ou de la course par exemple [SUN-06] (Illustration 4.C). Il est possible de mesurer des variations thermiques dans ces zones. Cela sera utilisé pour étudier les relations entre les tensions mécaniques et les variations thermiques.

foot diagram
Illustration 4.A : L'angiosome de la surface du pied plantaire gauche. MPA: medial plantar artery, LPA: lateral plantar artery, MCA: medial calcaneal artery, LCA: lateral calcaneal artery.
foot surface diagram
Illustration 4.B : L'organisation nerveuse de la surface du pied plantaire par rapport aux différents nerfs.
thermal foot analysis
Illustration 4.C : Zones physiologiques de la surface du pied plantaire.

Le test de résistance au froid associé à l'analyse thermique intelligente basée sur le ROI donnera lieu à une analyse DF avancée, c'est-à-dire une nouvelle méthode permettant de diagnostiquer à la fois l'ischémie et la neuropathie du pied et d'accéder aux régions de stress thermique liées à la mécanique. Récemment (2015), la société Flir a développé une nouvelle caméra thermique (FlirOne). Elle permet à un smartphone de prendre une photo thermique et une photo couleur en même temps et à la même position [FLI-16]. L'utilisation d'un système basé sur un smartphone avec la caméra thermique FlirOne a pour résultat que l'analyse décrite ci-dessus peut être réalisée par le smartphone.

L'analyse sera très conviviale, c'est-à-dire mobile, instantanée, facile à partager et bon marché. En effet, le coût de la caméra FlirOne est très bas, 280 euros aujourd'hui (2017). Il est très probable que cet appareil sera beaucoup moins cher dans un proche avenir. La caméra FlirOne et un smartphone moderne seront les systèmes choisis dans le projet STANDUP pour acquérir, traiter et partager les données. Cependant, nous devons nous assurer que les caractéristiques de la caméra thermique FlirOne et les spécifications techniques des smartphones modernes sont compatibles avec les applications ciblées de STANDUP.

thermal camera for smartphone flirone
La caméra thermique FlirOne et l'iPhone 7 associé en un seul système.

Les principales exigences de la caméra thermique sont les suivantes. Résolution : la longueur du pied dans la dimension verticale que nous considérons est de 30 cm. Le champ de vision sera de 40 cm : 30 cm pour le pied plus une marge de 10 cm. Dans le sens horizontal, 40 cm est suffisant pour contenir les deux pieds de largeur, y compris une marge. Le champ de vision est donc de 40×40 cm2. Les plus petites zones que nous considérons sont de 1 cm pour une petite zone d'hyperthermie. Le nombre de points de mesure de la caméra doit être suffisant pour détecter ces zones. Selon le premier théorème de Shannon et la valeur utilisée dans le traitement de l'image d'un point de vue pratique, 2 pixels dans chaque direction sont nécessaires pour voir ce petit motif. Cela signifie que toute caméra de plus de 80×80 pixels est appropriée. Sensibilité : les gradients thermiques que nous voulons détecter sont de 0,4°C pour le test de stress thermique, et de 2,2°C si l'on considère la détection de l'hyperthermie. Ainsi, une sensibilité de 0,13°C est suffisante pour que la caméra détecte ces variations possibles qui sont d'intérêt. Gamme spectrale : la température moyenne de la peau d'une personne en bonne santé dans des conditions normales est de 32°C. Selon la loi de Wien, il est lié à une longueur d'onde maximale de 9,5 µm.


thermal camera flirone
Caméra thermique FlirOne.

Les spécifications techniques de la caméra thermique FlirOne sont :

La caméra thermique FlirOne est adaptée pour les objectifs spécifiques du projet STANDUP.

Aujourd'hui, les ordinateurs portables peuvent gérer l'application A1 que nous avons l'intention de développer (les résultats de l'Illustration 3 côté droit C ont été obtenus sur un ordinateur portable). Ils ont en moyenne des processeurs 64-bit octa-core, 4 Go de RAM, et la fréquence d'horloge est autour de 2,3 GHz. Les spécifications des smartphones d'aujourd'hui sont les suivantes : Samsung Galaxy S8 : Processeur Samsung Exynos 8895, Nombre de cœurs : 8, Fréquences : 2,3 / 1,7 GHz, 4 Go de RAM ; iPhone 8 : Processeur Apple A11, Nombre de cœurs : 4 + GPU Fréquence : 2,5 GHz, 3 Go de RAM. Il démontre clairement qu'aujourd'hui, les smartphones peuvent gérer nos applications ciblées à haut traitement.

Le travail à effectuer dans le STANDUP WP21 est le suivant. L'application A1 décrite ci-dessus sera d'abord développée en langage C++ sur des ordinateurs portables. Il sera réalisé à l'Université d'Orléans par un doctorant qui a commencé sa thèse de doctorat en octobre 2016 sous la supervision de chercheurs expérimentés de l'Université. Dans un second temps, ces outils seront écrits en Java pour Android et iOS. Le temps de réponse du logiciel doit être inférieur à dix secondes.

Le niveau de nouveauté introduit dans ce workpackage est élevé (protocole d'acquisition convivial, segmentation automatique qui associe snakes&+atlas, analyse multispectrale, 3 analyses régionales différentes, test de résistance au froid, application basée sur smartphone pour une utilisation facile et un partage de données facile). C'est une percée majeure dans le domaine de l'analyse DF, surtout si on la compare à d'autres stratégies utilisant des protocoles d'acquisition complexes et des systèmes d'analyse non conviviaux [ARM-07][VAN-15].

Feet thermal picture example 1.
Exemple d'image thermique des pieds 1.
Feet thermal picture example 1.
Exemple d'image thermique des pieds 2.
Retour