Preuve de concept: Réalité Augmentée pour Véhicules Électriques

La réalité augmentée permet d’enrichir le réel avec des éléments virtuels. Des informations en surimpression où des objets 3D viennent compléter le réel pour obtenir une version augmentée. Cette technologie a des applications dans des domaines très différents : jeux vidéos, visites de musées, processus industriels.

La communication entre les véhicules électriques et les bornes de recharge faisant partie des expertises de Trialog, nous allons chercher à appliquer la réalité augmentée au domaine de la mobilité électrique. Pour cela nous avons créé une preuve de concept pour faciliter l’utilisation des bornes à l’aide de la Réalité Augmentée: l’application AR4EV (Augmented Reality for Electric Vehicles).

Présentation de l’application

Différente de la pompe à essence, la borne de recharge est un nouvel outil essentiel pour l’utilisation d’un véhicule électrique. Avant d’acheter une voiture électrique, l’utilisateur, s’il n’est pas familier avec les nouvelles technologies, ne sait pas s’il est capable d’utiliser une borne.

Avec notre application AR4EV, l’utilisateur peut être guidé pendant ses utilisations des bornes de recharge. En quelques clics, l’application peut détecter la borne grâce à la réalité augmentée, et afficher les guides et les informations liées à cette borne. L’application est non seulement un manuel d’utilisation plus interactif mais aussi un support pour l’utilisateur en cas de problème. AR4EV peut générer un diagnostic des problèmes rencontrés, et permet d’avoir un retour pour améliorer l’expérience utilisateur des bornes de recharge.

Figure 1 : diagramme d’état de l’application

Cas Usages

Recharger la voiture

Il existe de nombreux types de bornes de recharge, qui peuvent être compliqués à manipuler.. Les utilisateurs peuvent se servir de notre application lors de leur première rencontre avec une nouvelle borne de recharge. Avec cette application, ils ont seulement besoin de viser la borne de recharge avec leur smartphone. L’application va la reconnaître et afficher les guides pour l’utiliser ainsi que les types de câbles utilisables.

Figure 2 : Premier cas d’usage : recharger sa voiture

Diagnostiquer la borne

Lorsqu’un utilisateur rencontre des problèmes avec une borne, il ne sait pas toujours ce que signifient les codes d’erreur, ni qui contacter. Avec notre application, l’utilisateur peut indiquer la marque et le code d’erreur sur l’écran, l’application va ensuite afficher les solutions possibles et proposer un contact avec les techniciens si l’erreur n’est pas répertoriée.

Figure 3 et 4 : Deuxième cas d’usage : envoyer un rapport de problème au technicien

Visualisation de la borne

Si l’utilisateur n’a jamais possédé de borne de recharge, cette application peut lui offrir une prévisualisation de la borne. L’utilisateur pourra ainsi savoir à quoi ressemble l’installation d’une borne chez soi, et être familiarisé avec l’utilisation de cette borne en avance.

Figure 5 : Visualisation d’une borne

Technologies utilisées

Cette application utilise plusieurs technologies. Nous avons donc utilisé différents outils pour la développer.

Figure 6 : Connexion entre les outils (outils utilisés en encadrés vert)

Scan 3D / Photogrammétrie

L’utilisation de la reconnaissance des bornes demande des modèles 3D de borne, que nous ne possédons pas. Il nous faut donc modéliser les bornes. La modélisation d’un objet peut être faite par un scanner 3D, qui peut donner plus de détails, mais qui coûte très cher.

Avec le développement des techniques de traitement d’image, nous avons aujourd’hui un autre choix, qui s’appelle la photogrammétrie. Cette méthode propose une solution pour modéliser un objet avec les photos de celui-ci. Il suffit de prendre des photos depuis différents angles de l’objet, et de les traiter par un logiciel, comme par exemple, Meshroom^[1], un logiciel open source de la photogrammétrie.

Figure 7 : Processus de la photogrammétrie^[2]

Après avoir obtenu le modèle initial, nous devons encore le traiter, car il n’est pas souvent utilisable directement après la photogrammétrie. La retopologie est faite par les logiciels PC, Blender^[3] et Catia^[4] par exemple. Nous avons utilisé Blender, qui est open source et très puissant^[5]. Il est capable de créer les animations linéaires ou non linéaires, et de composer les vidéos. Il peut traiter les éclairages par occlusion ambiante et radiosité. Il peut quand même simuler les fluides réalistes, la fumée et le feu. Par exemple, le film Spider-Man 2 et Captain America sont créés à l’aide de Blender, et NASA et Ubisoft ont choisi Blender pour leurs modèles 3D.

Figure 8 et 9 : Modèles de nos bornes

Réalité augmentée

La réalité augmentée (RA) est à la base de cette application. Elle sert à reconnaître les bornes de recharge, positionner les instructions et donner les navigations.
Il existe beaucoup d’APIs pour réaliser la RA, comme ARCore^[6] par Google, ARKit^[7] par Apple, et Vuforia^[8] par PTC. Parmi les APIs, ARCore et ARKit sont plutôt utilisées pour développer les jeux mobiles comme Pokémon GO, et Vuforia est souvent utilisé dans l’industrie. Nous avons donc choisi Vuforia pour notre application.

Figure 10 : APIs de réalité augmentée

Afin de faciliter le développement, nous avons décidé d’utiliser un moteur graphique. Il y a deux moteurs graphiques principaux dans le marché, Unity3D^[9] et Unreal Engine^[10]. Les deux sont similaires aux termes de fonctionnalités, ils peuvent créer des jeux vidéos, des applications ou des films. Mais Unreal Engine est plus lourd (la taille d’un projet vide est environ 2 Go) par sa grande capacité de traitement d’image, dont nous n’avons pas l’utilité. Nous utilisons donc Unity3D (projet vide 100 Mo).

Figure 11 : Moteurs graphiques

Conclusion

L’application AR4EV est un travail exploratoire dans le domaine de la réalité augmentée. Ici, nous présentons juste la première version de notre application. Plusieurs fonctionnalités ont été réalisées :

Visualisation de la borne de recharge
Reconnaissance de la borne de recharge
Processus du rechargement
Envoie du rapport d’erreur

Ce prototype a un fonctionnement satisfaisant, nous pouvons donc réfléchir à des applications dans d’autres domaines comme l’énergie ou la santé.

Dans le futur, les capacités de l’outil pourront être étendues. Par exemple, nous pourrons créer une version d’application spécifique pour les techniciens, afin qu’ils puissent avoir plus de détails sur une borne sur laquelle ils interviennent. Nous essaierons de plus d’appliquer les jumeaux numériques (en anglais, digital twin) dans notre application, qui nous permettent de nous connecter avec les bornes, et inspecter tous les statuts de cette borne.