En utilisant un cadre de vérification nouvellement développé, les chercheurs ont révélé des limitations de sécurité dans les systèmes autonomes open source pendant les mouvements à grande vitesse et les coupures soudaines, ce qui soulève des préoccupations pour les déploiements du monde réel.
Dans cette étude, le professeur adjoint de recherche Duong Dinh Tran du Japon Advanced Institute of Science and Technology (JAIST) et son équipe, dont le professeur agrégé Takashi Tomita et le professeur Toshiaki Aoki chez JAIST, ont décidé de mettre le système de conduite autonome à source ouverte, Autoware, grâce à un cadre de vérification rigoureux, révélant des limites potentielles de sécurité dans les situations de circulation critiques.
Pour vérifier en profondeur à quel point Autoware est sûr, les chercheurs ont construit un système de test virtuel spécial. Ce système, expliqué dans leur étude publié dans la revue Transactions IEEE sur la fiabilitéa agi comme un terrain d'essai numérique pour les voitures autonomes.
En utilisant une langue appelée Awsim-Script, ils pourraient créer des simulations de diverses situations de circulation délicat – des dangers du monde que les experts en matière de sécurité automobile ont identifié. Au cours de ces simulations, un outil appelé Runtime Monitor a tenu un enregistrement détaillé de tout ce qui s'est passé, un peu comme la boîte noire dans un avion.
Enfin, un autre programme de vérification, AW-Checker, a analysé ces enregistrements pour voir si Autoware a suivi les règles de la route, telles que définies par la norme de sécurité de la Japan Automobile Manufacturers Association (JAMA). Cette norme fournit un moyen clair et structuré d'évaluer la sécurité des systèmes de conduite autonomes (ADS).
Les chercheurs se sont concentrés sur trois scénarios particulièrement dangereux et fréquemment rencontrés définis par la norme de sécurité JAMA: la coupure (un véhicule se déplaçant brusquement dans la voie du véhicule de l'ego), la découpe (un véhicule à avancer soudainement des voies) et la décélération (un véhicule à suivre soudainement). Ils ont comparé les performances d'Autoware avec le «modèle de conducteur prudent» du JAMA, une référence représentant le niveau de sécurité minimum attendu pour les ADS.
Ces expériences ont révélé que Autoware ne répondait pas régulièrement aux exigences de sécurité minimales telles que définies par le modèle de conducteur prudent. Comme l'a expliqué le Dr Tran, « les expériences menées à l'aide de notre cadre ont montré que Autoware n'a pas pu éviter de manière cohérente les collisions, en particulier pendant la conduite à grande vitesse et les mouvements latéraux soudains par d'autres véhicules, par rapport à un modèle de conducteur compétent et prudent ».
Une raison importante de ces échecs semblait être des erreurs dans la façon dont Autoware a prédit le mouvement d'autres véhicules. Le système prévoyait souvent des changements de voie lents et progressifs. Cependant, face à des véhicules apportant des changements de voie rapide et agressifs (comme dans le scénario de coupure avec une vitesse latérale élevée), les prédictions d'Autoware étaient inexactes, conduisant à un freinage retardé et à des collisions ultérieures dans les simulations.
Fait intéressant, l'étude a également comparé l'efficacité de différentes configurations de capteurs pour les aisses automatiques. Une configuration n'a utilisé que le LiDAR, tandis que les autres données combinées à la fois du LiDAR et des caméras. Étonnamment, le mode lidar uniquement a généralement fonctionné mieux dans ces scénarios difficiles que le mode de fusion de caméra-lidar. Les chercheurs suggèrent que les inexactitudes dans la détection d'objets basée sur l'apprentissage automatique du système de caméra pourraient avoir introduit le bruit, ce qui a un impact négatif sur les performances de l'algorithme de fusion.
Ces résultats ont des implications importantes dans le monde réel, car certaines versions personnalisées de Autoware ont déjà été déployées sur des routes publiques pour fournir des services de conduite autonomes. «Notre étude souligne comment un cadre de vérification d'exécution peut évaluer efficacement les systèmes de conduite autonomes du monde réel comme Autoware.
« Cela aide les développeurs à identifier et à corriger les problèmes potentiels avant et après le déploiement du système, favorisant finalement le développement de solutions de conduite autonomes plus sûres et plus fiables à un usage public », a noté le Dr Tran.
Bien que cette étude apporte des informations précieuses sur les performances d'Autoware dans des troubles spécifiques de la circulation sur les routes non inférieures, les chercheurs prévoient d'étendre leur travail pour inclure des scénarios plus complexes, tels que ceux des intersections et impliquant des piétons. Ils visent également à étudier l'impact des facteurs environnementaux tels que les conditions météorologiques et routières dans les études futures.
