Mercedes-Benz annonce une nouvelle ère pour son interface utilisateur avec un assistant virtuel de type humain alimenté par l’IA générative

Stuttgart/Las Vegas. Au CES 2024, Mercedes-Benz présente une série de développements qui définissent sa vision de l’expérience utilisateur hyper-personnalisée du futur, dans la voiture et plus encore. La tête d’affiche est le nouvel assistant virtuel MBUX intégré. Il utilise des logiciels avancés et une IA générative pour créer une relation encore plus naturelle et intuitive avec la voiture, avec un support proactif qui facilite la vie. Ce développement révolutionnaire fait entrer l’assistant vocal « Hey Mercedes » dans une toute nouvelle dimension visuelle avec des graphismes haute résolution du moteur de jeu Unity. Fonctionnant sur le système d’exploitation Mercedes-Benz (MB.OS) développé en interne, son déploiement commence avec les véhicules basés sur la future plateforme MMA (Mercedes-Benz Modular Architecture). Le Concept CLA, qui célèbre sa première nord-américaine au CES 2024, est basé sur cette plateforme et offre également un aperçu de MB.OS.

« Grâce aux progrès de l’intelligence artificielle, la Mercedes-Benz de demain connaîtra son conducteur comme jamais auparavant. Elle améliorera et complétera la vie de nos clients, dans leurs voitures et dans d’autres domaines. Nous avons déjà fait de grands progrès dans cette voie. Les dernières preuves présentées au CES donnent un aperçu passionnant de ce qui nous attend.

Markus Schäfer, membre du Conseil d’Administration de Mercedes-Benz Group AG, Directeur de la Technologie

L’assistant virtuel MBUX facilite la vie grâce à une interaction naturelle et à une intelligence proactive

L’assistant virtuel MBUX qui définit sa classe et qui s’exécute sur MB.OS est l’interface la plus humaine dans une Mercedes-Benz à ce jour. En combinant les systèmes intelligents de MBUX en une seule entité, il présente un nouveau visage au client avec une interaction naturelle et empathique. L’assistant virtuel MBUX est une évolution du système présenté pour la première fois dans le VISION EQXX. Il utilise l’IA générative et l’intelligence proactive pour rendre la vie aussi facile, pratique et confortable que possible. Par exemple, il peut offrir des suggestions utiles basées sur le comportement appris et le contexte situationnel. Il peut s’agir, par exemple, de lire les dernières nouvelles le matin ou de lancer le programme de massage préféré à la fin de la journée de travail. Et si le conducteur est en retard à une réunion inscrite dans le calendrier, le système peut lui proposer de se connecter directement depuis la voiture. Si le conducteur le souhaite, ces processus peuvent également être automatisés. L’expérience peut être encore améliorée par l’intégration de l’éclairage d’ambiance et du système audio du véhicule. Par exemple, une lumière chaude et une musique douce peuvent accompagner un massage relaxant.

« L’expérience utilisateur Mercedes-Benz de demain sera hyper-personnalisée. Grâce à l’IA générative, notre assistant virtuel MBUX apporte plus de confiance et d’empathie à la relation entre la voiture et le conducteur. Grâce à notre MB.OS à l’architecture chip-to-cloud, nos futurs véhicules fourniront aux clients exactement ce dont ils ont besoin, quand ils en ont besoin.

Magnus Östberg, Directeur en ingénierie des logiciels, Mercedes-Benz AG

Quatre caractéristiques garantissent que l’assistant est toujours à l’écoute des besoins et des préférences des clients

L’assistant virtuel MBUX repose sur quatre « traits de personnalité » – naturel, prédictif, personnel et empathique – combinés pour créer un ensemble complet. Le principe est toujours le naturel, offrant une interaction transparente qui tire parti du meilleur des interfaces vocales et graphiques. Le client peut choisir de parler avec l’assistant avec ou sans utiliser le mot-clé « Hey Mercedes ». La parole tire parti des grands modèles de langage (LLM) pour un dialogue naturel en réponse à des requêtes et à des commandes. Cela ressemble plus à une conversation avec un ami. L’assistant répond à des questions basées sur des connaissances générales et peut également poser des questions intelligentes pour clarifier l’intention et tirer des conclusions. En étant prédictif, l’assistant peut également proposer des suggestions et des routines basées sur le contexte situationnel, le comportement et l’utilisation de l’IA générative. Dans le même temps, une voix plus émotionnelle qui peut exprimer différents styles de parole génère un sentiment d’empathie. Et pour s’assurer qu’il s’agit toujours d’un assistant très personnel, le conducteur peut l’adapter à ses préférences spécifiques via une gamme d’options dans un hub central.

Une communication visuelle plus intuitive et émotionnelle grâce à des graphismes 3D puissants

L’approche holistique associe un dialogue plus naturel à un retour visuel grâce à des graphismes 3D avancés du moteur de jeu Unity.  Dans le nouvel assistant virtuel MBUX, un avatar d’étoile « vivante » utilise des animations pour exprimer différentes humeurs et états d’être. Les émotions vont du calme à l’excitation et même à la sensibilité. D’autres animations indiquent si l’assistant parle, écoute, réfléchit, fait une suggestion ou donne un avertissement. Le mouvement, la luminosité, l’intensité et la couleur interagissent de manière transparente pour communiquer intuitivement avec le conducteur.

MBUX Surround Navigation associe l’assistance au guidage routier pour une expérience fluide

La communication visuelle intégrée entre également dans une nouvelle dimension avec MBUX Surround Navigation. Facilité par l’intégration du domaine de MB.OS, cette fonctionnalité avancée associe une vue réelle de l’environnement de la voiture à ses réactions en temps réel. Le conducteur bénéficie d’une meilleure connaissance de la situation en étant capable de « voir ce que la voiture voit ». L’intégration transparente des informations dans l’écran du conducteur à l’aide de graphismes 3D du moteur de jeu Unity offre une vue d’ensemble très intuitive. Il offre tout ce que le conducteur doit savoir en un seul coup d’œil. Par exemple, il indique le type de circulation, qu’il s’agisse d’une autre voiture, d’une camionnette, d’un camion ou même d’un cycliste. Il montre les piétons près du bord de la route et d’autres dangers potentiels. De plus, il superpose le guidage routier à une représentation réaliste de l’environnement, ce qui est particulièrement utile dans les environnements urbains très fréquentés. Le client peut clairement voir où exactement son prochain tournant le mènera. Les bâtiments et autres infrastructures sont faciles et rapides à reconnaître. Le système offre également une surveillance intégrée de l’état de la voiture, grâce à une visualisation en temps réel en réalité virtuelle. Cela inclut les clignotants, le faisceau des phares haut/bas et même l’accélération ou la décélération représentée par des roues qui tournent.

Plus de productivité, de divertissement et de commodité avec de nouvelles applications [ZA(1] et contenus tierces

Les mises à jour OTA (Over-the-Air) permettent aux clients d’accéder aux contenus et fonctionnalités les plus récents, adaptés à leurs souhaits et à leurs préférences régionales. La nouvelle Classe E, par exemple, offre déjà ces avantages : son domaine d’infodivertissement est un précurseur de la technologie MB.OS. À partir du 1er trimestre 2024, la productivité de la Classe E sera encore améliorée grâce à l’ajout de notre nouvelle application Meetings où nos clients pourront participer à des conférences TEAMS. Ceci, associé aux offres existantes avec Zoom et WebEx, couvre tous les leaders du marché de la visioconférence. La mise à jour complète comprend également l’ajout d’autres applications pour plus de confort au quotidien. Il s’agit notamment de Booking.com, getAbstract, JustEat Takeaway et plus encore. Dans le domaine du divertissement, il est prévu d’introduire le jeu rétro basé sur le cloud d’Antstream Arcade et d’autres expériences immersives. De plus, l’offre de streaming vidéo sera prochainement enrichie avec l’intégration de Sony RideVU. Les clients auront ainsi accès à un vaste catalogue de titres Sony de qualité supérieure. 

Hyper-personnalisation grâce à l’art numérique avec MBUX Collectibles et plus encore

MBUX Collectibles est la première application embarquée à présenter de l’art numérique et des objets de collection basés sur des NFT. Il permet la création d’une galerie d’art privée en connectant le portefeuille NFT personnel du client à l’interface utilisateur. Les utilisateurs peuvent également parcourir une exposition d’art numérique organisée par Mercedes-Benz. Les collections NFT de Mercedes-Benz NXT sont exposées au CES. La collection Mercedes-Benz NXT Icons Era 1 « Luxury » est la première d’une série de sept qui explorent le riche héritage du design Mercedes-Benz. Au CES, il y a aussi un premier aperçu de la « technologie Â» Era 2, qui sortira à la fin du mois de janvier. Et en hommage au CES de l’année dernière, les visiteurs peuvent profiter d’un premier aperçu du NFT Mercedes-Benz NXT Superdackel. Une édition limitée de 1000 NFT Superdackel par Mercedes-Benz NXT sortira à la mi-janvier.

Le Concept CLA met en valeur MB.OS comme base de la Mercedes-Benz hyper-personnalisée

Les premiers véhicules à rouler avec MB.OS seront la famille basée sur la prochaine plateforme MMA. Le Concept CLA, qui célèbre sa première nord-américaine au CES 2024, offre un aperçu proche de la production de la future gamme de quatre véhicules. Pour souligner le rôle central joué par MB.OS pour façonner l’expérience client, l’intérieur du show-car offre une visualisation saisissante de celle-ci. L’architecture complexe à multiples facettes est représentée par l’un de ses nombreux composants matériels, la puce haute performance refroidie à l’eau de son partenaire de collaboration NVIDIA. Le Superscreen MBUX à trois écrans fait allusion au rôle de la Mercedes-Benz du futur en tant qu’élément hyper-personnalisé de la vie numérique du client. MB.OS fournit la base pour y parvenir. Il comprend quatre domaines – Infodivertissement, Conduite automatisée, Carrosserie et confort, Conduite et recharge – et le module de connectivité lié au Mercedes-Benz Intelligent Cloud. L’architecture puce-vers-cloud assure une intégration profonde dans le véhicule et offre à Mercedes-Benz un contrôle total de tous les capteurs et actionneurs. De plus, en dissociant les cycles d’innovation logicielle et matérielle, l’entreprise peut s’assurer que ses véhicules sont constamment à jour.