OpenAI donne à ChatGPT la capacité de parler et de comprendre des images et des voix

OpenAI continue sur sa lancée et améliore une fois encore ses produits à destination du grand public et des entreprises. ChatGPT connait une nouvelle mise à jour et saura désormais capable de converser, de parler, de comprendre des images et des voix. Un nouveau cap franchit par la start-up américaine OpenAI qui caracole loin devant ses concurrents dans un marché de l’intelligence artificielle toujours en évolution.

Discuter réellement avec ChatGPT

La start-up OpenAI nous habitue déjà à de nombreuses innovations liées à la technologie de l’intelligence artificielle. Précurseur dans le domaine, l’entreprise de Sam Altman ne cesse de chercher des améliorations à ses outils conversationnels et générateurs d’images. C’est ainsi que OpenAI a doté son outil phare ChatGPT de nouvelles fonctionnalités lui permettant de mieux communiquer verbalement et visuellement avec les utilisateurs.

Exit donc l’usage du clavier, les internautes pourront bientôt converser à l’oral avec ChatGPT. Avec l’intégration de DALL-E en octobre, ChatGPT sera aussi en mesure de traiter des demandes visuelles grâce à une nouvelle fonctionnalité de reconnaissance d’image. Une avancée majeure dans l’usage au quotidien de l’intelligence artificielle qui s’ouvre à un type d’interface beaucoup plus intuitif, comme le précise OpenAI dans un article de blog publié ce lundi 25 octobre 2023.

Les détails de cette nouvelle mise à jour de ChatGPT

L’outil conversationnel ChatGPT intègrera bientôt le système de reconnaissance vocale Whisper, lui permettant de comprendre et de recevoir oralement des instructions. Grâce à cette amélioration, il sera possible de demander à ChatGPT de raconter une histoire ou bien de discuter de différents sujets, comme le bâtiment, l’écologie ou l’art. ChatGPT pourra répondre vocalement, grâce notamment à un nouveau modèle de synthèse vocale « capable de générer un son de type humain, seulement à partir du texte ou de quelques secondes d’échantillons vocaux », explique la start-up OpenAI. Voici les étapes à suivre pour pouvoir converser avec ChatGPT depuis son smartphone/tablette et via l’application mobile ChatGPT :

  1. Rendez-vous dans le menu de ChatGPT
  2. Ouvrir les Paramètres
  3. Cliquer sur l’onglet «New Features »
  4. Activer l’option « Voice Conversations ».

Voilà pour le son, qu’en est-il de l’image ? ChatGPT peut désormais traiter et comprendre des images grâce aux modèles de langages multimodaux GPT-4 et GPT-3.5. Voici ce que l’on peut lire sur l’article publié par OpenAI : « Ces modèles multimodaux appliquent leurs capacités de raisonnement linguistique à un large éventail d’images, telles que des photographies, des captures d’écran et des documents contenant à la fois du texte et des images ». Accessible via l’application mobile ChatGPT, cette nouvelle fonctionnalité permettra aux utilisateurs d’affiner leurs recherches et leurs discussions avec l’outil conversationnel basé sur l’IA. Les parents auront donc la possibilité de faire appel à ChatGPT pour résoudre des problèmes mathématiques complexes en prenant en photo le sujet, ou en utilisant la capture d’écran du mobile (Android et iOS). Autres usages possibles, la reconnaissance d’image de ChatGPT vous permettra de « trouver la raison pour laquelle votre gril ne fonctionne pas, explorer le contenu de votre réfrigérateur pour planifier un repas ou analyser un graphique complexe ».

Cette nouvelle version sera uniquement disponible aux internautes ayant souscrit à l’offre payante ChatGPT Plus, mais aussi à l’offre ChatGPT Enterprise pour les professionnels et les entreprises.