Il donne vie à ChatGPT grâce à son iPhone

Un développeur vient de réaliser une expérience pour le moins originale en « donnant des yeux » à ChatGPT.

Publié le

5 mai 2023 à 08:50

Par

Jean-Yves Alric 𝕏

Et si l’iPhone permettait de donner donner vie à ChatGPT ? C’est le pari fou que vient de tenter le développeur Mckay Wrigley qui a présenté son expérience sur Twitter. Concrètement, l’homme s’est servi du modèle de langage GPT-4 et a transformé son iPhone en un assistant personnel doté de la vision.

I used my iPhone to give GPT-4 eyes.

My AI vision assistant:
– learned what a Keto diet is
– identified Keto foods in my fridge
– searched the internet
– found a recipe with the ingredients

The future is here! pic.twitter.com/bOMhJfWRP0

— Mckay Wrigley (@mckaywrigley) May 2, 2023

Dans le détail, il a utilisé le logiciel YoloV8 pour détecter les objets de son environnement, et recourt à l’outil d’OpenAI Whisper pour la voix. Il ajoute à cela Google pour la partie recherche, et le langage Python. En bricolant tous ces éléments, il affirme avoir créé l’assistant personnel du futur.

Le futur de l’IA

Dès lors, GPT-4 peut observer autour de lui, et il est notamment en mesure de visualiser les aliments dans un réfrigérateur et de proposer une recette à partir de ces éléments. À noter que le développeur utilise un Mac pour faire fonctionner son appareil car l’iPhone n’est pas en capacité d’exécuter ce modèle de vision.

Du reste, comme le rappellent nos confrères d’iMore, cela pourrait donner des idées à Apple qui s’apprête à présenter son nouveau casque de réalité mixte lors de la prochaine WWDC en juin prochain.

De notre côté, cela nous rappelle la récente présentation de la startup Humane lors d’une conférence TED. Leur nouveau produit est un moyen d’utiliser les nouvelles technologies d’IA dans la vie quotidienne, comme l’a expliqué l’ancien salarié d’Apple, Imran Chaudhri.

« Il s’agit d’un nouveau type d’appareil portable, d’une plateforme entièrement conçue pour l’intelligence artificielle. Et il est complètement autonome. Vous n’avez pas besoin d’un smartphone ou d’un autre appareil pour l’utiliser », souligne-t-il.