Google explique pourquoi AI Overviews n’a pas pu comprendre une blague et a dit aux utilisateurs de manger un caillou par jour – et promet que cela s’améliorera
Si vous avez suivi les derniers développements dans le domaine de l’IA générative, vous avez peut-être vu que Google a accéléré le déploiement de sa section « Aperçus de l’IA » dans la recherche Google dans tous les États-Unis.
Lors de Google I/O 2024, qui s’est tenu le 14 mai, Google a présenté avec confiance les aperçus de l’IA comme la prochaine grande nouveauté de la recherche qui devrait épater les utilisateurs, et lorsque la fonctionnalité a finalement commencé à être déployée la semaine suivante, elle a reçu une réponse moins qu’enthousiaste. Cela était principalement dû au fait que les aperçus d’IA renvoyaient des informations particulières et carrément erronées, et maintenant, Google a répondu en expliquant ce qui s’était passé et pourquoi les aperçus d’IA fonctionnaient comme ils l’ont fait (selon Google).
La fonctionnalité était destinée à apporter des réponses plus complexes et mieux verbalisées aux requêtes des utilisateurs, en synthétisant un ensemble d’informations pertinentes et en les distillant en quelques paragraphes pratiques. Ce résumé serait ensuite suivi des liens bleus répertoriés avec de brèves descriptions des sites Web auxquels nous sommes habitués.
Malheureusement pour Google, des captures d’écran des aperçus de l’IA fournissant des informations étranges, absurdes et carrément fausses ont commencé à circuler sur les réseaux sociaux peu de temps après le déploiement. Google a depuis supprimé cette fonctionnalité, et a publié un article explicatif sur son blog « Mot-clé » pour expliquer pourquoi AI Overviews faisait cela, comme mentionné – en soulignant rapidement que bon nombre de ces captures d’écran étaient truquées.
Ce que les aperçus de l’IA étaient censés être
Dans le billet de blog, Google explique d’abord que les aperçus de l’IA ont été conçus pour collecter et présenter des informations qu’il faudrait approfondir via plusieurs recherches pour découvrir autrement, et pour inclure de manière bien visible des liens vers le crédit d’où proviennent les informations, afin que vous puissiez suivre facilement le résumé.
Selon Google, il ne s’agit pas seulement de ses grands modèles de langage (LLM) qui rassemblent des réponses convaincantes basées sur des données de formation existantes. AI Overviews est alimenté par son propre modèle de langage personnalisé qui intègre les principaux systèmes de classement Web de Google, qui sont utilisés pour effectuer des recherches et intégrer des informations pertinentes et de haute qualité dans le résumé. La précision est l’une des pierres angulaires dont Google est fier en matière de recherche, note la société, affirmant qu’elle a créé des aperçus d’IA pour afficher des informations provenant uniquement des résultats Web qu’elle juge les meilleurs.
Cela signifie que les aperçus d’IA sont généralement censés halluciner moins que les autres produits LLM, et si les choses tournent mal, c’est probablement pour une raison à laquelle Google est également confronté en matière de recherche, donnant les problèmes possibles comme « une mauvaise interprétation des requêtes, une mauvaise interprétation d’un message ». nuance de langage sur le Web, ou ne pas avoir beaucoup d’informations intéressantes disponibles.
Que s’est-il réellement passé lors du déploiement ?
Google poursuit en déclarant que AI Overviews a été optimisé pour la précision et testé de manière approfondie avant son déploiement à plus grande échelle, mais malgré ces efforts de test apparemment robustes, Google admet que ce n’est pas la même chose que de demander à des millions de personnes d’essayer la fonctionnalité avec un flot de nouvelles recherches. . Il souligne également que certaines personnes essayaient d’inciter son moteur de recherche à produire des aperçus d’IA absurdes en effectuant des recherches ridicules.
Je trouve cette partie de l’explication de Google un peu étrange, car j’imagine que lors de la création d’une fonctionnalité telle que les aperçus de l’IA, l’entreprise apprécierait que les gens soient susceptibles d’essayer de la casser, ou de la faire dérailler d’une manière ou d’une autre, et qu’il devrait donc être conçu pour gérer les recherches stupides ou absurdes dans sa foulée.
Quoi qu’il en soit, Google continue en appelant de fausses captures d’écran de certains des aperçus absurdes et humoristiques de l’IA qui ont fait leur chemin sur le Web, ce qui est juste, je pense. Cela nous rappelle que nous ne devrions pas croire tout ce que nous voyons en ligne, bien sûr, même si les fausses captures d’écran semblaient plutôt belles si vous ne les scrutiez pas de trop près (et tout cela souligne de toute façon la nécessité de vérifier les fonctionnalités générées par l’IA).
Google admet cependant que les aperçus de l’IA ont parfois produit des réponses étranges, inexactes ou inutiles. Il développe en expliquant qu’il existe de multiples raisons pour lesquelles cela s’est produit et que tout cet épisode a mis en évidence des domaines spécifiques dans lesquels les aperçus de l’IA pourraient être améliorés.
L’entreprise technologique observe en outre que ces aperçus d’IA douteux apparaîtraient dans les recherches de requêtes qui n’étaient pas fréquentes. Un utilisateur de Threads, @crumbler, a publié une capture d’écran des aperçus de l’IA qui est devenu viral après avoir demandé à Google : « combien de pierres dois-je manger ? » Cela a renvoyé un aperçu de l’IA recommandant de manger au moins une petite pierre par jour. L’explication de Google est qu’avant la diffusion de cette capture d’écran en ligne, cette question avait rarement été posée dans les recherches (ce qui est certainement assez crédible).
Google continue d’expliquer qu’il n’y a pas non plus beaucoup de sources de qualité pour répondre sérieusement à cette question, qualifiant les cas où cela se produit de « vide de données » ou de « manque d’informations ». De plus, dans le cas de la requête ci-dessus, une partie du seul contenu disponible était de nature satirique et était sérieusement liée comme l’un des seuls sites Web à répondre à la requête.
D’autres aperçus absurdes et idiots de l’IA ont extrait des détails de sources de contenu sarcastiques ou humoristiques, ainsi que de messages de trolls sur des forums de discussion.
Les prochaines étapes de Google et l’avenir des aperçus de l’IA
En expliquant ce qu’il fait pour corriger et améliorer les aperçus de l’IA, ou toute partie de ses résultats de recherche, Google note qu’il ne parcourt pas les pages de résultats de recherche une par une. Au lieu de cela, l’entreprise essaie de mettre en œuvre des mises à jour qui affectent des ensembles entiers de requêtes, y compris d’éventuelles requêtes futures. Google affirme avoir été en mesure d’identifier des modèles lors de l’analyse des cas où les aperçus de l’IA se sont trompés et qu’il a mis en place tout un ensemble de nouvelles mesures pour continuer à améliorer la fonctionnalité.
Vous pouvez consulter la liste complète dans le post de Googlemais de meilleures capacités de détection des requêtes absurdes tentant de provoquer une étrange présentation de l’IA sont en cours de mise en œuvre, et le géant de la recherche cherche à limiter l’inclusion de contenu satirique ou humoristique.
Parallèlement aux nouvelles mesures visant à améliorer les aperçus de l’IA, Google déclare qu’il surveille les commentaires des utilisateurs et les rapports externes, et qu’il a pris des mesures concernant un petit nombre de résumés qui enfreignent les politiques de contenu de Google. Cela se produit assez rarement – dans moins d’une requête unique sur sept millions, selon Google – et le problème est en train d’être résolu.
La dernière raison invoquée par Google pour expliquer pourquoi les aperçus de l’IA sont effectués de cette manière est simplement l’ampleur des milliards de requêtes effectuées chaque jour dans la recherche. Je ne peux pas dire que je reproche à Google cela, et j’espère qu’il intensifiera les tests qu’il effectue sur les aperçus de l’IA, même si la fonctionnalité continue d’être développée.
Quant aux aperçus de l’IA qui ne comprennent pas le sarcasme, cela ressemble à une échappatoire au premier abord, mais le sarcasme et l’humour en général sont une nuance de la communication humaine que j’imagine difficile à expliquer. La comédie est une forme d’art à part entière, et cela va être un domaine très épineux et difficile à aborder. Je peux donc comprendre qu’il s’agit d’une entreprise majeure, mais si Google veut maintenir une réputation d’exactitude tout en proposant cette nouvelle fonctionnalité, c’est quelque chose qui devra être réglé.
Nous devrons simplement voir comment les aperçus de l’IA de Google fonctionneront lorsqu’ils seront réintroduits – et vous pouvez être sûr qu’il y aura beaucoup de gens qui regarderont attentivement (et lanceront des recherches encore plus ridicules dans le but d’obtenir cette capture d’écran virale).
