Piotr Migdał, ingénieur fondateur chez Quesma, une société d'analyse d'IA, a testé la fiabilité des grands modèles d'IA pour identifier les champignons. Il a soumis 1 040 photos à 16 modèles, couvrant 55 espèces issues de jeux de données d'espèces comestibles et mortelles, recoupées avec une bibliothèque danoise. Chaque modèle devait nommer l'espèce la plus probable et quatre alternatives par photo.

Le meilleur, Gemini-3.8-flash, n'a eu raison du premier coup que dans 65 % des cas et atteignait 85 % dans ses cinq propositions. Qwen3.8-27b plafonnait à 13 % au premier essai et 24 % sur cinq.

Les erreurs n'étaient pas aléatoires. Des modèles ont pris un cortinaire mortel pour une girolle, exactement la confusion qui tue des cueilleurs humains. L'amanite phalloïde a été jugée comestible dans 16 % des cas, le clitocybe trompeur dans 48 %, la lépiote mortelle dans 31 %. Qwen3.8-27b a déclaré des champignons toxiques comestibles dans 36 % des cas, Qwen3.8-flash dans 30 %. Muse-spark-1.2 de Meta affichait le taux de faux positifs le plus bas, 8 %, surtout parce que le modèle refusait souvent de répondre.

Migdał, qui aime manger des champignons mais ne cueille qu'avec des personnes de confiance, rappelle qu'une seule photo ne suffit souvent pas, même pour un expert. Sa conclusion est sans appel : ne mangez pas un champignon parce qu'une IA l'a déclaré sûr. Le jeu de données du benchmark est disponible sur GitHub pour tester les espèces locales.