Piotr Migdał, ingeniero fundador de la empresa de analítica de IA Quesma, probó la fiabilidad de los principales modelos de IA para identificar setas. Pasó 1.040 fotos por 16 modelos, cubriendo 55 especies de conjuntos de datos de especies seguras y mortales, contrastadas con una biblioteca danesa. Cada modelo debía nombrar la especie más probable y cuatro alternativas por foto.

El mejor, Gemini-3.8-flash, acertó a la primera solo el 65 % de las veces y llegó al 85 % dentro de sus cinco opciones. Qwen3.8-27b se quedó en 13 % al primer intento y 24 % en cinco.

Los errores no eran aleatorios. Los modelos tomaron un cortinario mortal por un rebozuelo, exactamente la confusión que mata a recolectores humanos. La amanita phalloides fue considerada comestible el 16 % de las veces, el clitocybe engañoso el 48 %, la lepiota mortal el 31 %. Qwen3.8-27b declaró setas venenosas comestibles el 36 % de las veces, Qwen3.8-flash el 30 %. Muse-spark-1.2 de Meta tuvo la tasa de falsos positivos más baja, 8 %, sobre todo porque el modelo a menudo se negaba a responder.

Migdał, que come setas pero solo recolecta con personas de confianza, señala que una sola foto a menudo no basta ni para los expertos. Su conclusión es tajante: no comas una seta porque una IA dijo que era segura. El conjunto de datos del benchmark está en GitHub para quien quiera probar especies locales.