¿Por qué un modelo de IA se inventa una respuesta?
Porque el sistema con el que se entrena y se evalúa premia adivinar. Es la conclusión de Why Language Models Hallucinate, un trabajo de Adam Tauman Kalai, Ofir Nachum y Edwin Zhang (OpenAI) junto a Santosh S. Vempala (Georgia Tech), fechado el 4 de septiembre de 2025 — las cuatro filiaciones están impresas bajo el título, en la primera página. Su comparación es la de un estudiante en un examen: si dejar la respuesta en blanco puntúa cero y arriesgar una respuesta plausible puede puntuar, lo racional es arriesgar. Los autores lo escriben así: los modelos «adivinan cuando tienen dudas, y producen afirmaciones plausibles pero incorrectas en lugar de admitir la incertidumbre», y eso persiste «porque los procedimientos de entrenamiento y evaluación recompensan la adivinación por encima de reconocer la incertidumbre».
Dicho de otra manera: el modelo no miente por maldad ni por avería. Hace lo que le hemos enseñado a hacer. Y la consecuencia práctica para tu negocio es que ningún proveedor puede prometerte que su IA no se equivocará nunca. Lo que sí se puede hacer es montar el sistema para que cuando dude, calle y derive.
¿Entonces se puede evitar del todo?
No. Se reduce mucho, y se acota. Un asistente de atención bien montado no funciona como el chat genérico que usas en el móvil: no responde de memoria. Responde con tus datos delante —tu catálogo, tus horarios, tus precios, tus condiciones— y con una instrucción clara de que lo que no esté ahí no se contesta. La diferencia no es de modelo: es de cómo está montado alrededor.
Nosotros lo decimos en la ficha de atención al cliente 24/7 con esa frase exacta: lo que no sabe, no se lo inventa. Y es una decisión de diseño, no una promesa de marketing: hay que elegir entre un asistente que siempre tiene algo que decir y uno que a veces dice «esto lo mira una persona». El segundo vende menos en una demo y mucho mejor en la vida real.
¿Qué es responder «con tus datos» y por qué cambia el riesgo?
Es la diferencia entre preguntarle a alguien de memoria y dejarle consultar el manual antes de contestar. Técnicamente se llama grounding: antes de responder, el sistema busca en una fuente tuya —el catálogo, la agenda, las preguntas frecuentes— y solo usa lo que encuentra. Tres consecuencias que se notan:
- Si el dato no está, no hay respuesta. El asistente deriva en vez de rellenar el hueco.
- Si el dato cambia, cambia la respuesta. Actualizas el precio en tu sistema y el asistente ya dice el nuevo, sin volver a programar nada.
- La respuesta es auditable. Se puede comprobar de dónde salió, lo que convierte una queja en algo revisable en lugar de en una discusión.
¿Qué hace un asistente bien montado cuando no sabe algo?
Lo dice y pasa la conversación a una persona, con todo lo hablado ya registrado. Eso es exactamente lo que está montado en Dartel Solutions, una empresa de seguridad: allí un dato inventado sobre un equipo o una instalación no es un error de atención, es un problema técnico. Por eso el sistema está construido para derivar antes que para adivinar.
La regla general, para cualquier sector: el asistente puede contestar lo que está escrito y recoger lo que hace falta para que una persona remate. Lo que nunca debe hacer es comprometer un precio, un plazo o un diagnóstico que no tenga delante en un dato real.
¿Qué hay que preguntarle a quien te monte el asistente?
- ¿De dónde saca las respuestas? Si no puede nombrar la fuente —un catálogo, un documento, una hoja—, contesta de memoria.
- ¿Qué hace cuando no lo sabe? La respuesta buena es «lo dice y avisa a una persona». La mala es «siempre encuentra algo que contestar».
- ¿Qué tiene prohibido decir? Debe haber una lista: precios que no estén publicados, plazos, consejos médicos o legales, promesas.
- ¿Cómo se comprueba? Pide ver la batería de preguntas con las que lo han probado, incluidas las trampa.
- ¿Qué pasa con las conversaciones? Dónde se guardan, cuánto tiempo y quién las ve.
- ¿Puedo leer lo que ha contestado? Si no hay registro, no hay forma de saber si funciona.
Las seis preguntas que conviene hacer antes de contratar a cualquier agencia, no solo para esto, están en cómo elegir una agencia de automatización con IA en España.
¿Cómo se prueba que un asistente no miente?
Con preguntas que sabes que no puede contestar. Es la parte del trabajo que no se ve y la que separa un asistente serio de una demo bonita:
- Preguntas fuera de catálogo. Un producto que no vendes, un servicio que no ofreces. Tiene que decir que no lo tiene.
- Preguntas de precio con trampa. Un descuento que nadie ha autorizado. No puede improvisar.
- Preguntas de plazo. «¿Lo tengo mañana?» sin que el sistema vea tu agenda de verdad.
- Preguntas en otro idioma. Muchos fallos aparecen solo al cambiar de idioma.
- La misma pregunta diez veces. Si la respuesta cambia de una vez a otra, el sistema no está leyendo un dato: está improvisando.
Y después, cada cierto tiempo, se leen conversaciones reales. Un control automático dice si el circuito funciona; solo leerlo dice si lo que contesta está bien.
¿Qué dice la normativa española sobre esto?
Que la responsabilidad sobre los datos sigue siendo tuya. La Agencia Española de Protección de Datos tiene una guía introductoria para adecuar al RGPD los tratamientos que incorporan inteligencia artificial —de febrero de 2020 y todavía marcada «en revisión» en su portada—, con lo que hay que cubrir en información al interesado, base legal y decisiones automatizadas, y ha publicado además, más recientes, unas orientaciones sobre IA agéntica para los sistemas que actúan por su cuenta. Si un asistente atiende a tus clientes, esas páginas van antes de la firma, no después.
¿Y si aun así contesta algo mal?
Pasa, y hay que preverlo. Lo que distingue un sistema montado con cabeza es que el fallo se detecta y se corrige: queda la conversación registrada, se ve qué dato lo provocó, se arregla la fuente y se añade esa pregunta a la batería de pruebas para que no vuelva. Lo que no se puede hacer es prometer que no ocurrirá. Quien te lo prometa, o no lo ha montado nunca, o no ha leído lo que dice la investigación sobre por qué ocurre.
Preguntas frecuentes
¿Se puede garantizar que la IA no se invente nada?
No, y quien lo garantice no está contando toda la verdad. Lo que sí se puede hacer es acotarlo: que responda solo con datos tuyos, que tenga prohibido comprometer precios o plazos que no vea, y que derive a una persona cuando no encuentra el dato.
¿Por qué inventa respuestas un modelo de lenguaje?
Porque el entrenamiento y las evaluaciones habituales premian responder algo plausible por encima de reconocer una duda, igual que un examen donde dejar la respuesta en blanco puntúa cero. Es la tesis del trabajo Why Language Models Hallucinate, de investigadores de OpenAI y Georgia Tech, publicado en septiembre de 2025.
¿Qué hace el asistente cuando no sabe algo?
Lo dice y pasa la conversación a una persona, con todo lo hablado ya registrado, para que el equipo la retome con contexto en lugar de empezar de cero.
¿Puede dar un precio equivocado a un cliente?
No debería poder: los precios que dice tienen que salir de una fuente tuya, y lo que no está publicado no lo contesta. Si un asistente improvisa un descuento en una prueba, está mal montado.
¿Cómo se comprueba que responde bien?
Con una batería de preguntas trampa antes de encenderlo —producto que no existe, descuento no autorizado, plazo que no puede ver, otro idioma— y leyendo conversaciones reales cada cierto tiempo. Un control automático dice si el circuito funciona; solo leerlo dice si lo que contesta está bien.
¿Quién responde legalmente de lo que diga el asistente?
La empresa que lo usa sigue siendo responsable del tratamiento de los datos de sus clientes. La Agencia Española de Protección de Datos tiene publicada una guía introductoria —de febrero de 2020 y todavía marcada «en revisión»— para adecuar al RGPD los tratamientos que incorporan inteligencia artificial, y conviene leerla antes de conectar nada a la base de clientes.
Zerolagia monta asistentes que responden con los datos reales del negocio y derivan cuando no saben. Diagnóstico gratuito aquí.
Hablamos: info@zerolagia.com · +34 612 48 50 87 (WhatsApp).
También te puede interesar