La confiabilidad de los chatbot ha sido un tema de debate desde que se inició la revolución actual de la inteligencia artificial. Incluso los que trabajan sobre los modelos más avanzados. Tras el lanzamiento del GPT-5, el responsable máximo de ChatGPT, Nick Turley, ha participado en un podcast donde ha reconocido que aún no deberías confiar en su chatbot como fuente principal de información.
Al iniciar una conversación con ChatGPT los usuarios pueden ver el siguiente texto en la parte inferior de la pantalla: ‘ChatGPT puede cometer errores. Consulta la información importante’. Esto sigue siendo así con el nuevo modelo de lenguaje GPT-5 lanzado por OpenAI la semana pasada: puede ofrecer una segunda opinión, pero aún está lejos de ser perfectamente preciso.
La confiabilidad de los chatbot
«El problema con la confiabilidad es que existe una fuerte discontinuidad entre muy confiable y 100% confiable, en cuanto a la forma en que se concibe el producto», explica Turley. «Hasta que consideremos que somos demostrablemente más confiables que un experto humano en todos los ámbitos, no solo en algunos, creo que seguiremos recomendando que revisen su respuesta«.
Puede resultar tentador creer al pie de la letra la respuesta de un chatbot o una descripción general de la IA en los resultados de búsqueda de Google. Sin embargo, las herramientas de IA generativa (no solo ChatGPT) tienden a «alucinar» o inventar cosas. Esto se debe a que están diseñadas principalmente para predecir la respuesta a una consulta, basándose en la información de sus datos de entrenamiento.
Sin embargo, los modelos de IA generativa no tienen una comprensión concreta de la verdad. Si hablas con un médico, un terapeuta o un asesor financiero, esa persona debería poder darte la respuesta correcta para una situación, no solo la más probable. La IA ofrece, en general, la respuesta que considera más probable, sin necesidad de contrastarla con experiencia específica en el sector.
Si bien la IA es bastante buena para adivinar, sigue siendo solo una suposición. Turley reconoció que la herramienta funciona mejor cuando se combina con algo que proporciona una mejor comprensión de los hechos, como un motor de búsqueda tradicional o los datos internos específicos de una empresa. «Sigo creyendo, sin duda, que el producto adecuado son los LLM conectados a la verdad fundamental, y por eso incorporamos la búsqueda a ChatGPT; creo que marca una gran diferencia», afirmó.
El ejecutivo explica que GPT-5, el nuevo modelo de lenguaje extenso que sustenta ChatGPT, supone una «enorme mejora» en cuanto a alucinaciones, pero aún dista mucho de ser perfecto. «Confío en que eventualmente resolveremos el problema de las alucinaciones», pero no a corto plazo.
El resumen es que la confiabilidad de los chatbots está lejos de ser perfecta, incluso cuando trabajan sobre los modelos de lenguaje grandes más avanzados. La recomendación para empresas y usuarios (si van tomar decisiones en base a los resultados de los chatbots) es que los humanos vuelvan a comprobar los resultados.
Fuente: MC