Una investigación llevada a cabo por la Universidad de Purdue arroja luz sobre el desempeño del chatbot ChatGPT, desarrollado por OpenAI, en el ámbito de la programación de software que seguro que deja a muchos bastante tranquilos.

De acuerdo con este estudio, más de la mitad de las respuestas proporcionadas por ChatGPT a preguntas relacionadas con la programación de software resultaron ser incorrectas en términos técnicos. Sin embargo, sorprendentemente, estas respuestas incorrectas lograron convencer a un tercio de los participantes en el estudio, lo que preocupa y mucho.

En concreto, el equipo de investigación analizó minuciosamente las respuestas generadas por ChatGPT en respuesta a 517 preguntas relacionadas con el ámbito de la programación. 

Los investigadores evaluaron aspectos como la corrección, consistencia, exhaustividad y concisión de las respuestas proporcionadas por el chatbot. Además, realizaron análisis lingüísticos y de sentimiento en las respuestas y consultaron a participantes voluntarios sobre la calidad y precisión de las respuestas generadas.

ChatGPT la lía con la programación y más del 50% de sus respuestas eran erróneas

Los resultados revelaron que aproximadamente el 52% de las respuestas de ChatGPT eran incorrectas en términos técnicos. Sin embargo, a pesar de esta inexactitud, el 77% de las respuestas resultaron ser detalladas y muy bien respondidas. 

Sorprendentemente, a pesar de la falta de precisión técnica, las respuestas de ChatGPT fueron preferidas en un 39,34% de los casos debido a su estilo de lenguaje persuasivo y exhaustivo. Entre estas respuestas preferidas, el 77% contenía información incorrecta.

25 aniversario de Computer Hoy: historia de los asistentes virtuales como Alexa, Siri y Google, y el principio del fin ante el auge de la IA tipo ChatGPT

Es importante destacar que la empresa desarrolladora de esta herramienta basada en inteligencia artificial, OpenAI, reconoce en su sitio web que su chatbot puede proporcionar información inexacta en ciertos casos. 

Sin embargo, el equipo de Purdue ha llevado a cabo un análisis exhaustivo que sugiere que la falta de precisión técnica no siempre es identificada por los usuarios, especialmente cuando las respuestas se presentan de manera persuasiva y con un estilo que resulta casi imposible desconfiar.

Contraseñas e inteligencia artificial: un arma de doble cara que pone en peligro tu seguridad

"Los participantes ignoraron la incorrección cuando encontraron que la respuesta de ChatGPT era perspicaz. La forma en que ChatGPT transmite información perspicaz con confianza (incluso cuando la información es incorrecta) gana la confianza del usuario, lo que hace que prefieran la respuesta incorrecta", mencionan los investigadores.

Mencionar que los autores del estudio han compartido su conjunto de datos públicamente, alentando a otros investigadores a reproducir y mejorar sus hallazgos para una idea más completa de las capacidades y posibles mejoras del chatbot.

"Sin embargo, siempre sería beneficioso tener un tamaño de muestra más grande", comentan. "También invitamos a otros investigadores a reproducir nuestro estudio: nuestro conjunto de datos está disponible públicamente para fomentar futuras investigaciones".