ChatGPT llegó hace más de un año trayendo una revolución y seguida por otras herramientas similares de inteligencia artificial (IA). Todas ellas llegan con muchas novedades al mundo, tanto personal, como social y laboral por sus grandes capacidades. Y un estudio ha conseguido mostrar si los resultados son buenos, o no, cuando la herramienta se utiliza como es debido.

Ya hemos visto la historia de profesores que, en vez de posicionarse frente a la IA de la empresa OpenAI, ha decidido adoptarla como aliada para el aprendizaje. Hay que recordar que un gran fallo de ChatGPT es que puede generar textos que suenan muy convincentes pero que incluyen invenciones, y es que este generador de textos no indica las fuentes de lo que dice o la información recopilada es antigua.

En Genbeta

He probado Jan, la alternativa a ChatGPT de código abierto y gratis que puedes usar en local: la privacidad está a otro nivel

Este estudio que compartimos aquí ha mirado si esta IA tiene la capacidad de mejorar la productividad de un empleado en una empresa. Eso sí, comprobando, siempre el texto generado por la IA, editando y corrigiendo. Shakked Noy y Whitney Zhang, del MIT (Instituto Tecnológico de Massachusetts), publicaron recientemente los resultados de un estudio empírico sobre profesionales de empresa que utilizaron ChatGPT para redactar diversos documentos comerciales.

Así fue la prueba

Los participantes en el estudio eran 444 profesionales, se realizó en el año 2023, y registraban experiencia en diversos campos, como comercializadores, redactores para conseguir subvenciones, analistas de datos y profesionales de recursos humanos. A cada participante se le asignó la redacción de dos documentos empresariales de su especialidad: comunicados de prensa, informes breves y planes de análisis, etc.

Todos los participantes escribieron primero un documento de forma normal, sin ayuda del ordenador. En un momento dado, a la de los participantes se les asignó aleatoriamente el uso de ChatGPT para escribir un segundo documento, mientras que la otra mitad escribió un segundo documento de forma normal, sin ayuda de IA.

En Genbeta

GPT-4 y ChatGPT pueden acabar con millones de empleos, sobre todo los mejor pagados o los que requieren estudios

La mayoría de los participantes utilizaban la herramienta de IA por primera vez. (El 30% de todos los participantes ya había utilizado ChatGPT). "Normalmente, con cualquier herramienta existe una curva de aprendizaje: cuanto más utilizan la herramienta los usuarios, más eficientes se vuelven al utilizarla", recuerda el informe.

Principales conclusiones

Por un lado, el estudio demostró que ChatGPT tiene una gran facilidad de uso para los usuarios noveles, aunque los resultados son mejores entre los usuarios con más experiencia con la herramienta.

Una vez redactados los documentos comerciales, se calificó su calidad en una escala del 1 al 7. Cada documento fue calificado por tres expertos independientes.

Una de las principales conclusiones es que "los profesionales que utilizaron ChatGPT fueron más rápidos en la elaboración de sus documentos y la calidad de los mismos también fue superior". Es decir, que consigue atajar un problema común que es un conflicto común que existe entre trabajar más rápido y obtener buenos resultados (un fenómeno conocido en psicología cognitiva como el compromiso entre velocidad y precisión).

La primera ronda, en la que los documentos se elaboraron sin ayuda de IA, arrojó los mismos resultados en ambos grupos. En otras palabras, no se dio el caso de que los participantes de un grupo tuvieran más talento o habilidad que los del otro. En la segunda ronda de escritura sí se apreciaron grandes diferencias, siendo mejores los resultados en el grupo que usó ChatGPT.

En Genbeta

Este profesor dio 30 minutos a la inteligencia artificial para ver si puede acabar con muchos empleos. Logró algo sobrehumano

En la segunda ronda, los profesionales que utilizaron ChatGPT produjeron su documento en 17 minutos de media, mientras que los profesionales que escribieron su documento sin ayuda de la IA emplearon 27 minutos. Esto supone una mejora de la productividad del 59%.

"En otras palabras, los usuarios de ChatGPT podrían escribir un 59% más de documentos en una jornada laboral que las personas que no utilizan ChatGPT, al menos si toda su escritura implicara únicamente documentos similares a los de este estudio", dicen los investigadores.

En Genbeta

Le pedí a la IA de ChatGPT hacer mi trabajo. Aquí está el resultado

En cuanto a calidad: los calificadores no sabían qué autores habían recibido ayuda de ChatGPT y la calidad media calificada de los documentos, en una escala de 1 a 7, fue mucho mejor cuando los autores contaron con la ayuda de ChatGPT: 4,5 (con IA) frente a 3,8 (sin IA).

Menos tiempo en redacción, más en editar

En segundo lugar, se pidió a los profesionales que informaran sobre cómo habían distribuido su tiempo en tres fases distintas del proceso de escritura: lluvia de ideas, redacción de un borrador y pulido de este borrador. Sus respuestas sugerían que el uso de ChatGPT había cambiado la forma en que los usuarios empleaban su tiempo.

En este gráfico se puede ver claramente el reparto del uso del tiempo:

MIT

En la primera ronda (sin ayuda de la IA), los profesionales dedicaban un 25% de su tiempo a la lluvia de ideas, un 50% a la redacción de un borrador y un 25% a la edición para producir el producto final . Al utilizar ChatGPT, los participantes posiblemente dedicaron algo menos de tiempo a la lluvia de ideas.

El tiempo dedicado a generar borradores se redujo a más de la mitad, ya que la mayor parte de esta carga de trabajo se descargó en ChatGPT. Y, curiosamente, el tiempo dedicado a mejorar el borrador se duplicó.

Desde este estudio del MIT, hay que tener en cuenta que OpenAI ha seguido trabajando en la mejora de sus tecnologías, como su versión más potente lanzada este año. Al mismo tiempo, la empresa ha recibido demandas por usar información protegida por copyright de empresas como The New York Times. También artistas se han quejado de las IA en una carta pública y es que, por mucho que las inteligencias artificiales puedan hacer, antes ha tenido que haber el trabajo humano para que logren sus resultados.

Una versión anterior de este artículo se publicó en 2023.

En Genbeta | Qué es ChatGPT: guía a fondo

Imagen| Xataka Android y Jonathan Kemper en Unsplash y MIT

-

La noticia El MIT quería comprobar si de verdad ChatGPT mejora nuestra productividad. Los resultados de sus pruebas son muy claros fue publicada originalmente en Genbeta por Bárbara Bécares .