ChatGPT ahora responde hasta 5 veces más rápido gracias a una nueva función

A medida que las plataformas de inteligencia artificial avanzan en capacidades, las empresas tecnológicas buscan optimizar su funcionamiento, esto debido al alto consumo de recursos. 

Una de las compañías líderes en esta tecnología es OpenAI, creadora de ChatGPT, un modelo de IA que facilita la generación automática de textos, imágenes, videos y código de programación. 

Sin embargo, uno de los principales desafíos que afecta a ChatGPT es la latencia, es decir, el tiempo de espera antes de que el usuario obtenga una respuesta, lo cual influye negativamente en la experiencia general. 

La latencia es particularmente molesta, en escenarios como sugerencias de código o en la edición de documentos largos, donde los usuarios prefieren recibir resultados inmediatos y con mayor exactitud.

Predicted Outputs: la solución de OpenAI para reducir la latencia

Con el objetivo de resolver este problema, OpenAI ha introducido una nueva función llamada Predicted Outputs. Esta característica está diseñada para situaciones en las que se conoce previamente buena parte de los resultados esperados, lo que permite un resultado impresionante.

En el ámbito de la inteligencia artificial, esto incluye tareas comunes como la edición de documentos o la generación de código, en las cuales Predicted Outputs permite omitir el contenido conocido, acelerando significativamente el tiempo de procesamiento.

¿Cómo funciona Predicted Outputs?

Esta función permite a los desarrolladores reducir la latencia, proporcionando contenido existente como predicción, lo que hace que ChatGPT procese las respuestas de forma mucho más eficiente y a una mayor velocidad.

Según OpenAI, las pruebas realizadas junto con el equipo de Microsoft, en el entorno de Copilot Workspace mostraron números asombrosos,  el rendimiento se incrementa hasta 5,8 veces al usar esta nueva herramienta, un avance que representa una gran mejora en la velocidad de respuesta de la IA.

Limitaciones y desafíos del nuevo modelo

A pesar de sus beneficios, Predicted Outputs presenta ciertas limitaciones. Por el momento, solo es compatible con las series de modelos GPT-4o y GPT-4o-mini. Además, el enfoque predictivo podría afectar la precisión de las respuestas, especialmente en casos  más complejos. 

Aunque los usuarios recibirán resultados más rápidos, estos podrían no ser tan precisos al incluir demasiadas “predicciones” en las respuestas.Aun así, los beneficios potenciales de Predicted Outputs son prometedores, ya que mejoran de forma notable la rapidez y eficiencia de los grandes modelos de lenguaje, un paso importante hacia una IA cada vez más eficaz y veloz.