ChatGPT tiene una nueva funcionalidad: ahora puede ver a través de la cámara de tu móvil

ChatGPT tiene una nueva funcionalidad: ahora puede ver a través de la cámara de tu móvil

El Modo Avanzado de Voz de ChatGPT ahora puede ofrecer en tiempo real consejos de diseño para tu hogar, ayuda con los deberes de matemáticas o respuestas instantáneas a tus mensajes en la app de Mensajes.

Después de haber dado un adelanto de la capacidad del chatbot para «razonar de manera conjunta» a través de texto, audio y visión durante la actualización de primavera de OpenAI en mayo, la compañía finalmente lanzó la función hace unos días como parte del sexto día del evento Shipmas de OpenAI.

“Estamos muy emocionados de comenzar hoy el lanzamiento de vídeo y uso compartido de pantalla en el Modo Avanzado de Voz”, dijo la compañía en una transmisión en directo. “Sabemos que esto lleva mucho tiempo esperándose”. 

OpenAI había anunciado inicialmente que las funciones de voz y vídeo se lanzarían en las semanas posteriores a su actualización de primavera. Sin embargo, el Modo Avanzado de Voz no estuvo disponible para los usuarios hasta septiembre, y el modo vídeo no llegó hasta esta semana.

Estas nuevas capacidades aportan más profundidad a las conversaciones con ChatGPT al añadir «contexto visual en tiempo real» con video en vivo y uso compartido de pantalla. Los usuarios pueden acceder al vídeo en vivo seleccionando el icono del Modo Avanzado de Voz en la app de ChatGPT y luego eligiendo el botón de vídeo en la esquina inferior izquierda.

En la demostración, ChatGPT ayudó a un empleado de OpenAI a preparar café de filtro. El chatbot notó detalles como la ropa que llevaba el empleado y luego le guió paso a paso en el proceso de preparación, explicando con más detalle ciertas partes del procedimiento cuando se lo pidieron. También ofreció comentarios sobre su técnica.

Para compartir pantalla con ChatGPT, basta con abrir el menú desplegable y seleccionar Compartir pantalla. En la demostración, ChatGPT identificó que el usuario estaba en la app de Mensajes, entendió el mensaje enviado y luego ayudó a formular una respuesta después de que el usuario se lo pidiera.

Durante la actualización de primavera de la compañía, OpenAI mostró otros posibles usos del modo vídeo. El chatbot fue capaz de interpretar emociones basándose en expresiones faciales y también demostró su capacidad como tutor.

Barret Zoph, líder de investigación de OpenAI, escribió una ecuación en una pizarra blanca (3x+1=4), y ChatGPT le proporcionó pistas para encontrar el valor de x.

La función tuvo algunos fallos durante la demostración de la actualización de primavera, como referirse a uno de los empleados como una «superficie de madera» o intentar resolver un problema matemático antes de que fuera presentado.

Ahora que está disponible, hemos decidido probarla, y hasta ahora parece bastante impresionante.

Le mostramos al chatbot una planta de oficina y le pedimos que nos hablara de ella, que evaluara si estaba saludable y que explicara cómo debería ser su programa de riego. El chatbot describió con precisión el oscurecimiento y el secado en las puntas de las hojas e identificó la planta como Aloe Vera, una descripción que parecía encajar.

La nueva función de vídeo se desplegará esta semana en la última versión de la app móvil de ChatGPT para usuarios de los planes Team y la mayoría de los Plus y Pro. La función aún no está disponible en la UE, Suiza, Islandia, Noruega y Liechtenstein, pero OpenAI afirmó que lo estará lo antes posible.