El lanzamiento de GPT-4 en marzo de 2023 demostró que lo planteado por ChatGPT era solo el principio. El nuevo modelo es mucho más potente, pero es que además no hay una sola versión de GPT-4. La que conocemos es la versión “básica”, pero hay otra aún más potente y que ofrece capacidades ampliadas y realmente llamativas.
Versión básica de GPT-4. Como explican en OpenAI, GPT-4 tiene una longitud de contexto de 8.192 tokens (8K). ¿Qué significa esto? Que como mucho podremos usar prompts en los que el total de tokens sea de 8.192. Un token puede equivaler a una palabra pero también a un grupo de palabras dependiendo del texto, pero en términos simples podríamos pensar que GPT-4 en esa versión “básica” soporta unas 12 páginas de texto.
¿Y ChatGPT, qué? Según estimaciones de expertos, GPT-3, lanzado en 2020, tenía una longitud de contexto de 2.048 tokens. Por su parte, ChatGPT, que está basado en lo que sería GPT-3.5, dobló esa cifra hasta los 4.096 tokens. Eso tiene una consecuencia fundamental en cómo usamos estos modelos: no podemos introducir preguntas muy largas o, desde luego, documentos muy largos sobre los que luego preguntarle cosas a GPT-3 o ChatGPT.
GPT-4 32K. Pero además de la versión estándar o básica, OpenAI ofrece una versión de GPT-4 con una longitud de contexto de 32.768 tokens, lo que supone poder introducir unas 50 páginas de texto como entrada. Esta versión tiene acceso aún más limitado que GPT-4. El precio para poder usar esta versión cambia, y es el doble que la que tiene GPT-4 8K.
Pero esos 32K dan mucho margen de maniobra. Quienes lo han probado indican que “GPT-4 32K hace que la versión normal de GPT-4 parezca un juguete”. Las opciones que da son mucho mayores sobre todo al a hora de trabajar con documentos largos. El ejemplo claro está en resumir esos documentos y contestar preguntas sobre ellos, algo muy útil que un emprendedor llamado Matt Shumer hacía con un estudio de investigación.
Más código, por favor. Lo mismo ocurre en el caso de los desarrolladores. Introducir el código completo de aplicaciones de tamaño respetable -insistimos, aquí los 32K tokens dan mucho margen de maniobra- hace que GPT-4 pueda analizar ese código y sugerir mejoras o corregir errores. Las opciones en este ámbito son también enormes.
Ganarle tiempo al tiempo. GPT-4 y ChatGPT permiten ahorrar tiempo y dedicarlo a otras cosas, y GPT-4 32K hace exactamente lo mismo, pero con mayor capacidad. Es posible por ejemplo pasarle docenas de artículos completos de internet para luego obtener un resumen personalizado de la actualidad.
Una IA personal. Shumer también hablaba de cómo gracias a esa longitud de contexto le fue posible introducir datos sobre él y su empresa, HyperWrite. A partir de ahí GPT-4 podía contestar preguntas y conversar sobre aspectos relacionados con esos datos introducidos, convirtiéndose así en un asistente más personal.
No es barato (o quizás sí). Obviamente el precio de uso de GPT-4 32K hace que aprovechar esas opciones pueda salir algo caro. Teniendo en cuenta que el coste es de 0,06 dólares por cada 1.000 tokens, usar un prompt que aproveche toda la capacidad del modelo implica que por cada pregunta de ese tipo paguemos 2 dólares. Esa cifra puede considerarse elevada si uno no está haciendo un uso demasiado rentable de estas opciones, pero para mucha gente -empresas, desarrolladores, usuarios profesionales-, la rentabilidad de algo así puede ser espectacular en tiempo y recursos, y GPT-4 32K podría ser en esos casos todo lo contrario de caro.
En Xataka | “Nos equivocamos”: la IA de OpenAI era demasiado abierta, así que en GPT-4 impera el secretismo absoluto
– La noticia GPT-4 ya era un salto gigantesco respecto a ChatGPT. GPT-4 a 32K sencillamente cambia las reglas del juego fue publicada originalmente en Xataka por Javier Pastor .