Qué son los tokens de ChatGPT, cuál es el límite y qué ocurre si lo superas

ChatGPT se ha ganado los corazones la sociedad y son muchos los que realmente intentan exprimir esta herramienta sacando a flote todas sus ventajas. Sin embargo, una parte realmente importante de su personalidad radica en los tokens.

Explicarte que estos son fragmentos de palabras que se generan cuando ChatGPT procesa la entrada. Son la unidad básica que utilizan estos modelos de OpenAI para calcular la longitud de un texto. Son grupos de caracteres, que a veces se alinean con palabras, pero no siempre. 

En concreto, depende del número de caracteres e incluye signos de puntuación o emojis. Esta es la razón por la que el recuento de tokens suele ser diferente del recuento de palabras.

Pueden incluir espacios finales e incluso subpalabras, y dependen del idioma. Por ejemplo, las palabras en español tienden a tener una proporción más alta de token por carácter, lo que hace que sea más costoso implementar la API para otros idiomas además del inglés.

Para darte una idea de cómo funcionan los tokens, aquí hay algunas reglas generales generales para que finalmente puedas entenderlo:

• 1 token — 4 caracteres en inglés o casi una palabra
• 100 tokens— 75 palabras
• 1 o 2 oraciones — 30 tokens
• 1 párrafo — 100 tokens
• 1.500 palabras — 2.048 tokens— 5,4 páginas
• 3.000 palabras — 4.096 tokens— 10,8 páginas
• 6.000 palabras — 8.192 — 21,6 páginas

El modelo GPT-3.5 de ChatGPT podría manejar 4.096 tokens o alrededor de 8.000 palabras, pero GPT-4 bate esos números hasta 8.192 tokens y los 32.768 tokens es,  por ahora ,  solo ofrecido a unos pocos usuarios de prueba seleccionados.

¿Qué ocurre si te pasas el límite?

Imagínate que estás utilizando la versión gratuita de ChatGPT 3.5 con el límite de 4.096 tokens. Si ingresas un mensaje que son 4.000 tokens —aproximadamente 3.000 palabras—eso deja tu resultado — las fichas de 'finalización' o respuesta de ChatGPT — con solo 96 tokens restantes para usar.

Por lo general, hay dos resultados que suceden si superas el límite de tokens. El principal es simplemente un mensaje de error, donde te indicará que has superado el límite de longitud y que debes volver a intentarlo. En este punto la solución es sencilla. Copia y pega lo que querías escribir como mensaje, ve a otro editor y reduce el tamaño, luego comienzo un nuevo chat y listo. 

Otro posible resultado es que simplemente comenzará a ignorar algunas de tus explicaciones anteriores. Esto significa que en algún momento comenzará a "olvidar" la conversación inicial. ¿El problema? Será bastante difícil para ti saber cuándo sucede esto, ya que no va a aparecer ningún mensaje de aviso.

Pero no te preocupes demasiado por el límite total de tokens, a menudo hay formas creativas de trabajar dentro del límite, como condensar la solicitud o incluso dividir el texto en partes más pequeñas. Al final se basa en sacar el máximo partido a ChatGPT con lo que tienes y bueno, no son pocos tokens los que ofrecen de partida.