Palabras con peso: cómo una idea de 1972 se convirtió en la brújula de la inteligencia artificial textual
19 de julio de 2025
En 1972, Karen Spärck Jones propuso que no todas las palabras son iguales. Algunas, como “tecnología” o “seguro”, aparecen en todos los textos y dicen poco; otras, más raras, revelan el tema central de un documento. Aquella intuición se transformó en el índice de frecuencia inversa (IDF), la fórmula silenciosa que hoy guía a buscadores, resúmenes automáticos y modelos de lenguaje.
A comienzos de los años setenta, la informática aún estaba lejos de comprender el lenguaje humano. Los ordenadores podían almacenar texto, pero no sabían interpretarlo. El gran desafío era cómo distinguir los documentos relevantes en una colección cada vez mayor de información digital. En ese contexto, la lingüista computacional Karen Spärck Jones introdujo un concepto brillante por su simplicidad: si una palabra aparece en muchos documentos, es menos útil para distinguir uno de otro; si aparece en pocos, probablemente sea clave para identificar su contenido. Así nació el IDF —Inverse Document Frequency—, una métrica que asigna más peso a los términos raros que a los frecuentes.
