El verdadero reto de los agentes de IA no es el razonamiento

La llegada de los agentes de IA ha cambiado la forma en que abordamos problemas donde las reglas tradicionales ya no son suficientes. En lugar de anticipar y programar cada posible escenario, hoy es posible construir agentes capaces de interpretar información, tomar decisiones y utilizar herramientas para alcanzar un objetivo. Sin embargo, existe una pregunta que empieza a cobrar cada vez más relevancia en proyectos empresariales: qué sucede después de resolver una tarea? El agente realmente aprende de la experiencia o simplemente vuelve a empezar en la siguiente ejecución?

Un agente puede resolver correctamente cientos de tareas y, aun así, comenzar prácticamente desde cero ante cada nuevo caso. Para hablar realmente de aprendizaje necesitamos algo más. Es necesario que la experiencia obtenida durante la ejecución pueda transformarse en conocimiento reutilizable.

Los modelos de lenguaje han reducido considerablemente el costo de construir agentes capaces de razonar y utilizar herramientas. Esto ha desplazado el principal desafío: ya no consiste únicamente en lograr que un agente ejecute una tarea correctamente, sino en conseguir que mejore continuamente después de cada ejecución. En otras palabras, el problema ya no es construir un agente, sino construir uno que evolucione con la experiencia.

Construir una base de conocimiento

Nuestro sistema de ejemplo tiene dos componentes. El primero es un agente que genera documentos a partir de un formulario y de información disponible en una base de conocimiento. El segundo es el proceso encargado de construir y mantener dicha base. Aunque ambos pueden beneficiarse del aprendizaje continuo, nos concentraremos en este último y dejaremos el primero para otra ocasión.

La base de conocimiento se construye a partir de miles de contratos, manuales, políticas, procedimientos y otros documentos creados durante años, con distintos formatos, estructuras y niveles de calidad. Además, las herramientas utilizadas para convertir archivos PDF o Word a texto pueden introducir errores, perder estructuras o interpretar incorrectamente tablas y encabezados. Por eso, el objetivo no consiste simplemente en extraer texto, sino en identificar información relevante, eliminar redundancias, corregir errores de transformación y construir una representación estructurada y consistente del conocimiento.

Percepción y memoria

Cuando el agente recibe un documento, lo primero que necesita es comprender qué tiene delante. Este concepto, dentro de la definición de un agente con aprendizaje continuo, es conocido como percepción: es el mecanismo mediante el cual obtiene información del entorno y la transforma en observaciones sobre las que puede razonar. En nuestro caso, esto incluye extraer el contenido e identificar secciones, encabezados, tablas y otros elementos estructurales.

El agente también necesita recuperar lo que ya sabe. La memoria es otro módulo y normalmente se divide en dos. Por un lado, la memoria de corto plazo mantiene el contexto necesario para procesar el documento actual, mientras que la memoria de largo plazo conserva estrategias, patrones y lecciones obtenidas anteriormente. Combinando percepción y memoria, el agente puede generar una primera versión estructurada del documento.

Sin embargo, el agente solo ha resuelto una tarea; todavía no ha aprendido de ella.

Esta diferencia tiene implicaciones importantes para las organizaciones. Si cada nuevo documento requiere el mismo nivel de supervisión humana, los beneficios de la automatización terminan estancándose. En cambio, un sistema capaz de aprender de la experiencia puede reducir progresivamente el esfuerzo operativo, mejorar la consistencia de los resultados y adaptarse con mayor rapidez a nuevos escenarios.

La corrección como feedback

Una vez generado el resultado, un experto en el dominio lo compara con el documento original y realiza las correcciones necesarias. El experto no necesita escribir reglas, modificar prompts ni entrenar modelos; simplemente continúa realizando una actividad que ya formaba parte del proceso: validar el resultado. 

La diferencia está en lo que hacemos con esas correcciones. Cada modificación contiene conocimiento del dominio: qué información debía conservarse, qué podía eliminarse, cómo debía interpretarse determinada estructura o cuál era la representación correcta de cierto contenido. Así, la corrección deja de ser únicamente una intervención humana y pasa a convertirse en feedback para el sistema.

De la experiencia al aprendizaje

Podemos entender este ciclo tomando algunos principios de Reinforcement Learning (RL). El agente observa un estado —el documento, su contexto y el conocimiento disponible— y sigue una política que guía sus decisiones y acciones. En nuestro caso, esta política no tiene que ser entrenada mediante RL tradicional; está determinada por la combinación del modelo, las instrucciones, las herramientas, la memoria y las lecciones aprendidas.

Durante la ejecución, estas decisiones generan una trayectoria: una secuencia de observaciones, acciones y resultados. Al finalizar, el feedback proporcionado por el experto permite evaluar esa trayectoria y convertirla en una experiencia de la cual el sistema puede aprender.

Aquí entra en juego el metaagente de aprendizaje. A diferencia del agente principal, su responsabilidad no es procesar documentos, sino analizar cómo fueron procesados. Para ello revisa la trayectoria junto con el resultado y el feedback recibido, buscando identificar qué funcionó, qué debe mejorar y qué conocimiento puede reutilizarse en situaciones futuras.

A partir de este análisis, el metaagente genera lecciones que pueden materializarse como cambios al system prompt, nuevas estrategias o actualizaciones en un repositorio dinámico de conocimiento. En ejecuciones posteriores, el agente utiliza este conocimiento de forma transparente para el experto, quien continúa realizando el mismo trabajo de validación. La expectativa es que, ante situaciones similares, los resultados requieran cada vez menos correcciones.

Sin embargo, aprender no significa aceptar automáticamente cualquier nueva lección. En sistemas empresariales, el conocimiento también debe gobernarse. Una estrategia que mejora un tipo de documento puede no ser adecuada para otro. Por ello, el sistema necesita mecanismos que validen, evalúen y, cuando sea necesario, descarten aquello que no aporta valor.

Una nueva lección tampoco debe considerarse válida únicamente por haber sido generada. Su utilidad debe evaluarse a partir de ejecuciones posteriores y de las métricas de desempeño del sistema. Si contribuye a mejorar los resultados, puede mantenerse o reforzarse; si no aporta valor, introduce nuevos errores o deja de ser útil, el metaagente puede modificarla o eliminarla.

De esta manera, el sistema no se limita a acumular conocimiento: también evalúa y depura lo que aprende. Podemos entender este proceso como una forma de aprendizaje metacognitivo, donde el agente aprende de su experiencia y, al mismo tiempo, evalúa si las lecciones derivadas de ella realmente mejoran su comportamiento.

Otras fuentes de feedback

Hasta ahora hemos utilizado al experto como principal fuente de feedback, pero no es la única posibilidad. En determinados escenarios, parte del feedback o de la señal de recompensa puede generarse automáticamente mediante reglas deterministas, métricas de calidad, validadores especializados, reward models o modelos de lenguaje utilizados como jueces. 

En la práctica, podemos combinar diferentes mecanismos: validación automática para resultados verificables, modelos especializados para evaluaciones más complejas y expertos humanos para situaciones ambiguas, nuevas o de mayor impacto. Esto permite evolucionar gradualmente desde un esquema de feedback humano hacia uno híbrido y, cuando sea posible, mayormente automatizado.

Conclusión

Gran parte del esfuerzo al construir aplicaciones con modelos de lenguaje se ha concentrado en mejorar instrucciones: modificar prompts, agregar ejemplos, proporcionar más contexto o definir nuevas reglas. Todo esto sigue siendo importante, pero existe un límite a cuánto podemos anticipar desde el diseño inicial. En sistemas reales aparecerán situaciones, documentos y excepciones que no estaban contemplados cuando escribimos el primer prompt.

Por eso, el siguiente paso no consiste únicamente en crear instrucciones cada vez más sofisticadas, sino en construir sistemas capaces de convertir su experiencia en conocimiento reutilizable. Conforme el agente acumula experiencia y las métricas demuestran que alcanza consistentemente el nivel de calidad requerido, la supervisión puede reducirse. Los expertos pueden dejar de validar cada resultado y concentrarse en excepciones, casos nuevos o auditorías periódicas.

El verdadero valor de los agentes no estará únicamente en automatizar tareas, sino en construir sistemas que mejoren continuamente con cada decisión que toman. Ya no diseñamos únicamente cómo debe comportarse un agente hoy; diseñamos también cómo evaluar sus acciones, cómo aprender de sus resultados y cómo puede comportarse mejor mañana.

 Descubre cómo los agentes FRIDA de Softtek están diseñados para aprender de cada ejecución, no solo para completar tareas.