BI-ANALYTICS

TuConsultor de Business Intelligence & Big Data Analytic

Tres estrategias de solución

 1. Técnicas para disminuir el uso de tokens

 

Existen varias familias de técnicas, desde la compresión de contenido hasta el enrutamiento inteligente entre modelos.
  • Compresión y limpieza de contenido -->  Antes de enviar datos al modelo, se elimina el "ruido". Herramientas como agentslim comprimen HTML, JSON y texto, eliminando etiquetas decorativas, colapsando espacios y removiendo frases de relleno. Reporta ahorros de hasta un 66.8% en un ejemplo real . FoldBack se enfoca en comprimir JSON de salida de herramientas y logs, con ahorros medidos del 49% al 82% según el tipo de contenido .
  • Gestión inteligente del historial de conversación -->  En lugar de truncar mensajes antiguos (lo que rompe el razonamiento), AgentMemory resume automáticamente los mensajes más viejos en una nota compacta cuando se alcanza un límite de tokens, preservando el contexto esencial .
  • Minificación de esquemas de herramientas --> Los esquemas de herramientas (tool schemas) en formato JSON verboso consumen cientos de tokens por petición. ToolMinifier acorta las descripciones y cheapskate poda dinámicamente solo las herramientas relevantes para el turno actual, usando similitud vectorial sobre el historial de mensajes .
  • Enrutamiento a modelos más pequeños (SLM) --> cheapskate envía tareas simples (clasificar, resumir, traducir) a modelos pequeños y baratos (como Llama en Groq), manteniendo las tareas complejas en el modelo de frontera. Si el SLM falla, reintenta automáticamente en el modelo principal . El framework académico Smart Cascade va más allá: cuando un modelo ligero falla, comprime el diagnóstico del error antes de pasarlo al modelo caro, logrando un 15.54% de reducción de costo sin perder precisión .
  • Compilación simbólica de instrucciones --> SkillC transforma documentación en lenguaje natural (con frases corteses y verbosidad) en un formato simbólico denso con operadores deterministas. Reporta una reducción de tokens del 51.9% al 72.8% manteniendo un 100% de cumplimiento en restricciones operativas duras .
  • Divulgación progresiva de herramientas (Tool Search) --> En lugar de cargar todos los esquemas de herramientas en cada petición, el agente busca y carga solo las herramientas relevantes para la tarea actual. Esto es especialmente útil en sistemas con muchas herramientas disponibles.
 
 

 

2. La preparación de datos con ejemplos claros

La preparación de datos es el proceso de transformar contenido crudo en un formato que el agente pueda consultar de manera fiable y eficiente. Sin ella, el agente "adivina" o recupera información irrelevante, inflando el uso de tokens y degradando la calidad.
  • Ejemplo 1: Limpieza de ruido en documentos --> Imagina que tienes un PDF de políticas internas de 50 páginas. El 30% del texto son encabezados repetidos, pies de página legales y números de página. Si generas embeddings directamente, el vector resultante representará parcialmente ese "boilerplate" y no el contenido real . La preparación implica eliminar HTML/Markdown, quitar encabezados repetidos y normalizar espacios antes de indexar. El resultado: cuando el agente busca "política de vacaciones", recupera el fragmento correcto en lugar de una página de portada.
  • Ejemplo 2: Chunking con solapamiento --> Un manual técnico de 100 páginas no se puede embedder como un solo bloque: el vector sería demasiado genérico. Se divide en fragmentos de 512 a 2,000 caracteres con un solapamiento de 64 caracteres entre fragmentos consecutivos. Así, si una frase clave cruza el límite entre dos chunks, aparece en ambos y no se pierde el contexto . Sin este paso, el agente recibiría información fragmentada o irrelevante.
  • Ejemplo 3: Deduplicación de registros --> Si tu agente consulta una base de datos de ventas y hay registros duplicados del mismo cliente, el agente recuperará el mismo dato varias veces, gastando tokens en procesar redundancia. La preparación incluye aplicar deduplicación durante la ingesta, lo que reduce la sobrecarga de almacenamiento e indexación y evita ciclos de cómputo innecesarios en la inferencia .
  • Ejemplo 4: Enriquecimiento con metadatos filtrables --> A cada chunk se le adjuntan atributos como fecha, departamento o nivel_de_acceso. Cuando el agente busca información, puede filtrar primero por metadatos y luego hacer búsqueda semántica solo sobre el subconjunto relevante. Esto reduce drásticamente la cantidad de contexto que se envía al modelo .
 

 

3. Herramientas de control, auditoría y gobernanza

Existen varias herramientas open-source y frameworks que abordan la gobernanza de agentes desde distintos ángulos.
  • Microsoft Agent Governance Toolkit --> Toolkit open-source (6,440 estrellas en GitHub) que actúa como una capa de gobernanza entre el agente y los sistemas con los que interactúa. Asigna identidades verificables a los agentes, registra sus acciones en pistas de auditoría a prueba de manipulación, aplica principios de zero-trust en las comunicaciones entre agentes y ofrece sandboxing para aislar actividades y limitar el impacto de fallos . Es la opción más completa para entornos empresariales que necesitan control de identidad y aplicación de políticas antes de que el agente actúe.
  • Vaara --> Capa de gobernanza y evidencia para agentes de IA, diseñada específicamente para cumplir con la EU AI Act. Antes de que una acción se ejecute, Vaara puntúa su riesgo y decide si permitirla, bloquearla o escalarla a revisión humana. Cada decisión se escribe en una cadena de auditoría hash-chained (cualquier alteración a un registro pasado se detecta). Se integra con LangChain, CrewAI y OpenAI Agents SDK, y puede generar informes de evidencia mapeados a artículos de la EU AI Act .
  • AIR Blackbox --> "Plano de control de gobernanza de IA" con cuatro comandos principales: comply (análisis de brechas contra la EU AI Act escaneando el código), discover (inventario de "shadow AI" y generación de un AI-BOM en formato CycloneDX), replay (reconstrucción de incidentes desde la cadena de auditoría) y export (paquete de evidencia firmado para auditores). Cada llamada al LLM se registra con HMAC-SHA256, y los recibos se firman con Ed25519 para verificación de terceros .
  • AgentOps Replay --> Framework open-source (IEEE, 2026) que permite replay determinista de sesiones de agentes y monitoreo automatizado de cumplimiento. Detecta violaciones de costo, privacidad de datos y acceso de seguridad con una precisión del 94.2% y una sobrecarga de rendimiento menor al 3%. Su enfoque en la reconstrucción causal de eventos lo hace útil para investigar incidentes y demostrar qué hizo un agente y por qué .
  • Consideración práctica para elegir --> Si tu prioridad es cumplimiento normativo (EU AI Act), Vaara o AIR Blackbox son las más directas. Si necesitas control de identidad y políticas de zero-trust en una organización grande, Microsoft Agent Governance Toolkit es la más madura. Si tu foco es investigación de incidentes y replay determinista, AgentOps Replay ofrece esa capacidad específica.