TENGWAR - Plataforma RAG Empresarial

Problema y Contexto

Muchas organizaciones requieren asistentes de conocimiento internos pero no pueden enviar documentos propietarios a APIs de LLM externas por requisitos legales, GDPR, secretos comerciales o proteccion de propiedad intelectual. TENGWAR es una solucion on-premises plug-and-play que incrusta documentos de la empresa en bases de datos vectoriales y proporciona interfaces inteligentes de preguntas y respuestas con citas precisas de fuentes, todo ejecutandose localmente en un unico nodo GPU.

Responsabilidades

• Arquitectura e implementacion full-stack: API backend, clientes de escritorio, fallback web, pipeline de IA y configuracion de hardware
• Arquitectura RAG: busqueda hibrida combinando embeddings densos (BGE-M3), vectores dispersos (BM25) y busqueda visual con fusion RRF y reranking con cross-encoder (BGE-Reranker-v2-m3)
• Pipeline de ingestion inteligente de documentos en 14 fases: deteccion de estructura (Docling), OCR (GLM-OCR), extraccion de recursos, fusion de contenido, enriquecimiento de contexto, traduccion (M2M-100), chunking semantico, tokenizacion, embedding y almacenamiento vectorial
• Sistema de chat agentico usando Microsoft Agent Framework con invocacion autonoma de herramientas (recuperacion de documentos, busqueda web, correo, calendario, generacion de archivos)
• Respuestas en streaming en tiempo real via SignalR en todas las superficies de cliente
• Seguridad multicapa: JWT con firma asimetrica RSA, OAuth (Google + Microsoft Entra ID), RBAC, niveles de autorizacion de seguridad, filtrado de documentos por departamento, cifrado de credenciales por usuario (AES-256-GCM)
• Clientes de escritorio multiplataforma con .NET MAUI Blazor Hybrid (Windows + macOS)
• Orquestacion Docker Compose de 15 servicios con estrategia de comparticion de memoria GPU para multiples servicios vLLM en una unica GPU NVIDIA
• Soporte de documentos multi-formato: PDF, DOCX, XLSX, PPTX, TXT, MD, HTML y mas con deteccion automatica de idioma y traduccion (mas de 100 idiomas via M2M-100)

Arquitectura y Stack

• Backend: .NET 10 (C#), ASP.NET Core Web API, Entity Framework Core, hubs SignalR
• Escritorio: .NET MAUI Blazor Hybrid (Windows + macOS nativo)
• Web: Blazor Server en Docker (fallback basado en navegador)
• Modelo de Chat: vLLM sirviendo Qwen3.5-35B-A3B-FP8 (35B parametros totales, 3B activos via MoE)
• Embeddings: BGE-M3 (568M, vectores de 1024 dimensiones)
• Reranker: BGE-Reranker-v2-m3 (cross-encoder)
• OCR: GLM-OCR 0.9B (OCR de documentos basado en vision)
• Traduccion: M2M-100 1.2B (mas de 100 idiomas)
• Base de Datos Vectorial: Qdrant (colecciones densas + dispersas + visuales)
• Procesamiento de Documentos: pipeline basado en Docling con chunking semantico
• Base de Datos: PostgreSQL 16
• Almacenamiento de Objetos: MinIO (compatible S3)
• Cola de Mensajes: RabbitMQ 3
• Busqueda Web: SearXNG (metabuscador autoalojado para herramienta del agente)
• Despliegue: Docker Compose (15 servicios), GPU NVIDIA unica con asignacion precisa de memoria por servicio vLLM

Resultados

• Habilito un asistente de IA 100% privado para organizaciones que no pueden usar LLMs en la nube
• El pipeline de ingestion inteligente en 14 fases con OCR automatico, traduccion y chunking semantico elimina el procesamiento manual de documentos
• La busqueda hibrida (densa + dispersa + visual) con fusion RRF y reranking con cross-encoder ofrece respuestas precisas y contextuales
• La IA agentica decide autonomamente cuando recuperar documentos, buscar en la web o usar otras herramientas
• Soporte multi-cliente (Windows, macOS, Web) con capa UI compartida en Blazor garantiza una experiencia consistente
• El modelo de seguridad con niveles de autorizacion y filtrado por departamento cumple con los requisitos de conformidad empresarial
• El despliegue en GPU unica con estrategia de comparticion de memoria hace la plataforma accesible a PYMEs sin infraestructura costosa

Demo

Más Información

Página oficial del producto: tengwar.net ↗