Saltar al contenido
focoit.com
Todas las notas
Azure · ArquitecturaBorradorTodavía no indexado2 min de lectura

“Un chatbot” y “chat empresarial en producción” no son lo mismo

Cómo se ve realmente el chat empresarial en producción sobre Azure — una única puerta pública, una red privada, grounding, estado y la gobernanza alrededor del modelo.

Borrador

Esta página está publicada solo para revisión. Queda fuera del sitemap y lleva una directiva noindex.

Conectar una caja de chat a un modelo de lenguaje es un proyecto de fin de semana. Para el viernes a la tarde podés tener algo que se ve impresionante en una demo.

El chat empresarial en producción — el que podés poner frente a usuarios reales y un auditor — es un sistema distribuido completo. El modelo es una caja en el diagrama; casi todo el trabajo, el costo y la confianza viven en la arquitectura alrededor. Más o menos así se ve la versión real en Azure.

Usuario → App Gateway (WAF + DDoS) → private endpoint hacia una VNet privada con la UI de chat en App Service, que llama a un agente mediante managed identity; el agente llega a Azure OpenAI, Azure AI Search (RAG) y Cosmos DB, y a las herramientas externas solo a través de un firewall.
La forma del chat empresarial en producción sobre Azure — una única puerta pública, todo lo demás privado. (Key Vault, content safety y observabilidad atraviesan todo.)

Una única puerta pública

Hay exactamente una forma de entrar: un Application Gateway con Web Application Firewall y protección DDoS. Todo lo que está detrás es privado. Esa única entrada endurecida es lo que te permite razonar sobre la superficie de ataque — estás defendiendo una puerta, no una docena accidentales.

La capa de aplicación, cerrada

La UI de chat corre en App Service y llama al agente por un private endpoint — el tráfico nunca atraviesa la internet pública. Se autentica con managed identity, así que no hay claves ni secretos dando vueltas en la config para filtrar o rotar. La identidad, no una clave compartida, es lo que un componente usa para hablar con el siguiente.

El agente que orquesta

Detrás de la UI hay un servicio de agentes que hace la orquestación real: razona sobre el prompt, llama al modelo e invoca herramientas según haga falta. Esta es la parte que la gente imagina cuando dice “la IA”, pero en el diagrama es un coordinador — decide qué hacer y después llama a las piezas que lo hacen.

Grounding — y egreso controlado

Las respuestas están ancladas mediante Azure AI Search (RAG), así que el sistema responde desde tu contenido real y no desde la memoria del modelo. Y cualquier llamada que necesite salir de la red pasa forzada por un firewall para control de egreso — vos decidís exactamente a qué puede llegar el sistema en la salida, lo que es tan importante como controlar lo que entra.

Estado, secretos y seguridad

El historial de conversación vive en Cosmos DB, los archivos en Storage y los fragmentos de documentos en el índice de búsqueda — cada uno con un hogar claro en vez de untado por toda la app. Los secretos están en Key Vault, content safety filtra entradas y salidas, y la observabilidad está cableada en cada componente para que realmente puedas ver qué pasó cuando alguien pregunta.

Envueltos en una red privada

Todo esto vive dentro de una red virtual con Private Link. Privado por default. Zone-redundant. Identidad en cada salto. Ninguna de estas son features que un usuario ve — son las propiedades que le permiten a una empresa regulada correr esto sin contener la respiración.

El valor está en la parte “aburrida”

La brecha entre la demo y esto es exactamente la brecha entre “prototipo copado” y “algo que una empresa regulada puede correr de verdad”. Casi todo el costo y casi todo el valor está en la infraestructura aburrida alrededor del modelo — la puerta de entrada, la red privada, el grounding, la traza de auditoría.

Así que cuando alguien te muestra una demo de chat con IA muy pulida, la pregunta útil no es sobre el modelo. Es: ¿cómo se ve la arquitectura de producción detrás?

Más notas sobre Azure, IA y entrega en producción.

Todas las notas