The latest articles on DEV Community by Jose Eduardo Tirado Verbel (@jotive). https://dev.to/jotive https://media2.dev.to/dynamic/image/width=90,height=90,fit=cover,gravity=auto,format=auto/https:%2F%2Fdev-to-uploads.s3.us-east-2.amazonaws.com%2Fuploads%2Fuser%2Fprofile_image%2F1074530%2Fb580cfa7-9382-4871-9f02-8964e3c8c096.png https://dev.to/jotive en Jose Eduardo Tirado Verbel Sat, 05 Sep 2026 16:19:17 +0000 https://dev.to/jotive/un-gateway-para-saber-que-producto-me-quema-la-factura-de-llm-y-el-dia-que-mi-readme-mintio-3ej3 https://dev.to/jotive/un-gateway-para-saber-que-producto-me-quema-la-factura-de-llm-y-el-dia-que-mi-readme-mintio-3ej3 <p>Tengo varios productos que llaman a modelos de lenguaje. Uno le pregunta a un corpus de tesis, otro procesa imágenes, otro arma video. Todos consumen tokens, y hasta hace poco todos gastaban en el mismo pozo sin que yo supiera cuál gastaba qué.</p> <p>El problema no es nuevo. Llega la factura, ves un número, y no tenés idea de qué feature lo disparó, qué producto se está yendo de rango, o si uno está repreguntando lo mismo mil veces. Te enterás cuando ya gastaste.</p> <p>Esto es lo que hice para dejar de estar a ciegas, y una cosa incómoda que encontré en el camino.</p> <h2> La idea: un peaje en el medio </h2> <p>En vez de que cada producto llame directo al proveedor, todos pasan por un mismo servicio en el medio, un gateway. Expone la misma interfaz de siempre (<code>/v1/chat/completions</code>), así que para el producto cambia una sola cosa: la URL base. Nada más.</p> <p>Y como todo pasa por ahí, el gateway puede hacer tres cosas que ningún producto por separado hacía:</p> <ul> <li> <strong>Contabilidad por producto.</strong> Cada llamada llega con un header que dice quién es (<code>X-Tenant-ID</code>). El gateway guarda tenant, modelo, tokens y costo de cada request. Ahora sé exactamente qué producto gastó qué.</li> <li> <strong>Cache semántico.</strong> Antes de llamar al modelo, compara la pregunta con las que ya respondió. Si es casi la misma, devuelve la respuesta guardada sin gastar un token.</li> <li> <strong>Quota por producto.</strong> Un tope de consumo por tenant, para que uno que se descontrola no se lleve todo por delante.</li> </ul> <p>Nada de esto es magia. Es un proxy con Postgres y un poco de criterio sobre qué guardar.</p> <h2> Por qué OpenRouter abajo </h2> <p>El gateway no habla con un proveedor específico, habla con <strong>OpenRouter</strong>, que es un agregador con una sola API compatible con OpenAI y acceso a muchos modelos (Gemini, Llama, Claude, y más) con una única key.</p> <p>Esto resolvió dos cosas a la vez. Primero, dejé de atarme a un proveedor. Segundo, y esto es lo bueno, OpenRouter me da el gasto total pero no me lo desglosa por producto mío. El gateway se sienta justo ahí en el medio y agrega ese desglose que a OpenRouter no le corresponde tener. Cada uno hace su parte.</p> <h2> La parte incómoda: el README mentía </h2> <p>Cuando fui a revisar el repo para publicarlo, leí el README con ojos de desconocido. Prometía un failover automático: si un proveedor fallaba, la petición se reenrutaba sola a otro.</p> <p>Abrí el código. No estaba. En ningún lado. Era una intención que en algún momento escribí como si ya existiera.</p> <p>Es un detalle pequeño y a la vez no lo es. Un reclutador o un colega que abra ese código y note que el README dice algo que el programa no hace, deja de creerte el resto. Una feature inventada resta más de lo que suma cualquier feature real.</p> <p>Así que hice lo aburrido y correcto: moví el failover a una sección de "roadmap", marcada como no implementada, y dejé el README describiendo lo que el código hace hoy, no lo que me gustaría que hiciera. Prefiero un proyecto que promete menos y cumple todo, que uno que impresiona en el README y decepciona en el <code>git clone</code>.</p> <h2> Dónde quedó </h2> <p>El gateway está corriendo en producción, y el primer producto que lo consume de verdad es mi buscador de tesis: le cambié el cliente para que apunte al gateway, le pasé su identificador de tenant, y ahora cada pregunta que responde queda registrada con su costo. Lo puedo mirar y decir "este producto va por acá de gasto", sin adivinar.</p> <p>El molde quedó listo para enchufar los demás productos igual: apuntar su cliente al gateway, ponerle su nombre de tenant, y aparece solo en la contabilidad.</p> <p>El código está acá: <a href="https://github.com/GeosData/llm-quota-gateway" rel="noopener noreferrer">github.com/GeosData/llm-quota-gateway</a>. Con los ADRs de las decisiones que sí tomé, y un roadmap honesto de las que todavía no.</p> api architecture backend llm