Stabilizzazione dell'Infrastruttura: Gestire il Connection Pooling tra Proxy e Backend

Nel mantenimento di architetture web complesse, l'ottimizzazione del dialogo tra il Proxy (nel nostro caso Apache) e i nodi di backend è un passaggio cruciale per garantire la fluidità dei servizi. Recentemente abbiamo analizzato una situazione di saturazione delle risorse che ci ha permesso di approfondire la gestione dei socket TCP, il comportamento dei pool di connessione e la complessa natura dei timeout multilivello.

In questo articolo vedremo come abbiamo identificato il problema, gli strumenti di monitoraggio utilizzati e come configurare correttamente i timeout per proteggere il proxy, senza penalizzare i portali che richiedono elaborazioni lunghe.

---

1. I primi segnali: Errori di Fork

Il punto di partenza della nostra analisi non è stato un crash, ma una serie di messaggi nei log di Apache che indicavano difficoltà nel gestire nuovi processi:

[error] (11)Resource temporarily unavailable: apr_thread_create: unable to create worker thread
[error] (11)Resource temporarily unavailable: fork: avocado_create: pool_task

Questi errori di fork compaiono quando il server raggiunge i limiti imposti dal sistema operativo o dalla configurazione dell'MPM (Multi-Processing Module). I worker esistenti rimangono occupati troppo a lungo, impedendo la creazione di nuovi thread per servire le nuove richieste in ingresso.

---

2. Monitoraggio e Analisi del Traffico

Per capire perché Apache stesse saturando i worker, abbiamo utilizzato alcuni comandi shell per analizzare lo stato delle connessioni di rete in tempo reale.

Analisi quantitativa per backend

Per osservare come variava il carico verso un nodo specifico (nel nostro caso il .106), abbiamo utilizzato un monitoraggio continuo:

watch -n 1 "netstat -atpn | grep 172.31.41.106 | wc -l"

Questo comando ci ha permesso di notare che il numero di connessioni non scalava verso il basso come previsto, indicando una persistenza anomala dei socket.

Analisi della distribuzione delle connessioni

Un altro comando fondamentale è stato quello per mappare la provenienza del traffico e identificare eventuali anomalie nella distribuzione dei client:

netstat -ntu | awk '{print $5}' | cut -d: -f1 | sort | uniq -c | sort -n

L'analisi dettagliata ha rivelato un numero elevato di connessioni in stato CLOSE_WAIT. Questo stato indica che il backend ha già terminato la sua parte di connessione, ma il proxy non ha ancora chiuso il socket lato suo. Un vero e proprio "limbo" TCP.

---

3. Disaccoppiare i Timeout: Applicazione vs Infrastruttura

Per risolvere questo scenario, è fondamentale fare chiarezza sulla differenza tra due concetti spesso confusi:

• Timeout Applicativo: È il tempo richiesto dal codice sorgente per completare un'operazione (es. una query complessa o la generazione di un file pesante). Un timeout applicativo troppo lungo espone il server al pericolo di elaborazioni infinite, mantenendo il backend occupato e saturando le risorse computazionali.
• Timeout Infrastrutturale (o di Rete): È il tempo massimo concesso per la trasmissione dei dati e la gestione dei socket tra i vari nodi della rete.

Il problema esaminato in questa analisi riguardava specificamente il timeout della comunicazione infrastrutturale tra il proxy e l'applicazione, ovvero i socket rimasti orfani che bloccavano i thread di Apache. L'implementazione applicativa interna al backend è ininfluente: che si tratti di un'architettura o di un'altra, se la gestione del socket TCP lato proxy fallisce, l'infrastruttura si satura.

---

4. Il Limite di Apache Balancer Manager: Timeout per Route

Durante le indagini abbiamo esplorato la possibilità di creare configurazioni di timeout differenziate a seconda della route (URL path), in modo da isolare i percorsi più lenti da quelli più veloci.

Tuttavia, abbiamo riscontrato un limite strutturale: il modulo Balancer Manager di Apache condivide il timeout del proxy per tutte le route. Non è un parametro sovrascrivibile o granularizzabile a livello di singolo membro del cluster o di specifico path all'interno dello stesso contesto di bilanciamento. Di conseguenza, la strategia di gestione dei timeout deve essere applicata in modo uniforme all'intero blocco del proxy.

---

5. La Soluzione: Il Ruolo di connectiontimeout

In molti dei nostri portali è indispensabile mantenere timeout globali alti per consentire l'esecuzione di script applicativi lunghi ed elaborazioni pesanti. Abbassare indiscriminatamente il timeout del proxy avrebbe interrotto servizi legittimi.

La soluzione definitiva che ha azzerato i CLOSE_WAIT e risolto gli errori di fork, pur mantenendo il supporto agli script lunghi, è stata il passaggio alla sintassi balancer:// sfruttando il parametro connectiontimeout.

Configurazione applicata:

<Proxy balancer://frontoffice>
    # node04 - Configurazione ottimizzata
    BalancerMember http://172.31.41.106:8080 route=4 connectiontimeout=2 retry=10 hcmethod=TCP hcinterval=5 hcpasses=2 hcfails=1

    ProxySet lbmethod=bybusyness
    ProxySet stickysession=ROUTEID
</Proxy>

ProxyPass "/" "balancer://frontoffice/"
ProxyPassReverse "/" "balancer://frontoffice/"

Perché questa configurazione è risolutiva?

Il segreto sta nella separazione tra il timeout di risposta globale e il timeout di connessione iniziale:

1. connectiontimeout=2 (La vera protezione): Questo parametro agisce solo sulla fase di handshake TCP iniziale. Se il backend è congestionato, bloccato o non risponde entro 2 secondi, Apache desiste immediatamente e libera il proprio worker. Questo previene l'accumulo di processi appesi in Apache che causavano gli errori di fork.
2. Mantenimento degli script lunghi: Una volta stabilita la connessione nei primi 2 secondi, il proxy concede all'applicazione tutto il tempo configurato nel timeout globale per terminare le sue elaborazioni pesanti.
3. Health Checks attivi (hcinterval=5): Apache interroga il backend ogni 5 secondi. Se un nodo fallisce i controlli TCP, viene temporaneamente isolato dal cluster, evitando di inviare traffico a un server saturo.

---

6. Conclusioni e Manutenzione Futura

La risoluzione degli errori di fork ci ha ricordato che la stabilità di un'infrastruttura non richiede di sacrificare le necessità dell'applicazione (come le elaborazioni lunghe), ma richiede di configurare correttamente i limiti della rete.

Per evitare derive configurative e mantenere l'uniformità su tutta la flotta di server, la distribuzione di queste direttive BalancerMember e la gestione dei relativi VirtualHost verrà centralizzata e gestita tramite Puppet Server. L'automazione è l'unica via per garantire che queste best practice rimangano stabili e documentate nel tempo.

Cheat Sheet di Emergenza per il futuro:

• Isolamento rapido: netstat -atpn | grep CLOSE_WAIT per contare i socket orfani.
• Analisi client: netstat -ntu | awk '{print $5}' ... per verificare la distribuzione degli IP.
• Regola d'oro: Separare sempre il tempo concesso all'applicazione per elaborare i dati dal tempo concesso alla rete per aprire la connessione (connectiontimeout).

---