DEV Community: aymeric leon

Votre backtest bat-il vraiment le hasard ? Le test de permutation, en Python

aymeric leon — Mon, 17 Aug 2026 09:34:31 +0000

Un backtest qui rend +40 % sur six ans ne prouve rien. Le marché lui-même a
peut-être fait +200 % sur la période. La seule question qui compte est de savoir
si votre règle fait mieux qu'un tirage au sort soumis aux mêmes contraintes.

Le témoin doit avoir la même densité

L'erreur classique est de comparer sa stratégie à « acheter et conserver ». Ce
n'est pas un témoin valable : elle n'a ni le même nombre de positions, ni les
mêmes durées, ni la même exposition.

Le bon témoin tire ses entrées au hasard, mais reproduit exactement le reste :

def temoin_aleatoire(dates_possibles, n_signaux, jours_detention, rng):
    entrees = rng.choice(dates_possibles, size=n_signaux, replace=False)
    return [(d, d + jours_detention) for d in entrees]

On répète ce tirage 1 000 fois, on calcule l'espérance de chaque tirage, et on
regarde où tombe la stratégie réelle dans cette distribution.

Lire le résultat

La p-valeur est la proportion de tirages aléatoires qui font aussi bien ou mieux
que la stratégie. Si 3 tirages sur 1 000 la battent, p = 0,003.

Sur mes deux moteurs directionnels retenus, la barre était fixée avant de
regarder : au moins 60 signaux, espérance positive, p < 0,05, et au moins
4 années positives. Un moteur qui échoue à un seul de ces critères est écarté,
même s'il « a l'air » bon.

Fixer la barre avant est ce qui distingue une mesure d'une justification.

Le piège qui reste

Un test de permutation ne protège pas du surapprentissage. Si vous avez essayé
200 variantes de paramètres et gardé la meilleure, votre p-valeur est fausse :
avec 200 essais, obtenir p < 0,05 par pur hasard est presque certain.

La parade est la validation walk-forward : on optimise sur une fenêtre, on
teste sur la suivante, jamais vue, et on avance. Ce qui survit à ça a une chance
d'exister en dehors du tableur.

Le filtre le plus rentable de mon système n'est d'ailleurs pas une règle
d'entrée : c'est une règle d'abstention. Il coupe les moteurs directionnels
42 % du temps. Sans lui, la stratégie n'est positive que 4 années
sur 7 ; avec lui, aucune année perdante sur 6 ans.

Ce billet documente un projet réel : un bot de signaux crypto entièrement automatisé, dont le code, les backtests et les résultats — gagnants comme perdants — sont publics. Le détail est sur le site, et les signaux sont publiés en clair sur un canal Telegram ouvert.

Building a 100% Transparent Crypto Trading Bot Backtested Over 6 Years (2020-2026)

aymeric leon — Thu, 13 Aug 2026 22:20:21 +0000

Most crypto signal services online are pure marketing illusions: they show +500% leverage screenshots, delete losing trades, and sell fake promises.

As a developer and quantitative trader, I decided to build the exact opposite: a 100% transparent, automated crypto signal system backtested on 6 years of tick data (2020–2026) where every single trade—including every loss—is archived in real-time.

Here is the breakdown of how the architecture works, the quantitative engines, and the realistic expectations.

1. The Core Engines

Rather than relying on a single indicator, the system splits capital across 5 distinct quantitative engines:

Funding Rate Carry (Market-Neutral): Captures perp funding rate differentials while holding spot. 84.2% win rate with an average net yield of +0.57% per trade.
Relative Strength (Bullish Regime): Active only when BTC > 200-day MA. Scans 40 altcoins for top relative strength. 48.3% win rate with +2.83% expectancy per signal.
4H Momentum (Bearish Regime): Active only when BTC < 200-day MA. Ranks short-term 4-hour momentum to capture quick swings during choppy markets.
Channel Breakouts & Volatility Expansion: Trend-following rules with strict volatility expansion triggers.

2. The Regime Filter (Why Silence Saved -70.9%)

The most important rule in quantitative trading is knowing when NOT to trade.

When Bitcoin trades below its 200-day moving average, directional breakout models get chopped to pieces. By enforcing a strict regime filter:

In 2022, the system remained completely silent during the market crash, avoiding a -70.9% drawdown.
In 2026, it saved -39.4% during market rangebound phases.

Silence is not a bug; it is a feature.

3. Radical Transparency & Real-Time Archiving

To eliminate trust issues:

No deleted posts: Every entry, stop-loss, and take-profit level is timestamped.
Fixed 3-day max hold: Every trade exits at 3 days regardless of noise, preventing bag-holding.
Realistic expectancy: 48.3% win rate for directional trades. Rentability comes from positive risk-reward asymmetry (cutting losses at -2% to -3% while letting wins run to +10%+).

Open Dashboard & Live Results

You can inspect the full 6-year backtests, live performance, and daily logs on our public dashboard:

👉 Live Site: crypto-signals-bot-site.signalytics.workers.dev

👉 Public Telegram Journal: t.me/ProSignauxPublic

J'ai mesuré ma propre stratégie de trading, elle perdait. Je l'ai supprimée.

aymeric leon — Mon, 10 Aug 2026 10:11:48 +0000

Pendant des mois, mon bot a publié des signaux issus d'un croisement de moyennes
mobiles EMA 9/21 filtré par le RSI. C'est la stratégie la plus enseignée du
trading amateur, et elle a l'avantage d'être facile à coder.

Puis je l'ai mesurée correctement, et c'était la mauvaise nouvelle.

Ce qui a changé dans la mesure

Trois erreurs de méthode rendaient les résultats précédents inutilisables.

Le biais du survivant. Je backtestais sur les paires qui existent
aujourd'hui. Or les cryptos qui ont disparu entre-temps sont précisément
celles qui se sont effondrées. Mesurer une stratégie sur les seules survivantes
revient à demander aux gagnants d'un casino s'ils ont gagné. En restreignant à
18 paires non contaminées, la performance s'est effondrée.

Le regard vers le futur. Évaluer la bougie k d'un DataFrame complet ne
donne pas le même résultat qu'évaluer la dernière bougie d'un DataFrame tronqué
à k, si le moindre indicateur regarde en avant. La propriété à tester est
simple, et elle mérite son propre test automatisé :

complet   = detect_signal(df, pair, at_index=k)
tronque   = detect_signal(df.iloc[:k + 1].reset_index(drop=True), pair)
assert (complet is None) == (tronque is None)

L'absence de témoin. Une stratégie positive sur 6 ans n'a rien démontré
tant qu'on ne l'a pas comparée à un tirage aléatoire de même densité — même
nombre de trades, mêmes durées de détention, mêmes paires. Sans ce témoin, on
mesure le marché, pas la stratégie.

Le résultat

Entre -24,9 % et +16,9 % par an selon les réglages, majoritairement négatif.
La stratégie n'était pas neutre : c'était la jambe perdante du système.

Elle a été désactivée. Les dix signaux qu'elle avait déjà émis sont restés en
base, et l'étiquette affichée à leur sujet a été changée en « moteur retiré » —
parce que continuer à afficher « haute confiance » sur les signaux d'un moteur
qu'on vient de désavouer serait un mensonge rétroactif.

Ce que j'en retiens

Un backtest positif est une hypothèse, pas une preuve. La question utile n'est
jamais « est-ce que ça gagne ? » mais « est-ce que ça gagne plus que le
hasard, à contraintes égales ? ». Les stratégies qui survivent à cette
question sont beaucoup moins nombreuses qu'on ne l'espère.

Le plus dur n'a pas été de coder le test. Ça a été d'accepter son résultat sur
du code que j'avais déjà mis en production.