Biais du survivant dans le backtesting : pourquoi vos résultats sont probablement trop optimistes

Le biais du survivant est sans doute l'un des pièges les plus insidieux du backtesting, précisément parce qu'il est invisible sans effort particulier de vérification. Il consiste à tester une stratégie uniquement sur les actifs qui existent encore aujourd'hui, en excluant silencieusement toutes les entreprises qui ont fait faillite, ont été radiées de la cote ou ont fusionné avec une autre société durant la période étudiée.

Le problème est que les entreprises disparues sont, par construction, souvent celles qui ont le moins bien performé. En les retirant de l'échantillon testé, on obtient mécaniquement un groupe d'actifs biaisé vers le haut, et donc une performance historique de la stratégie qui n'aurait jamais pu être obtenue en temps réel par un investisseur de l'époque.

Comment le biais du survivant se glisse dans un backtest

La source la plus fréquente de ce biais est l'utilisation de bases de données financières qui ne conservent que la composition actuelle d'un indice ou d'un univers d'actions, sans historique de reconstitution. Si l'on teste une stratégie sur les composants actuels du CAC 40 sur les vingt dernières années, on ignore toutes les sociétés qui faisaient partie de l'indice à un moment donné mais qui en ont été retirées depuis, souvent après une contre-performance sévère.

Le même problème touche les bases de données de fonds d'investissement : lorsqu'un fonds sous-performant ferme ses portes, il cesse généralement de reporter ses performances, et certains fournisseurs de données le retirent purement et simplement de leur historique. Un backtest de sélection de fonds basé sur une telle base surestimera systématiquement la performance moyenne des fonds disponibles à une date donnée.

Exemples historiques concrets

L'exemple le plus souvent cité est celui des indices boursiers eux-mêmes : le Dow Jones Industrial Average a vu la quasi-totalité de sa composition d'origine remplacée au fil des décennies, les entreprises en difficulté étant remplacées par des sociétés plus performantes. Un backtest naïf utilisant uniquement la composition actuelle de l'indice pour représenter le marché sur cent ans surestimerait significativement le rendement réellement accessible à un investisseur de l'époque.

Dans l'univers des fonds communs de placement, des études académiques ont montré que la simple inclusion des fonds disparus dans l'échantillon peut réduire le rendement annuel moyen mesuré de plusieurs points de pourcentage par rapport à un échantillon ne comprenant que les survivants — un écart loin d'être négligeable sur la durée.

Impact chiffré sur le Sharpe ratio et le CAGR

Pour illustrer concrètement l'ampleur du problème, imaginons un univers de 100 actions il y a quinze ans, dont 20 ont depuis fait faillite ou ont été radiées avec une perte totale ou quasi totale du capital investi. Un backtest qui ne conserve que les 80 survivantes ignore purement et simplement ces 20 pertes de -100% ou proches, ce qui peut transformer un rendement annualisé réel proche de 4% en un rendement mesuré de 9% ou plus sur l'échantillon biaisé.

L'effet sur le ratio de Sharpe est tout aussi marqué : en supprimant les scénarios de perte extrême du calcul de la volatilité et du rendement moyen, le ratio de Sharpe mesuré sur l'échantillon biaisé peut se retrouver artificiellement doublé par rapport à sa valeur réelle, donnant une fausse impression de couple rendement-risque exceptionnel.

Comment détecter et corriger le biais du survivant

Utiliser des données point-in-time

La meilleure protection consiste à utiliser des bases de données dites point-in-time ou survivorship-bias-free, qui conservent la composition exacte de l'univers d'investissement telle qu'elle était connue à chaque date historique, incluant les entreprises radiées depuis. Ces bases sont plus coûteuses et moins répandues, mais elles constituent la référence pour un backtesting rigoureux.

Reconstituer l'historique des indices

À défaut de disposer de données point-in-time complètes, il est possible de reconstituer manuellement l'historique de composition d'un indice à partir des annonces officielles de changement de composition, disponibles auprès des fournisseurs d'indices eux-mêmes, afin de réintégrer les sociétés qui ont été retirées.

Modéliser un rendement de radiation

Lorsque l'historique de prix d'une entreprise radiée s'arrête brutalement, il est essentiel d'appliquer une hypothèse de rendement de radiation (delisting return) réaliste plutôt que de simplement ignorer l'observation. La recherche académique suggère généralement d'appliquer une perte moyenne significative, souvent estimée entre -30% et -100% du dernier prix connu selon le motif de la radiation, plutôt que de supposer une perte nulle ou de retirer purement et simplement le titre du calcul.

Le cas particulier des obligations et des matières premières

Le biais du survivant n'affecte pas uniquement les actions individuelles. Sur le marché obligataire, les émetteurs qui font défaut disparaissent des indices obligataires de référence, et un backtest qui ignore ces défauts surestimera systématiquement le rendement réel d'une stratégie de portage de crédit, en particulier sur les segments à haut rendement où le taux de défaut historique n'est pas négligeable.

Sur les marchés de matières premières et de contrats à terme, un phénomène voisin existe avec les contrats qui sont délistés ou remplacés par de nouvelles échéances : ignorer les contrats abandonnés faute de liquidité suffisante peut, là aussi, biaiser à la hausse la performance mesurée d'une stratégie systématique appliquée à cet univers.

La même logique s'étend aux backtests sur les cryptomonnaies : des milliers de jetons activement échangés il y a quelques années sont depuis devenus sans valeur ou ont été retirés de toutes les plateformes d'échange, et tout backtest de stratégie construit uniquement sur les jetons encore cotés aujourd'hui hérite exactement du même biais à la hausse décrit tout au long de cet article.

Ces exemples rappellent que le biais du survivant est un problème général de méthodologie des données, et non une simple curiosité propre aux actions cotées. Toute base de données financière qui retire silencieusement les instruments ayant cessé d'exister doit être considérée avec la plus grande prudence avant d'être utilisée pour un backtest.

Une dangerosité renforcée par d'autres biais

Le biais du survivant devient particulièrement dangereux lorsqu'il se combine avec le biais de anticipation (look-ahead bias), qui consiste à utiliser dans un backtest une information qui n'était pas disponible au moment de la décision simulée. Un exemple typique est de sélectionner aujourd'hui les composants actuels d'un indice, puis de tester rétroactivement une stratégie sur ces mêmes titres sur les dix dernières années, cumulant ainsi le fait de ne connaître ces entreprises que parce qu'elles ont survécu et celui de les avoir sélectionnées avec une information future.

Cette combinaison de biais peut transformer une stratégie parfaitement médiocre, voire perdante en conditions réelles, en un backtest qui affiche des résultats spectaculaires, créant une confiance totalement injustifiée chez celui qui s'apprête à déployer du capital réel sur la base de ces chiffres trompeurs.

Un test de bon sens utile lorsqu'on examine le backtest de quelqu'un d'autre — ou le sien datant de plusieurs mois — consiste à se demander combien des titres testés seraient reconnaissables aujourd'hui comme toujours cotés sous le même symbole. Si la quasi-totalité d'entre eux le sont, sur un univers couvrant dix ou quinze ans, c'est en soi un signal d'alerte raisonnable indiquant que le biais du survivant s'est glissé dans l'échantillon.

Il est donc essentiel, avant de tirer une quelconque conclusion d'un backtest, de vérifier systématiquement la provenance des données utilisées et de se poser la question suivante : cet univers d'actifs testé aurait-il pu être constitué exactement de cette façon, avec l'information disponible, à chaque date historique simulée ?

Une bonne pratique consiste enfin à toujours indiquer explicitement, dans la documentation d'un backtest partagé avec des tiers, la source précise des données utilisées et si celles-ci sont ou non exemptes de biais du survivant. Cette transparence méthodologique, encore trop rare, permet à quiconque examine les résultats d'évaluer correctement leur degré de fiabilité avant d'en tirer des conclusions opérationnelles.

Conclusion

Le biais du survivant illustre parfaitement pourquoi la qualité des données est au moins aussi importante que la sophistication d'une stratégie de trading. Un backtest impeccable sur le plan statistique mais construit sur un univers biaisé restera fondamentalement trompeur, quelle que soit la rigueur apportée par ailleurs à sa conception.

Pour explorer vos propres hypothèses de stratégies avec une attention particulière portée à la qualité et à la représentativité des données historiques utilisées, les outils d'analyse quantitative disponibles sur /outils de TrueVerdikt offrent un cadre pédagogique pour comprendre et visualiser ce type de biais, sans jamais constituer un conseil en investissement personnalisé.