Human computation appliqué au trading algorithmique

Les concepts précurseurs

   La démocratisation du concept de HC est intimement liée à l’utilisation à très grande échelle de la micro-informatique et au développement des réseaux Internet puis des médias sociaux : la plupart de ses applications sont donc très récentes. On retrouve néanmoins, depuis la fin du XXème siècle, auprès des scientifiques ou des techniciens, une certaine continuité dans la recherche de processus originaux capables de mêler le calcul et l’humain, sans que bien souvent le concept n’ait été complètement formalisé, et ce, jusqu’à l’avènement des médias sociaux dans les années 2000. Les paris sur les courses de chevaux et plus largement les paris sportifs semblent avoir touché toutes les civilisations et toutes les périodes, ils constituent en quelque sorte la « préhistoire » du HC. Dans le cadre du « human computation », ce n’est pas la course en elle-même qui présente un intérêt mais l’élaboration, la communication et l’utilisation des cotes par et pour le joueur-parieur (Figure 1). La publication des cotes de paris est vraisemblablement le premier processus organisé de HC connu : elles ont fait l’objet de nombreuses études et sont encore fréquemment citées dans les travaux de recherche (au sein de la « Society of Judgment & Decision Making » [1] par exemple ou comme illustration de phénomènes d’intelligence collective [2], [3]. A partir de ces cotes, les joueurs vont construire de nouvelles stratégies qui viendront elles-mêmes influencer de nouveaux parieurs [4] et ainsi de suite, jusqu’à former un prix généralement stabilisé au départ de la compétition. S’il est facile de trouver des éléments historiques sur l’organisation de courses de chevaux dans la Rome et la Grèce antiques, il est impossible de dater précisément l’apparition du concept de « cote » d’un cheval ou d’une équipe en tant qu’élément factuel de décision présenté aux joueurs, qui serait calculé de façon systématique. Il apparaît néanmoins que la notion de cote est aujourd’hui généralisée dans tous les domaines du pari : son mode de calcul est transparent et elle est servie en temps réel aux joueurs. En France, la première loi sur le PMU « Pari Mutuel Urbain » date du 2 juin 1891. L’esprit de cette loi est tout à fait singulier car elle fixe un objectif au PMU en formalisant pour la première fois un processus organisé et fondé sur des décisions humaines visant à l’amélioration de la race chevaline, l’intelligence cupide des parieurs étant finalement présentée comme une méthode de sélection des meilleurs chevaux et non de distraction du public. Ainsi, seules étaient autorisées « les courses de chevaux ayant pour but exclusif l’amélioration de la race chevaline et organisées par des sociétés dont les statuts sociaux auront été approuvés par le ministre de l’agriculture» [5]. En outre, on peut supposer que cet objectif avait des visées plus militaires qu’agricoles, car l’urgence en France à l’époque est de fournir les armées en chevaux de guerre, dans des races identiques à celles des chevaux de course (pur sang et demi-sang) [6] . La loi sur le PMU est donc l’un des touts premiers exemples d’un processus complet (formalisé et publié sous forme de décret) visant à l’amélioration d’une « solution » (la race chevaline), par la mutualisation organisée et formalisée d’intelligences humaines (les parieurs) en vue d’un objectif (la victoire). Dans le domaine de la finance également, l’utilisation d’indicateurs dans le processus de décision d’un investisseur, constitue également une sorte d’algorithme de type HC. La valeur d’un marché, d’une action ou d’un dérivé est en effet le résultat de l’action conjuguée de tous les investisseurs au bénéfice de la communauté elle-même. La fiabilité de ce processus ayant en quelque sorte été validée par la théorie des marchés efficients (ou EMH) [7] qui démontre la fiabilité d’un prix de marché ou d’un indice et l’impossibilité pour un investisseur de battre en moyenne la performance du marché sur le long terme [8]. Même si les cotations des valeurs financières constituent en elles-mêmes des indicateurs, on peut considérer que la création des indices boursiers, comme agrégation de différentes valeurs financières constituent finalement la première étape d’un calcul (la somme de toutes les interactions des intervenants sur un marché) faisant intervenir une communauté humaine (celles des investisseurs) dans une forme basique de HC, au profit du public. Il est ainsi intéressant de noter que le Dow Jones, ancêtre des indices boursiers (1884) a été créé par deux journalistes [9] et non par des financiers : l’enjeu de cette information « humaine » et agrégée dépasse donc, dès sa création, le cercle des investisseurs en constituant une information pour un public plus large. Les expériences d’économies socialistes et dirigées du XXème siècle nous donnent également des éléments de preuves supplémentaires de l’intelligence des marchés dans leur capacité à agréger des décisions individuelles d’acteurs économiques, de spéculateurs ou d’investisseurs. En effet, la fixation des prix a longtemps été le casse-tête des dirigeants de l’ex-URSS, ne disposant pas de la puissance de calcul « humaine » offert par le marché. Popkdewicz [10] considérait ce sujet comme le maillon faible du modèle socialiste. Ainsi, à défaut de pouvoir calquer ses prix sur les économies « capitalistes », Friedrich Hayek (Prix Nobel d’économie en 1974) démontre ainsi l’incapacité d’une économie planifiée à allouer correctement les ressources car elle se prive du travail collectif des marchés pour la formation des prix [11].

Les concepts connexes au human computation

   Les concepts touchant au human computation sont relativement nombreux et souvent destinés à aiguiser la curiosité du grand public sur des sujets susceptibles de l’impliquer directement. Ainsi l’intelligence collective ou le crowdsourcing sont des concepts très répandus mais dont les frontières restent vagues. Les auteurs des différents concepts sont, en effet, plus souvent des journalistes que des chercheurs. Il semble que, sur ce domaine, la science ait finalement un certain retard, sans doute en raison de l’explosion des applications Internet grand public. L’intelligence collective Dans la suite de ce paragraphe, on utilisera parfois l’abréviation « WOC » pour « Wisdom of crowds ». Le concept d’intelligence collective a été rendu populaire par le best-seller « Wisdom of crowds » publié en 2006 par James Surowiecki [20]. Ce concept met en avant la capacité des foules à estimer des mesures, des probabilités ou à identifier collectivement des solutions. James Surowiecki cite notamment les travaux de Sir Francis Galton qui en 1906 observa l’étonnante capacité d’une foule participant à un comice agricole à déterminer le poids exact d’un animal de foire [21]. Derrière l’intelligence collective, James Surowiecki regroupe des exemples très hétérogènes comme l’intelligence collective des marchés financiers, capables de déceler celui des trois fournisseurs de la NASA en faute lors de l’incident de Challenger [20] et d’autres cas d’école qui vont du jeu télévisé à la recherche d’épaves en mer. A chaque fois, la foule des ignorants prouve sa capacité à obtenir de meilleurs résultats qu’un groupe d’experts. Le WOC ayant été très tôt vulgarisé par rapport aux autres concepts connexes, il est difficile d’en fixer des limites précises. L’inventaire des exemples cités par les auteurs comme James Surowiecki répond néanmoins à quelques caractéristiques récurrentes :
• La foule n’a pas conscience de participer à un travail collectif, elle est passive dans le processus, chaque individu y cherche simplement son propre intérêt et non celui du groupe.
• Pour que le processus soit efficace, la décision de chaque individu ne doit pas être influencée par le groupe (ce qui ne l’empêche pas de communiquer avec lui), la décision de l’individu doit donc être le résultat d’une démarche personnelle.
• Les individus n’ont qu’une connaissance partielle et limitée des informations susceptibles d’influencer la décision
• L’utilisation de la capacité cognitive des foules dans un processus de résolution est généralement fortuite, l’auteur du processus n’est, dans la plupart des cas, pas sponsor de la foule.
Ainsi dans les paris sportifs, le jeu en lui-même et la publication de la cote, constituant l’élément d’intelligence collective du processus, ne sont utilisés par le parieur qu’à son propre profit. Le parieur a rarement conscience de travailler au profit des autres joueurs. Le cas de Google est également similaire : dans l’algorithme PageRank [22], les auteurs décrivent un système de recherche et de classement de l’information fondé sur les liens hypertextes établis par les internautes et les webmasters, sans avoir finalement conscience de travailler objectivement pour les moteurs de recherche. Google utilise donc efficacement à la fois une technologie (le principe du lien hypertexte) et le travail collectif des webmasters (généralement à leur insu). Twitter [23] et Facebook [24] représentent des systèmes plus aboutis dans la mise en œuvre de processus collectifs. Certains auteurs ont rangé ces applications derrière le concept d’intelligence collective [25], [26], [27], [28], [29] mais dans les deux cas, nous sommes en présence d’un système fermé : contrairement à Google, les concepteurs de Twitter ou de Facebook sont eux-mêmes à l’initiative des processus qui concourent à une capitalisation cognitive des actions de ses membres (alors que Google s’appuie sur des mécanismes existants). En outre, les membres de ces réseaux en sont immédiatement les bénéficiaires : le travail collectif sur Facebook et Twitter permet à chaque utilisateur de retrouver, à chaque instant, une agrégation d’informations parfaitement adaptées à son profil (amitiés, intérêts, contexte….) filtrées ou suggérées par ses cercles de connaissances et de proche en proche, par la communauté toute entière.
Le crowdsourcing Jeff Howe dans Wired Magazine [30] définit, le premier, le crowdsourcing comme successeur de l’outsourcing. L’étymologie est volontaire, et remarquable, puisque Jeffe Howe établit une continuité entre les deux concepts. Dans le cas de l’outsourcing, il s’agit pour une entreprise d’abaisser ses charges de production en faisant appel à une main d’œuvre à très faible coût. Le crowdsourcing va plus loin en faisant appel à des volontaires non-rémunérés ou faiblement rémunérés pour participer à un travail présenté comme une passion, un loisir, un don ou un complément de rémunération. Le crowdsourcing a prouvé sa force et son efficacité avec Wikipedia en faisant quasiment disparaître les éditions encyclopédiques papier, en quelques années seulement. Dans d’autres cas le crowdsourcing autorise une faible rémunération des participants en échange d’une vitrine à grande échelle. C’est le cas d’un service internet comme IStockphoto [31], cité par Jeff Howe[23] , qui consolide des milliers de photographies d’illustrations accessibles à un moindre coût pour tous les éditeurs. Le crowdsourcing est à la fois le précurseur de l’intelligence collective et son corollaire. Il décrit, en effet, les techniques permettant de faire appel à un large public pour réaliser un travail précis. On pourrait plus facilement décrire le crowdsourcing comme une technique plutôt qu’un concept, à la différence de l’intelligence collective. L’encyclopédie en ligne Wikipedia [32] en est l’exemple le plus connu et le plus ancien. Wikipedia constitue une compilation organisée d’informations à destination du grand-public, cependant Wikipedia ne relève pas formellement de l’intelligence collective ou du Human Computation en raison du nombre finalement limité d’experts qui interviennent sur chaque article mais également parce que l’article Wikipedia se suffit généralement à lui-même (l’arborescence de Wikipedia pourrait, en revanche, constituer un processus plus proche du HC que du Crowdsourcing) . Mais Wikipedia et iStockPhoto partagent certaines caractéristiques de human computation dans le sens où l’information peut être corrigée ou améliorée a posteriori en fonction de la réaction des clients (cas de iStockPhoto) ou des autres contributeurs (cas de Wikipedia). Ainsi, si les contributions initiales du public répondent bien à la définition du crowdsourcing, la réaction de la communauté relève d’une démarche alors proche de l’intelligence collective dans sa réalisation et du human computation dans son organisation. Le crowdsourcing désigne donc une mécanique industrielle à grande échelle où le travail est divisé en une infinité de micro-tâches où chaque humain a une vision claire de l’objectif commun. Il n’y a d’effet collectif que dans l’addition de tâches élémentaires pour constituer un tout. Dans le HC, au contraire, la tâche élémentaire n’a aucune valeur en dehors du processus global dont elle fait partie. Il existe d’autres initiatives plus discrètes et plus anciennes comme InnoCentive [33] ou Threadless [34] dans le domaine de la création qui sont également citées par les auteurs [35] comme des cas d’école de Crowdsourcing. Dans ces deux derniers cas, on retrouve un principe assez banal, proche du « jeu concours » fondé sur un appel ouvert à proposition puis une sélection des meilleures réponses par des experts ou la communauté. Le crowdsourcing est ainsi intimement lié au développement d’Internet (condition sine qua non pour accéder facilement au grand public). La fondation américaine X Prize [36] parie également sur le Crowdsourcing [12] pour déceler de futurs projets innovants dans le domaine de l’énergie, la mobilité ou la santé. Un des projets lauréats de la fondation concernant la santé : le NokiaSensing X Challenge, semble également participer à un projet de crowdsourcing dans le domaine du diagnostic médical. Au moins trois initiatives d’industrialisation et de systématisation du Crowdsourcing sont présentées sur Internet : Amazon’s Mechanical Turk [37], CrowdFlower [38] et MobileWorks [39]. On peut également citer Yahoo Answer [40], plus ancien, qui fonctionne sur un principe similaire. Tous sont fondés à peu près sur le même schéma : à partir d’une sollicitation d’un membre sur une question ou la description d’un travail précis (proposant ou non une rémunération), les utilisateurs de la plate-forme présentent leurs réponses, proposent leurs compétences ou leur temps. La caractéristique commune de ces solutions est de ne pas cibler un thème ou une communauté a priori. Les études réalisées [41], [42] sur ces plates-formes révèlent des résultats encourageants en termes de performance et de pertinence, puisque la qualité des réponses des utilisateurs est généralement considérée du même niveau ou meilleure que celles des experts. On noter anéanmoins des limitations notamment sur la complexité des tâches à réaliser et sur les processus de contrôle du travail effectué (pour la recette d’un logiciel par exemple, comment être sûr que l’utilisateur a sérieusement testé toutes les possibilités ?). Mais lorsqu’il s’agit d’effectuer des tâches répétitives et non critiques comme affecter des tags à des clichés, à des fins de classement [42] ou réaliser des traductions [43], ces méthodes se révèlent efficaces et économiques. Tout comme l’intelligence collective, la définition du crowdsourcing étant relativement floue, il est difficile de tracer le périmètre précis de cette matière. On peut cependant définir une intersection assez claire entre le Crowdsourcing et le human computation [44], il s’agit des applications où l’humain et l’ordinateur sont interchangeables dans la réalisation d’une tâche élémentaire. Le promoteur d’un tel système peut alors soit faire appel à un groupe de « volontaires », soit programmer des agents virtuels [44] (cas du logiciel de traduction MonoTrans [45]). Mais le crowdsourcing porte dans sa définition ses propres limites. La mobilisation d’une foule peu ou pas rémunérée pour réaliser un travail précis répond à un certain nombre de conditions, notamment la passion ou l’intérêt des participants pour la matière (photo, technique, sport…), la compréhension du travail à réaliser et l’accès à une plate-forme partagée: ce qui limite quasiment ce genre de projets à des applications internet. Dans le cas du crowdsourcing on serait plus dans l’intelligence distribuée que dans l’intelligence collective. La démarche consiste à fédérer les compétences ou les actions mais on ne cherche pas la symbiose entre les membres qui n’ont pas besoin de communiquer entre eux ou d’échanger pour élaborer la solution. Le promoteur d’une solution de crowdsourcing n’est finalement qu’un opérateur isolé et relativement passif face à un processus basique de  consolidation.
Le social computing Le social computing désigne toutes les technologies qui facilitent le travail collaboratif peu hiérarchisé mais regroupant un grand nombre de participants souvent dispersés géographiquement. Ainsi les blogs collaboratifs, les wikis ou les outils professionnels de gestion de projets permettent la réalisation de certaines tâches très complexes dans des délais réduits. Wikipedia déjà cité dans le crowdsourcing est également un cas d’école du social computing mais sur un angle plus technique. Ainsi, si l’on peut appréhender le succès de Wikipedia par la capacité de la plate-forme à susciter l’intérêt (voire l’empathie « citoyenne ») de centaines de milliers de contributeurs, on peut aussi considérer Wikipedia sous l’angle du « Wiki ». Le wiki est une technique qui facilite la consolidation d’informations très dispersées et multi-contributeurs [46]. C’est l’outil de social computing par excellence, dont sont dérivés nombre de sous- produits : le blog collaboratif, les outils de gestion de projets comme basecamp [47], [48] utilisé par plus de 5000 sociétés dans le monde (un score remarquable quand on connaît la rusticité de l’outil). Myspace [49], [50] est également considéré comme un exemple de social computing orienté sur le contributeur lui-même. C’est une sorte de Wikipedia personnel et ancêtre de Facebook. Jusqu’en 2008, la notion de social computing regroupait finalement toutes les applications facilitant les échanges et la communication entre internautes sur une plate-forme commune (Youtube et Facebook compris). A posteriori, cette classification trahit une certaine incompréhension des chercheurs et des observateurs face au succès de ces nouveaux médias. Pour la plupart d’entre eux, ce renouveau du web s’expliquerait par la puissance des nouvelles technologies et non par l’efficacité d’un processus de capitalisation d’efforts, d’intelligence ou d’exploration collective dont la technologie n’a finalement été que le révélateur.
Le datamining Le datamining est un concept connexe au human computation et parfois cité par les chercheurs ou les auteurs comme composante de l’intelligence collective. Même si ce terme a souvent été utilisé pour désigner certaines innovations comme les moteurs de recherche au début des années 2000, il s’agit aujourd’hui plutôt d’un abus de langage, le « datamining » désignant un ensemble de techniques de traitement, d’organisation ou d’acquisition de données et non un véritable concept. La confusion vient du fait que certains processus de HC utilisent le datamining et certaines techniques de datamining (comme Page Rank) utilisent des informations issues d’un travail collectif ou de médias sociaux.

Le serious game : la collaboration ludique comme moteur du HC ?

   Le serious game part d’un double constat, celui d’une meilleure mémorisation de gestes d’information ou de consignes par les utilisateurs, si ils sont exposées de façon ludique auprès du public et celui d’une meilleure attention de l’utilisateur lorsqu’il agit en qualité de joueur. Ainsi les serious games sont-ils d’abord utilisés en formation : aujourd’hui 70% des entreprises du CAC40 y font appel pour leurs salariés [51]. Pour les applications de HC, le serious permet de résoudre le problème du recrutement du public, en présentant le processus comme un jeu. Ainsi, le jeu Peekaboom [52] (qualification d’images, crée en 2004 également par Luis Van Ahn [53]) s’adresse à des joueurs amateurs pour qualifier des bases de données d’images ou déterminer l’emplacement et la présence de certains objets sur une illustration. Peekaboom rend cette qualification fiable et très économique en recrutant des centaines de milliers de joueurs (Figure 7). Peekaboom résout l’équation de recrutement des utilisateurs par le jeu, le divertissement constituant à la fois la rémunération du « collaborateur » et permettant de s’assurer de sa motivation donc de la qualité des résultats. Malgré tout, depuis 2004, l’utilisation de serious game dans le domaine du HC est restée confidentielle et pose encore de nombreuses questions quant à sa mise en œuvre et à l’influence de la motivation des participants sur les résultats [54].

Les jeux massivement multi-joueurs relèvent-ils du HC ?

   Peut-on qualifier les jeux massivement multi-joueurs de Human Computation ? Le joueur évolue, en effet, dans un environnement dont il devient l’une des composantes. A tel point que l’on pourrait se demander s’il n’y a pas un jeu dans le jeu relevant à la fois du serious game et du HC [55]. L’analyse des comportements des joueurs dans le jeu « World of Warcraft » [56] intéresse ainsi certains chercheurs en économie : le marché des « objets magiques » échangés entre joueurs permettrait, en effet, de mieux comprendre la formation des prix dans un monde sans distorsions lié à la distance ou au contournement de règles. Une approche qui rappelle celle de l’intelligence collective sur les marchés financiers [57] [58]. Vu du côté de l’éditeur de World of Warcraft, « Blizzard », le joueur dans ses actions et son comportement constitue tout à la fois un client payant mais également du « contenu jouable » valorisable auprès de nouveaux joueurs. La valeur d’un jeu massivement multi-joueurs dépend ainsi tout autant de la qualité du travail de l’éditeur que du nombre de joueurs présents sur la plate-forme. Le jeu est, en effet, collectivement plus intelligent et a donc plus de valeur marketing lorsque les joueurs sont nombreux et actifs, ce qui lui assure d’ailleurs une grande longévité [59].

Table des matières

1 Executive Summary
2 Human computation, définitions état de l’art
2.1 Les concepts précurseurs
2.2 Les principes du human computation
2.3 Les concepts connexes au human computation
2.4 Topologie des concepts
2.5 Le serious game : la collaboration ludique comme moteur du HC ?
2.6 Les jeux massivement multi-joueurs relèvent-ils du HC ?
2.7 L’ADN du Human Computation
3 Le trading algorithmique, définitions et topologie
3.1 Topologie des systèmes de trading
3.1.1 Premier niveau : Optimiser le passage d’ordre
3.1.2 Deuxième niveau : automatiser l’exécution d’une stratégie
3.1.3 Niveau 3 : Systèmes auto-apprenants
3.1.4 Auto-conception d’un algorithme de trading
3.2 Axe fréquence
3.3 Architecture des algorithmes de trading
4 Recensement des modèles de HC existants pouvant servir de base ou d’inspiration pour des expérimentations sur le trading algorithmique
4.1 Le cas ENRON
4.2 Le modèle Fold-it
4.2.1 Le problème scientifique résolu par Fold-it
4.2.2 Le principe de Fold_it
4.2.3 Problèmes déjà résolus par les joueurs de Fold-it
4.2.4 Description du jeu
4.3 Les résultats de Fold-it
4.4 Fold-it, en conclusion
4.5 Exemples de principes de HC existants, appliqués au pilotage des stratégies de trading
4.5.1 Les signaux consolidés des plates-formes de trading communautaire
4.5.2 Le cas #trading
4.6 Conclusion les applications existantes du HC dans le domaine financier
5 Introduction aux expérimentations
6 Expérimentation Twitter – HC appliqué aux données d’entrée d’un système de trading
6.1 Médias sociaux : une source d’informations pertinente ?
6.2 Médias sociaux, un nouveau fournisseur de contenu pour le trading
6.3 Approche expérimentale, un signal Twitter
6.4 Définition d’un signal Twitter fondé sur l’inattendu
6.4.1 Méthode Twitter thématique
6.4.2 Méthode Twitter asémantique : l’ « inattendu inattendu »
6.5 Expérimentations préliminaires sur le VIX
6.6 Un système de trading auto-apprenant pour évaluer la pertinence des signaux
6.7 Intégration du signal « Twitter » sur une stratégie de trading
6.8 Résultats
6.9 Conclusion
7 Expérimentation Krabott : HC appliqué à l’optimisation des stratégies de trading
7.1 Disposer d’un référentiel de comparaison fiable
7.2 Contraintes de fréquence et profondeur d’historique
7.3 Krabott, l’analogie avec Fold-it
7.4 Le moteur algorithmique des Krabott
7.5 Les variantes HBGA et IGA pour mettre en œuvre le HC
7.6 Implémentation Krabott
7.7 Les prototypes Krabott V1&V2
7.7.1 Options ergonomiques
7.7.2 Promotion
7.7.3 Le jeu
7.7.4 Ergonomie mobile (version 2 mobile)
7.8 Les règles du jeu
7.9 Cycle de vie d’un Krabott
7.10 Implémentation des stratégies de trading
7.11 Les campagnes expérimentales protocoles HC 1 & HC 2
7.11.1 Protocole HC1
7.11.2 Protocole HC2
7.12 Quelques constats complémentaires sur le comportement des joueurs
7.13 Discussion
8 Expérimentations Krabott V3 (2012- 2013)
8.1 Deux nouvelles stratégies de trading
8.2 Modifications sur les règles de gestion des Krabott par rapport à la V2
8.3 Modifications ergonomiques
8.4 Les concours de performance Krabott V3
8.5 Résultats de l’expérimentation Krabott V3
8.6 Etude statistique des résultats de Krabott V3
9 Bilan et perspectives
10 Annexes
10.1 Modules Krabott « live »
10.1.1 Annexe aux calculs statistiques Krabott V3
10.2 Faire appel au human computation pour concevoir de nouvelles natures de stratégies de trading, esquisse de Krabott V4
10.3 « Krabott coach » ébauche d’un signal consolidé sur janvier-mai 2013
10.4 Architecture, exploitation base de données des expérimentations
11 Bibliographie
12 Index des figures et tableaux 

Télécharger le rapport complet