Détecter les tendances, les mouvements d'opinion, le futur avec Twitter et Deep Sea

Un des nouveaux domaines apparus avec le Big Data (Expression qui commence à ne plus vouloir rien dire) est le retour en mode High-Tech d'un des plus vieux jeux de l'humanité: la divination.

En ce début de 21ème siècle, l'homme a de sacrés atouts pour tenter de deviner où Dieu va lancer les dés ou au moins savoir quand Dieu n'est pas à la manoeuvre.

Grâce aux ordinateurs, aux possibilités de stockage de données et surtout aux réseaux interconnectés où ses semblables aiment communiquer et livrer leurs pensées, fiertés et peines, l'homme peut calculer la vitesses, les angles d'inclinaison, etc.. des dés et tenter avec précision de savoir ce qui risque d'arriver ou ce qui a de grandes chances de ne pas arriver ..

Grâce au big data, les théories classiques de statistiques et probabilités qui ont régné pendant quelques siècles ne sont plus les seules.

Adios Poisson, Gauss, théorème central limite et loi normale !

Bienvenue à de nouvelles méthodes (d'ailleurs pas si neuves que ça)  comme celles de statistical learning model à l'image de Vapnik.

Il n'est pas non plus nécessaire d'avoir accès à des chambres fortes où sont enfermés des secrets et des données bizarres. Google, Facebook, Twitter et plein d'autres nous donnent accès à assez de données afin de pouvoir tirer des conclusions très intéressantes, pour peu qu'on ait la bonne learning machine ou qu'on ait senti le bon algorithme de traitement de l'information.

A nous une sorte d'analyse chartiste sur l'information disponible en masse.

De multiples essais de prévisions, corrélations ont déjà été décrits avec l'utilisation des données de Google (Google Trends) ou sur la base des statistiques d'audience de Wikipedia ou sur les données de twitter.

Sport, politique, e-commerce, audience des medias, future audience des films, valeurs de la bourse sont autant de domaines qui ont fait l'objet d'études de ce type, avec plus ou moins de réussite, de conclusions et d'avances sur la théorie et les idées préconçues.

Les financiers et les marchés ont bien compris l'intérêt de ce domaine puisque les fournisseurs d'informations aux marchés commencent à intégrer ce type d'informations sur les écrans qu'ils mettent à disposition des salles des marchés. (Voir aussi  http://fr.tradingfloor.com/saxo-tweet-index ).

(cf en ce qui concerne spécifiquement twitter http://arxiv.org/find/all/1/all:+twitter/0/1/0/all/0/1  ).

Nous (Tubbydev) avons conçu (et continuons de développer) Deep Sea, un outil d'aide à la recherche de corrélations entre des phénomènes détectés sur twitter et d'autres choses.

Les questions qu'on peut se poser et auxquelles Deep Sea peut aider à répondre:

- comment savoir quels Twitter Trends vont devenir des Google Trends ?

- quel est le bruit "normal" d'un sujet sur twitter ?

- twitter est-il un bon indicateur de tendances pour tel business ?

- comment détecter sur twitter les manipulations de buzz ?

- y a-t-il une corrélation entre tel phénomène et un sous-jacent sur Twitter ?

- peut-on prédire des sondages plus vite et plus en amont sur Twitter ?

- etc, etc..

Pour tenter d'apporter des réponses, Deep Sea récupère dans twitter tout un tas d'éléments, non pas à partir de profils, mais à partir de mots clés.

L'idée générale n'est pas de lister "bêtement" des tweetos et des tweets comme le font une majorité d'outils de veille des réseaux sociaux mais d'analyser et de montrer la façon et les volumes de certaines caractéristiques que le flux twitter fournit sur un sujet.

Deep Sea mesure entre autres la fréquence des tweets, leur nature, type de contenu (RT, @, URL), leurs auteurs, les âges des comptes de ceux-ci, les évolutions de nombres de followers/followings des twittos qui parlent d'un sujet, les champs lexicaux dégagés par le flux du sujet, le top des auteurs d'un sujet, des hashtags, des url, des images, etc..

Dans Deep Sea, plus de 150 indicateurs permettent d'analyser ce qui se dit sur UN sujet et de trouver ensuite une éventuelle corrélation avec une autre caractéristique du sujet (cours de bourse, météo, sondage, résultats sportifs, résultats électoraux, présence dans les medias classiques, audience, etc...).

Très souvent la conclusion n'est pas une prédiction mais permet d'être sûr de ce qui n'arrivera pas ou d'arriver à trier ce qui peut être important de ce qui ne l'est pas.

Par exemple, Deep Sea permet de voir facilement quand un sujet prend de l'importance dans twitter. Vous direz que c'est facile avec les Trends mais c'est faux car un sujet peut être AUSSI un ensemble de mots clés que Twitter Trends ne détectera pas comme ensemble.

Une vague de fond peut se détecter quand on s'aperçoit que la fréquence des tweets augmente, que le nombre d'auteurs / 100 tweets augmente, qu'une url se met à être reweetée plus que d'habitude car le nombre de RT augmente en fréquence ou que l'âge moyen des comptes de tweetos ainsi que la moyenne du nb de followers des tweetos qui parlent habituellement du sujet change ..

Si:

- vous cherchez à deviner l'avenir

- ou que vous avez une société de comm/RP qui veut apporter à ses clients la connaissance réelle des tendances les concernant (que ce soit sur leurs marques, leurs concurrents, leurs domaines, la réputation de leurs dirigeants)

- ou que vous êtes un parti politique ou une fondation voulant découvrir les tendances de la société avant les autres

- ou un groupe de medias qui chaque matin se demande de quoi parler pour intéresser les gens

- ou une société financière qui a compris que twitter pouvait être un bon prisme pour appréhender le sentiment général et donc les évolutions des marchés

alors n'hésitez pas à nous contacter pour une démonstration des possibilités de Deep Sea !