Retour au contenu principal

Big Data

Simulations en temps réel pour des décisions plus rapides

Lukas Huggenberg

Analyses en temps réel, expérimentations de résultats, visualisations et simulations étayant les décisions : il faut miser sur des ordinateurs, des mémoires et des logiciels performants mais aussi faire marcher sa matière grise si l’on veut affronter l’explosion des données.

Issues de systèmes de gestion de stocks, de transactions financières, de capteurs en réseau liés à des objets ou disséminés dans la nature, d’appareils GPS, de satellites ou de télescopes radios, les données ne cessent de se multiplier. S’y ajoutent encore les textes provenant des blogs, Twitter et autres Facebook, voire les données images, audio et vidéo de Flickr, iTunes et YouTube. Enfin, les fichiers de connexion des serveurs Web laissent aussi des traces de données également appelées « exhaust data ».

La centrale de gestion du trafic de la police d’une grande ville gère les flux de circulation grâce à l’évaluation permanente des données fournies par les capteurs et les caméras de surveillance.

On assiste ainsi à un véritable déluge informationnel avec d’énormes quantités de données non structurées et présentes dans une grande diversité de formes, produites à grande vitesse et devant être traitées en continu. Or, ces données ne peuvent être stockées dans les champs spécifiques d’un entrepôt de données et il est donc impossible de les analyser rétrospectivement par le biais de l’extraction des données. Passée la crainte d’être ainsi submergé, on qualifie toutes ces données de « Big Data ».


  • - CollapseNouveau pétrole ou riche humus

    Une expression largement répandue désigne les données comme un « nouveau pétrole » – une matière première qui ne demande qu’à être exploitée. Le journaliste britannique David McCandless, spécialisé dans la visualisation des données, modifie quelque peu la métaphore en transformant le mot « oil » en « soil », car les données sont pour lui un humus, une matière à première vue amorphe se muant en un terrain fertile pour des visualisations s’épanouissant après des « labours créatifs ». Afin d’obtenir rapidement ou souvent même en temps réel des informations spécifiques extraites des Big Data, on recourt à des logiciels d’analyse non conventionnels impliquant des capacités de calcul importantes ainsi que des techniques de stockage des plus avancées (cf. encadré en page 15). A l’aide d’algorithmes sophistiqués, on peut ainsi réaliser différentes simulations d’approches et obtenir des bases solides étayant les prises de décisions.

    Des expériences aux modèles
    Simulations et évaluations expérimentales contrôlées, synthétisation de modèles, tests d’hypothèses, différenciation des interactions – les constats obtenus à partir des données fournissent de meilleurs instruments de commande aux organisations et aux entreprises.

    Exemple : Comprendre la dynamique urbaine
    Le SENSEable City Lab du MIT agrège les données de téléphones mobiles, bus et taxis pour des visualisations permettant une meilleure compréhension de la dynamique d’une cité. Les usagers et les passants obtiennent ainsi très rapidement des informations utilisables sur leur environnement immédiat. A plus long terme, l’analyse des données permet à l’organisme urbain de s’assurer une plus grande efficacité.

    senseable.mit.edu/realtimerome


  • - CollapseLes données, facteur de production

    Dans tous les secteurs, les données sont aujourd’hui un facteur de production international – tout comme les matières premières ou le capital humain. L’activité économique est tout bonnement impensable sans le traitement des données, mais les quantités engendrées chaque jour sont entre-temps si importantes qu’elles ne peuvent physiquement plus être stockées.Jusqu’ici, c’étaient surtout les économies hautement développées du monde occidental qui exploitaient les Big Data avec le succès le plus évident. Contrairement aux start-ups, les entreprises établies de longue date ont cependant souvent du mal à identifier les opportunités liées à la numérisation du quotidien et aux données qui en découlent.

    L’hôpital convoque une patiente à un examen de contrôle lorsque les données d’un capteur qu’elle porte sur elle indiquent une évolution négative.

    Entretemps, les pays émergents disposent eux aussi d’un important potentiel de conversion des données en succès économiques avec, pour principaux moteurs, la large diffusion de la communication mobile ainsi qu’un grand nombre de spécialistes bien formés.

    Règles pour la prise de décision
    Etablir des constats en temps utile, les interpréter et les comprendre pour arrêter des mesures appropriées : les données analysées et traitées au moyen d’algorithmes automatisés soutiennent la prise de décision et réduisent le risque de choix erronés.

    Exemple : Le crime à l’image des statistiques
    Qu’il s’agisse de questions touchant aux tendances et schémas de comportements ou aux incidents locaux, le crimespotting donne des réponses sur la fréquence mensuelle des vols ou sur les quartiers où les meurtres sont particulièrement nombreux. Une vue claire de ce qui se passe réellement sur le terrain est un prérequis pour des habitants bien informés et pour une administration fiable.

    sanfrancisco.crimespotting.org


  • - CollapseLes données, créatrices de valeur

    Si les données jouent un rôle fondamental dans la création de valeur, leur analyse devient néanmoins de plus en plus complexe, au point que les entreprises se doivent d’adapter leurs processus métier si elles veulent réagir de manière appropriée. Le marketing est ainsi particulièrement touché par cette évolution (cf. également page 15), et ses acteurs doivent en même temps s’habituer au fait que les données intéressantes ne sont souvent pas à leur disposition exclusive.

    Le service clients d’un émetteur de cartes de crédit bloque automatiquement toutes les cartes pour lesquelles les données de transactions vérifiées en temps réel font soupçonner une fraude.

    Il y a longtemps que les petits courtiers en données ne cantonnent plus leur agilité à une niche mais sont désormais partie intégrante de la chaîne de création de valeur liée aux Big Data. En leur qualité de prestataires, ils peuvent compenser les déficits en savoir-faire et en ressources internes des entreprises. Par ailleurs, ce sont les fournisseurs de données eux-mêmes – autrement dit les clients – qui comparent la qualité et les prix dans les réseaux sociaux et fournissent ainsi aux fabricants les bases d’offres génératrices d’une valeur accrue. Afin de pouvoir assurer cette création de valeur à partir de quantités de données toujours plus importantes, les entreprises et autres organisations investissent désormais de plus en plus dans cinq solutions relativement faciles à implémenter, procédant ainsi aux réorganisations devenues nécessaires.

    Publication transparente des données Les temps de recherche et de traitement sont réduits de façon massive si les différents services de l’administration publique obtiennent par exemple un accès plus simple et plus rapide à des données issues de sources diverses. Dans l’industrie manufacturière, les doublons peuvent être évités et l’introduction sur le marché se trouve accélérée dans la mesure où la recherche, le développement, la production et le marketing s’affranchissent de la pensée cloisonnée souvent de mise en rendant leurs données mutuellement accessibles.

    Les données, un riche champ d’expérimentation Qu’il s’agisse d’états de stocks ou de journées de maladie, de paramètres influençables ou non, une évaluation de données réalisée en temps réel au moyen de simulations contrôlées permet des constats quant aux causes des variations des résultats commerciaux et dote ainsi la direction de l’entreprise de meilleurs instruments de pilotage. Les informations sont analysées en continu, synthétisées sous forme de nouveaux modèles et disponibles instantanément dans toute la société, de l’entrepôt jusqu’au bureau du responsable financier. Les hypothèses peuvent être testées comme il se doit et les causes des corrélations font l’objet d’une différenciation.

    Un prestataire constate sur la base des critiques formulées sur Facebook et via Twitter que son service clients est de plus en plus sujet à des appréciations négatives.

    Dans le cadre du projet « FuturICT », des scientifiques travaillent à la mise en place d’un « Living Earth Simulator », combinaison de superordinateur et d’observatoires de foyers de crise au moyen desquels les décideurs devraient se voir suggérer des mesures scientifiquement fondées lorsque des situations difficiles apparaissent sur les marchés financiers, au niveau de l’environnement ou de la société.

    Segmentation en fonction des publics cibles Si on connaît déjà les produits et prestations sur mesure dans le marketing et la gestion des risques, force est de constater que la segmentation devient de plus en plus spécifique avec l’analyse des Big Data, requise dans des temps toujours plus courts avec des messages spécifiques de plus en plus efficaces. Encore largement orienté sur une approche non différenciée des citoyens, le secteur public commence du reste lui aussi à reconnaître de tels avantages.

    Des médecins établissent des diagnostics plus rapides et plus exacts lorsqu’ils disposent d’hypothèses générées automatiquement en fonction des corrélations entre les valeurs mesurées.

    Outils pour la prise de décision Lorsque l’analyse des données s’effectue sur la base d’algorithmes automatisés, les résultats étayent la prise de décision chez qui de droit. On réduit ainsi le risque de mesures inadéquates, avec, en prime, des constats qui n’auraient pu se révéler à temps, voire pas du tout, avec des processus d’analyse traditionnelle. Qu’il s’agisse de données clients ou issues de capteurs intégrés dans des produits, ce n’est souvent qu’avec un traitement et une visualisation automatisés qu’on est à même d’interpréter et de comprendre leurs implications.

    Offres améliorées et nouveaux modèles commerciaux Les constats obtenus à partir des Big Data permettent aux entreprises d’améliorer les offres existantes et de lancer de nouveaux modèles commerciaux. L’industrie des biens de consommation recourt par exemple aux appréciations fournies par les consommateurs dans le cadre des réseaux sociaux pour le développement des futures générations de produits et pour la mise en place de nouvelles prestations visant une fidélisation de la clientèle. Les fils d’actualité, tweets, messages Facebook et autres blogs sont examinés par le truchement de l’analyse de texte – appelée « analyse de sentiment » dans le cas précis – de façon à voir ce qu’écrivent les auteurs des communications quant à la qualité d’un produit ou d’un service clients.

    Une boutique en ligne analyse en continu les successions de clics sur ses pages de commande pour proposer à chaque client des offres spéciales personnalisées.


  • - CollapseNouveaux services à l’honneur

    La capacité d’exploiter profitablement les Big Data devient de plus en plus un élément central de la concurrence et de la croissance, et on voit ainsi apparaître de nouvelles entreprises capables de trouver leur place dans les flux de données librement accessibles pour proposer des prestations entièrement nouvelles.
    Les agrégateurs – des spécialistes qui ne font rien d’autre que de regrouper les données provenant de différentes sources pour les évaluer et les revendre avec les résultats de leurs analyses – ont d’ores et déjà le vent en poupe. Une entreprise de transport internationale a ainsi fondé une filiale extrayant des informations spécifiques à partir des données liées aux opérations quotidiennes des transferts internationaux de marchandises dans le but de les vendre à des clients émettant des prévisions économiques.

    Plus productifs et plus satisfaits

    L’évaluation des Big Data permet aussi une augmentation de la productivité et de la satisfaction client. Les diverses entités en présence ont plus de succès lorsqu’elles intègrent les outils pour l’obtention de Big Data dans leurs produits et prestations qu’elles peuvent ainsi davantage adapter en fonction des besoins de leur clientèle, en leur octroyant une valeur ajoutée et une certaine durabilité. Les consommateurs et les usagers tirent un avantage tant direct qu’indirect du progrès lié aux Big Data. Ils obtiennent des produits et services mieux utilisables et profitent d’une tarification plus transparente. La couverture de santé devient plus sûre et plus avantageuse alors que des informations sur le trafic permettent de ménager les nerfs, le temps et le carburant des automobilistes. Sans parler de l’engagement sociétal dont l’impact se fait encore plus directement sentir.

    Pepsi. Doritos. Audi.

    Les médias sociaux, caisse de résonance
    Interpeller des segments toujours plus spécifiques dans un laps de temps toujours plus court et de façon toujours plus efficace : avec le « Social Listening » et l’analyse de sentiments, les constats requis peuvent être obtenus à partir des données grâce aux outils appropriés mis à disposition par IBM Cognos Customer Insight.

    Exemple : Public sous observation 
    Lorsqu’une communauté Twitter internationale s’étend très largement sur une action de publicité ou de marketing, la chose peut nuire à la réputation d’une entreprise ou au contraire valoir à celle-ci d’importants avantages. Dans les deux cas, l’observation permanente du développement de la discussion aide à prendre à temps des mesures appropriées.

    nyti.ms/FSsp


  • - CollapseObstacles et potentiels

    Tous les secteurs affichent un potentiel d’augmentation de la valeur d’entreprise grâce à l’utilisation des Big Data, mais le fait est que les différents acteurs doivent écarter les obstacles techniques et structurels et investir en conséquence dans l’établissement des savoir-faire. Une étude du McKinsey Global Institute déplore également qu’on ne prévoit que 5 % de dépenses en plus au niveau de l’informatique, et ce en dépit d’un taux de croissance annuel de 42 % au niveau des quantités de données.

    L’autorité fiscale est à même d’identifier les potentiels contrevenants en reconnaissant les schémas qui laissent soupçonner une fausse déclaration.

    Le progrès est par ailleurs entravé par un manque patent de spécialistes disposant de connaissances suffisamment larges en matière de statistiques et de systèmes apprenants, sans parler de décideurs sachant comment diriger une entreprise dont le succès repose sur les Big Data. La formation de spécialistes qualifiés requiert du temps, et les personnes talentueuses ont elles aussi besoin d’un certain nombre d’années avant de pouvoir utiliser productivement les connaissances acquises. L’étude de McKinsey pronostique rien que pour les USA des besoins accrus de 140 000 à 190 000 spécialistes des données et de
    1,5 million d’autres experts dûment formés d’ici 2018.

    Des complications et des règles

    Si l’accès aux données sensibles telles que celles mises à disposition par une administration publique soucieuse de transparence ou provenant des réseaux sociaux est toujours plus simple, les entreprises doivent désormais se soumettre à de nouveaux instrumentaires et règles.

    Les vendeurs automobiles peuvent planifier plus précisément les prestations de services concernant leurs véhicules lorsque des capteurs intégrés à ces derniers les informent à temps d’un potentiel problème.

    Il convient notamment d’éclaircir les questions relatives au respect de la sphère privée, à la protection des données, à la propriété intellectuelle ainsi qu’à la responsabilité. Le respect des règles exige une certaine retenue dans l’utilisation des constats obtenus à partir des données et est ainsi souvent diamétralement opposé aux possibles avantages qu’on peut tirer dans un tel contexte.

    C’est un triste fait que l’on dispose aujourd’hui de bien trop peu d’informations inutiles, plaisantait Oscar Wilde en 1894. Celui-ci ne pouvait soupçonner quel flux d’informations inutiles et surtout non utilisées allait pouvoir être transformé une bonne centaine d’années plus tard en des informations pertinentes grâce à une technologie intelligente.

    Sources
    McKinsey Global Institute ; Big Data : The next frontier for innovation, competition, and productivity, mai 2011. McKinsey Quarterly : Are you ready for the era of big data ? Octobre 2011. The Economist ; Special Report : Managing Information, Février 2010.

    DJIA 12150.13 +52.30 +0.43%. Nasdaq 2649.56. Utilities. Technology. Energy. Basic Materials. Capital Goods. Transport. Telecom. sumer Cylicals. Health Care. Financial.

    Des services nouveaux et plus utiles
    S’adaptant aux besoins des utilisateurs, produisant une valeur ajoutée et s’inscrivant dans une action durable, des entreprises novatrices exploitent les flux de données librement accessibles et proposent désormais des offres complètement nouvelles.

    Exemple : Meilleure vision des marchés
    Afin d’obtenir rapidement une impression de la situation actuelle sur les marchés des actions, de l’importance des branches individuelles dans les différents secteurs ou de certains titres dans un secteur donné, le traitement visuel de ces informations dépasse de loin l’impact de simples colonnes de chiffres. Suite à l’obtention d’une licence, la possibilité de personnaliser la présentation des données pour une version élargie de l’application permettra un jour ou l’autre de transformer les visiteurs occasionnels d’un site Web en des clients payants.

    smartmoney.com/map-of-the-market


  • - CollapseBig Data…

    Analyser les Big Data
    Watson montre tout ce qui devient possible lorsqu’on utilise dix serveurs dotés de 2870 cœurs de processeurs, associés à une technique de stockage inédite et à une analyse de texte en profondeur. Les serveurs et systèmes de stockage dédiés à l’analyse des Big Data pouvant faire littéralement exploser les budgets, la plateforme logicielle IBM InfoSphere BigInsights* peut aussi être exploitée sur un cluster PC standard avec processeurs distribués. On peut utiliser ici le logiciel Open Source Hadoop mis en œuvre pour Watson et qui émule un mainframe alors qu’IBM Cognos Customer Insight intervient pour l’analyse de sentiments.

    Stocker les Big Data
    Les volumes toujours accrus requièrent des systèmes et des investissements plus performants quant à la sécurité, à l’intégrité et à la disponibilité des données, mais ils impliquent également des spécialistes richement rémunérés, à même de configurer et d’utiliser des mémoires SAN et NAS hautement complexes. Le stockage en grille de la plateforme matérielle IBM XIV* permet aux entreprises d’obtenir des performances massivement plus élevées et dans une qualité au moins identique à celle des solutions traditionnelles, sans pour autant nécessiter des connaissances spécialisées.

    Big Data dans le nuage
    Les services cloud d’IBM* pour infra-structures, plateformes et logiciels sont conçus pour couvrir des besoins extrêmes au niveau des volumes et des temps de traitement. Sous forme de services payés à l’utilisation, ces solutions peuvent judicieusement compléter l’infrastructure informatique des entreprises en cas de goulots d’étranglement. Les projets Big Data peuvent aussi être exclusivement réalisés sur le nuage, comme le montre un projet pilote tessinois collectant les données fournies par des capteurs en forêt. Le système alarme alors automatiquement les pompiers lorsque des valeurs spécifiques font craindre la possibilité d’un incendie.