Étiquette : Big Data

Transformation digitale de la FNAC

La FNAC est digitalement transformée. On m’envoie un article sur le sujet. 
Eh bien, pas convaincu. Je ne suis pas sûr que la transformation soit complète. Une FNAC se trouve près de chez moi. J’y passe et n’achète rien alors que j’ai des besoins. Un comble. Plus rien de tentant. L’article dit qu’elle sait ce qu’est un client grâce aux « data ». Je crois que c’est son erreur. Les datas ne sont pas inutiles. Mais elles sont seulement utiles au service d’un projet, d’une enquête. Elles ne parlent pas d’elles-même. Le bon commerçant est amoureux des hommes, pas des datas. 

Cancer et astronomie

A l’échelle près, la mort d’une cellule ressemble à la mort d’une étoile. Y aurait-il un même type de phénomène à l’oeuvre ? Espoir de découverte d’un traitement du cancer ? Cette observation peut avoir un intérêt pratique sans cela : les techniques de traitement de données de l’une peuvent servir à l’autre.

De l’intérêt (enfin ?) de Big Data… (Nouvelle en provenance de Cambridge.)

11 septembre français ?

Attentats en France. La presse doit pouvoir publier ce qui lui plaît, même si cela peut « offenser » (The Economist n’a pas voulu publier les caricatures de Mahomet). Et surtout, attention à ne pas faire d’amalgame entre une infime minorité terroriste, et une immense majorité pacifique.
La Lybie est à feu et à sang, comment se tirer d’un chaos (incompréhensible) ? L’Occident avait mis à la tête du pays un comité d’intellectuels. Il n’a pas osé affronter les hommes forts de ses communautés. Car, la Lybie n’avait pas de tradition unitaire, mais, au contraire, est constituée de groupes ennemis. Curieusement, il demeure un certain Bernardino Leon qui tente d’organiser des négociations entre combattants. Son espoir est de leur couper les vivres pour les contraindre à la discussion. L’Allemagneest aux prises avec des mouvements anti-immigrés. Mais des mouvements opposés prendraient le dessus. Mme Merkel, finalement, aurait décidé de ne pas peser sur les élections grecques (où règne la confusion). En Angleterre, les élections devraient se jouer sur les thèmes des années 90. Ce qui donnerait un avantage aux conservateurs. La situation du pays paraît inquiétante. En effet, ses revenus dépendraient en grande partie de ses placements à l’étranger (560% de son PIB). Or, ils ne lui rapportent plus rien, du fait de la crise mondiale. Sa croissance pourrait se faire par « épuisement de sa richesse ». Le modèle de développement économique de l’Afriquepourrait, enfin, changer. Elle commencerait à se dégager de sa dépendance vis-à-vis des matières premières. Le marché des services, en particulier, se développe. Pour réussir, définitivement, il faut « améliorer son système d’éducation, des investissements dans les infrastructures et une réforme intelligente de la réglementation ». Aux USA, le système politique va continuer à être la proie des escarmouches. Et le parti démocrate manque de quelqu’un qui puisse donner un sens à son combat. Quant à M.Obama il veut laisser une trace dans l’histoire. Ce qui l’amène à rechercher des majorités dans lesquelles son camp se retrouve rarement entier. Les pays du Golfe doivent maintenir leur « stabilité sociale » par la subvention. Ils vont devoir compenser la baisse de leurs revenus pétroliers. Probablement par les impôts.
McDonald’s est à nouveau en difficultés. Faiblesse : sa dépendance vis-à-vis d’une image qui peut-être facilement attaquée. Emergence d’une concurrence « haut de gamme » : le « Fast casual ». Sans OGM.
Le TGV européen n’a pas eu les effets attendus. On utilise toujours autant la voiture. Le bus est en perte de vitesse. Le train n’a pas pris de marché (le TGV a cannibalisé les lignes lentes). C’est l’avion qui a le plus progressé ! The Economist incrimine l’incapacité des opérateurs ferroviaires européens à gagner en efficacité. Faute de concurrence.
« Dans trois grands secteurs (le capitalisme) a singulièrement échoué : la santé, l’éducation et le logement ». Comment, en particulier, réduire le prix du logement, qui n’a fait qu’augmenter. Il faut « avancer sur plusieurs fronts ». (Je ne vois rien de lumineux se dégager de l’article…) Que signifie un monde endetté ? La stagnation. Le Japon est dans cette situation depuis 20 ans. Mais nos sociétés sont moins « homogènes » que la sienne. Plus fragiles aux chocs… Les armées privées connaissent un remarquable développement. Pourraient-elles se créer un marché en déclenchant des guerres ?
Applications de Big Data chez les entreprises du numérique : prévenir le départ de compétences ; équilibrer offre et demande (rien de neuf ?). Quels sont les bénéfices du commerce électronique ? Curieusement, pas majoritairement économiques ! Cela profiterait à des produits peu achetés (livres rares). Mais l’impact économique serait faible. En fait, Internet aurait un intérêt non financier : c’est une distraction gratuite du même type que le léchage de vitrine. 

Big data et les cancrelats

Suite de mon enquête sur Big Data. Après avoir parlé de l’affrontement Google Oracle, c’est au tour du vrai Big Data. Le traitement de masses de données, et la recherche en maths. A ma gauche, peut-être un des meilleurs matheux mondiaux, à ma droite, la force tranquille d’un monstre industriel discret qui fournit le matériel derrière quelques-unes des réalisations les plus impressionnantes du domaine.

Découragement pour commencer. Le matheux : quand un lion tue une gazelle, l’hyène arrive puis le chacal. Et les cancrelats ? Ils sont là avant tout le monde. Idem pour Big Data. Le sujet a été pourri par les incompétents. Des brasseurs de mots et des vendeurs d’illusions. Data mining, Big Data, Smart Data… En fait, il y a effectivement des « avancées » dans le traitement de données. Mais pas une révolution.
Volume, Velocity, Variety, Value
« Volume, Velocity, Variety, Value » Voilà ce qu’il faut considérer avant de se lancer dans Big Data.
Si je comprends bien, cela signifie que ce que l’on sait faire maintenant, et que l’on savait moins bien faire avant, c’est traiter d’énormes volumes de données – donnée exhaustive, pas échantillon -, de natures multiples et nouvelles, et surtout des flux « temps réel » (pas de la donnée statique, comme jadis). Employer l’attirail du Big Data n’est justifié que si l’on cherche du décisif (Value). « Il faut vouloir optimiser quelque-chose, ouvrir de nouveaux horizons… » 
Bref, avez-vous un besoin urgent de transformer massivement vos affaires ? Les assureurs seraient dans ce cas. Car Google veut leur faire la peau. Il pense qu’avec ses algorithmes et ses données il sera vite capable de proposer des assurances bien meilleures que les leurs.
Ce sont surtout les usages qui changent. Au lieu d’analyser des données passées, on est dans l’aide à la décision et la prospective.
Et, comme souvent, les innovateurs ne seraient pas où on le croit. L’industrie serait pionnière, avec la maintenance des machines, la recherche d’économie d’énergie, l’optimisation de processus de fabrication complexes… (Mon intuition était juste !) Le secteur financier est peu avancé.
« Donnez-moi des idées »
Pour commencer, donc, il faut trouver une idée qui casse la baraque. « On apprend des autres. » Aujourd’hui, les entreprises cherchent l’inspiration chez les autres. D’ailleurs, vu l’investissement que représente un projet Big Data, il faut un sacré argumentaire pour le justifier. Seconde raison de trouver une idée impressionnante. 
Le problème est humain !
Mais le problème n’est pas technique. Il est humain ! C’est de la conduite du changement. C’est quand on est parvenu à formuler un problème Big Data que les difficultés commencent. En effet il y a « rupture totale ». Un projet Big Data demande de recréer une organisation au sein de l’entreprise, d’inventer des algorithmes et donc de disposer de chercheurs du meilleur niveau mondial, et de faire collaborer des gens « en silo ». Sans compter que l’entreprise n’a pas généralement les compétences pour faire le pont entre une vision stratégique des affaires et la compréhension des outils utilisés par le Biga Data (le fameux « data scientist », qui est plus une sorte d’humaniste de la Renaissance qu’un autiste ascendant Silicon Valley). Et quand Big Data a produit l’idée qui tue, il faut faire bouger l’entreprise et son écosystème pour la mettre en oeuvre…

Mathématiques pour ordinateurs

Mon enquête sur big data m’a fait recroiser le chemin de la « programmation linéaire ». Ce qui m’a rappelé ma lointaine jeunesse. Et les constatations que j’avais faites à l’époque où je m’occupais d’algorithmes pour Dassault Systèmes. 
Comme tout ce qui est théorique, la programmation linéaire pose beaucoup de problèmes. En particulier, elle fait appel à des heuristiques. J’ai constaté qu’avec les ordinateurs, il fallait être « bestial ». 
  • Il n’y a pas de cas général, que des cas particuliers. Appliquer la formule du livre de cours ou de l’article scientifique ne marche pas. (C’est l’équivalent du copier / coller d’Hervé Kabla.) Il faut tirer parti des particularités de la réalité. Il faut refuser le diktat des livres. 
  • Une formule mathématique ne signifie rien. Et cela pose de gros problèmes : comment savoir si la solution trouvée (forcément approximative) est « suffisamment » proche de la bonne solution ? Pour s’en tirer, il faut en revenir à la réalité. Alors, les écarts deviennent des distances, et l’on peut savoir si l’on respecte ou non les « tolérances ». Surtout, on a souvent une idée assez bonne d’où chercher le point de départ de l’itération qui permettra d’atteindre son objectif rapidement. Pour cela, d’ailleurs, on peut utiliser des méthodes bestiales, comme les dichotomies, qui sont lentes, mais qui convergent à tous les coups. (Ce qui n’est pas le cas des algorithmes les plus sophistiqués.)
  • Et, il paie d’être encore plus bestial. En combinant l’intuition humaine et la puissance du calculateur, on n’a même pas besoin d’algorithmes sophistiqués. Si la zone à explorer est suffisamment petite, on peut en faire un maillage fin, et calculer la valeur de chaque nœud.

L’homme ne doit pas se laisser faire par l’ordinateur !

2001 A Space Odyssey Style B.jpg

Les dessous de big data

Des amis m’ont lancé sur la piste de big data. Pourquoi en parle-t-on autant, et pourquoi y a-t-il aussi peu de résultats. Voici quelques impressions que je retire du début de mon enquête.
Il semble qu’une guerre de titans se livre entre les mastodontes de type Microsoft, Oracle et IBM et Google et son gang.
Le premier groupe est celui des grosses machines, de la technocratie, il a dominé la société d’hier. Il l’a saturée de « gros » matériels et logiciels, dont on se rend compte aujourd’hui qu’ils sont inadaptés à beaucoup d’usages. Ce qu’ils nous fourguent n’est même pas inutile. C’est nuisible. C’est l’équivalent de la « junk food ». 
La seconde équipe reflète une idéologie à la Ayn Rand. Le riche est créateur de valeur, pas la société. Mais l’individu ne peut pas faire de miracle, seul il ne peut pas créer grand chose. Il est contraint d’exploiter les techniques du passé. Réseaux d’ordinateurs frustes, vieux algorithmes « démocratisés »… C’est un monde à la Branson où les avions explosent en vol. Un monde à la Mad Max, d’hommes dignes de ce nom, à qui l’évocation du principe de précaution cause des crises d’épilepsie. Pensez-donc, si l’on ne peut plus vendre d’avions qui explosent, mais où va-t-on !
Tous les deux s’affrontent sur le sujet de la smart city, une société où tout passerait par Internet. Les premiers pensent relancer leur croissance flageolante en casant des masses de capteurs, et du gros matériel. Les seconds veulent nous faire entrer dans leur monde virtuel.
L’entreprise « normale » est au milieu des deux, elle est, en partie, l’objet de la lutte qu’ils se livrent. Le premier groupe se demande comment l’alourdir un peu plus ; le second cherche à la transformer à son image, à en faire une « lean start up ».
Le cave se rebiffe ?
Et si c’était l’heure de la revanche ? Et si après avoir donné sa chemise à Oracle et aux autres, puis à Google, l’entreprise jouait de leur rivalité pour reprendre des couleurs ?
En effet, grâce à Google, elle peut faire maigrir sérieusement son système d’information. Et, en même temps, IBM, Oracle et Microsoft. Quant à Mad Max, pourra-t-il longtemps vivre du passé ?
(L’avenir serait-il à une entreprise qui aurait retrouvé un « poids de forme » ? On en revient à Münchhausen, mais sous un angle inattendu.)
Mad max two the road warrior.jpg

« Mad max two the road warrior » by Derived from a digital capture (photo/scan) of the Film Poster/DVD Cover (creator of this digital version is irrelevant as the copyright in all equivalent images is still held by the same party). Copyright held by the film company or the artist. Claimed as fair use regardless.. Licensed under <a href="https://en.wikipedia.org/wiki/File:Mad_max_two_the_road_warrior.jpg&quot; style="font-size: x-small;" title="Fair use of copyrighted material in the context of Mad Max 2« >Fair use via Wikipedia.

Et si la NSA avait tué Big Data ?

Une idée que l’on entend beaucoup dans certains milieux est qu’Internet serait la voix du Marché, donc de la société. Est-ce vraiment le cas ? 
Lorsque je faisais des études de marché, on expliquait qu’il fallait se méfier des sondages autoadministrés (ceux à qui ne répondent que des volontaires), et qu’un échantillon devait être significatif. 
Rencontre-t-on sur Internet des échantillons significatifs ou sommes-nous en auto-administré ? Et si, surtout, Internet était victime du phénomène FN (les sondés n’osent pas dire qu’ils votent pour le FN) ? Depuis que je vois certains de mes élèves user de pseudonymes ou se méfier du blog (privé) que nous utilisons en cours, c’est la question que je me pose. Et si la NSA avait tué Big Data ?

(En tout cas, Internet n’a pas tué les sciences sociales. Internet est créé et manipulé par des hommes. Comprendre le comportement des êtres humains passe encore par les techniques d’enquête traditionnelles en anthropologie ou en sociologie.)

Condorcet, analyse relationnelle et big data

Les travaux de Condorcet sur le vote ont eu une curieuse conséquence. On a découvert que sa mathématique permettait de faire des typologies de données. C’est le domaine de l’Analyse relationnelle de MM. Marcotorchino et Michaud.
Imaginons que vous soyez la NSA et que vous vouliez identifier automatiquement une communauté d’esprits malfaisants, sans même savoir qu’ils existent. Condorcet vous propose une technique qui permet de regrouper les mails mondiaux selon des classes de similarité, sans avoir à faire de traitement préliminaire des données ordinaire en statistiques (ce qui demande du temps et introduit un biais). Pour cela il faut disposer d’un moyen de coder les mails (par exemple en fonction des « unités lexicales » employées). De là on peut définir deux mesures, de proximité et d’éloignement, entre éléments pris deux à deux. Alors apparaît le critère de Condorcet pour une partition des données. C’est la somme des mesures de proximité des éléments d’une même classe plus la somme des mesures d’éloignement des éléments appartenant à des classes distinctes. Optimiser ce critère permet, en quelque sorte, de disposer d’une partition qui maximise à la fois la proximité entre éléments d’une même classe et la distance entre éléments de classes distinctes.
Bien qu’heuristiques, les algorithmes (programmation linéaire) qui permettent de faire ces calculs sont sensiblement plus efficace que ceux qu’utilisent d’autres techniques de classification.
Enseignement ? Condorcet pensait que sa mathématique ferait le bonheur de l’humanité. Comme Taylor, il avait sous-estimé la complexité du problème. Surtout, la première application de ses travaux pourrait bien servir au flicage. La motivation à nuire à l’humanité aurait-elle toujours un coup d’avance sur la volonté à l’aider ? (Ou est-il plus complexe d’aider que de nuire ?)
(En quoi cela simplifie-t-il le travail de la NSA ? Chaque classe est représentée par un élément central, ce qui permet de savoir, simplement, ce qui la caractérise. Ensuite, il suffit de faire liquider par un drone les classes suspectes. Les approximations de l’heuristique sont ensuite traduites en « dommages collatéraux »  par la communication officielle.)

Vieille Amérique

« Même si la croissance potentielle repart un peu, l’Amérique va de plus en plus ressembler aux économies vieillissantes, à faible croissance, qu’elle méprisait ». Le chômage est faible, mais l’Amérique ne croît pas. Le moteur de son développement est grippé.
La France est enlisée au Mali. M.Hollande a voulu faire comme M.Mitterrand. Mais il n’avait pas les mêmes atouts. En Ukraine, « La colère sur le terrain peut-être en train de créer ce que Alexender Golts (…) appelle « une longue guerre partisane » ». Elle aurait échappé au contrôle de la Russie. Justice italienne. Cauchemar de l’économie. Cause culturelle, peut-être : ce qui compte n’est pas l’efficacité mais l’élégance intellectuelle du jugement… La Suisse, une confédération, pourrait-elle donner des leçons à l’UE ? Elle semble avoir tiré le meilleur des cultures qui la composent. Mais, « l’union monétaire suisse est arrivée après des siècles d’unité politique ». Remaniement ministériel en Angleterre. M.Cameron a constitué un gouvernement en vue des prochaines élections. Il a de bonnes chances de gagner, vue la médiocrité d’Ed Milliband. Gouvernement faible, et qui n’améliore pas les chances de l’Angleterre de rester dans l’UE. Israël et les Palestiniens. Pas une guerre mais recherche du retour au statu quo ante. Le Hamas est dans l’intérêt d’Israël, qui craint qu’il ne soit remplacé par Al Qaeda. Les frappes visent essentiellement ses membres, et leur famille. Aux USA, le monde politique se solidifie en deux camps, qui ne veulent pas se parler. Démocratie paralysée.
Venezuela. A la suite d’une grève, M.Chavez a licencié une grande partie des employés de son industrie pétrolière. Ils avaient une compétence rare. Ils sont partis faire la fortune des pays voisins. Les BRICS (ou la Chine, surtout ?) ont décidé de remplacer le FMI. Ambition : aider les pays en développement à investir dans des infrastructures de transport. Au Japon, la côte de popularité de M. Abe choit. « M. Abe est perçu comme ayant fait passer en force, contre la volonté de la plupart de la population, un changement historique de la politique de sécurité japonaise ». Les capitaux, les oligarques et les mafieux de la Chine continentale sont en passe de museler la presse de Hong Kong. Chine continentale dans laquelle les victimes de la nouvelle révolution culturelle, anti corruption, sont de plus en plus nombreuses. Nouveau gouvernement égyptien. Paternaliste et paralysé par sa dépendance aux intérêts spéciaux nationaux.
Qu’est-ce qui tire l’industrie pharmaceutique ? La recherche des failles de la législation. L’industrie pétrolière, elle, parie que le pétrole restera cher et  que les gouvernements seront incapables de combattre le réchauffement climatique. Après des années douloureuses, les affaires de l’industrie de l’armement repartent. Mais le marché est fragmenté et difficile. L’industrie de l’armement doit devenir efficace. Apple et IBM s’allient. Les forces d’IBM vont se mettre à vendre les produits d’IBM à l’entreprise. Leurs concurrents sont pris par surprise. Qu’attendre de Big data ? Pas de rupture, une optimisation à la marge, mais sur de gros volumes.  

L’Ecosse et le Royaume uni, victimes de Mme Thatcher ?

L’Ecosse va-t-elle quitter le Royaume Uni ? The Economist pense que ce serait une folie économique. Les sondages semblent dire que ce ne sera pas le cas. Mais The Economist ne peut que constater la rancœur des Ecossais vis-à-vis de l’Angleterre. Comment en est-on arrivé là ? L’Ecosse a beaucoup profité de l’Empire. Mais elle a souffert de la désindustrialisation. Mais, c’est Margaret Thatcher qui semble avoir porté le coup fatal…
Mateo Renzi souffre, lui, de l’ombre de M.Berlusconi et de la réputation de manque de rigueur de l’Italie. Cela pourrait lui ôter toute capacité d’obtenir ce qu’il veut de l’Europe. Pourquoi les Scandinaves occupent-ils tant de postes de responsabilité internationaux ? Parce qu’ils sont petits, et peu menaçants, et que leur culture politique est celle du compromis. Le nouveau gouvernement indien ferait des réformes très favorables aux marchés. Les Pakistanais essaient de combattre un terrorisme, qui leur sert à déstabiliser l’Afghanistan, allié de l’Inde, mais qui leur retombe sur le nez. En Afghanistan, les élections présidentielles menacent de s’achever en affrontement ethnique. En Chine, l’économie se recentre sur la consommation intérieure et découvre que la logistique est un problème. L’entreprise privée essaie de construire ses propres réseaux.
Le jeune a changé. Il est devenu sérieux, les excitants, c’est fini ; et désenchanté, les idéaux et la politique, c’est fini. L’hypocrisie semble la caractéristique de beaucoup de pays émergents. Des idéaux élevés cohabitent avec la pire des corruptions. La retraite du vieil anglo-saxon pose un problème. Elle est dorénavant par capitalisation. Il ne semble pas que l’on ait trouvé une façon intelligente de gérer cet argent dans l’intérêt de son propriétaire. « Le danger est que cette liberté se traduise pour le système financier en une autorisation à imprimer de l’argent. » Les enfants qui cherchent la satisfaction immédiate deviennent des brigands.
L’industrie électronique japonaise n’est que l’ombre d’elle-même. Elle essaie de se réinventer. Notamment en revenant vers l’industrie lourde (et en administrant des fermes de haute technologie). Mais elle utilise mal ses atouts. Et est victime de la culture japonaise étouffante. Philips n’est guère mieux. Il cherche le salut dans la restructuration. Massacre à la tronçonneuse ? Ça semble plaire au marché.
La piraterie informatique fait courir un risque au monde d’autant plus grand que demain, homme et machine, tout sera connecté à Internet. Défaillance du marché. La sécurité d’Internet dépend de son maillon le plus faible. C’est-à-dire nous. Et nous ne faisons pas le strict minimum de protection. Mais aussi les éditeurs de logiciel ont pour règle le ni fait ni à faire. C’est la loi du marché. Big data. Aux USA, chaque camp amasse des données sur l’adversaire afin d’y trouver ce qui va détruire sa carrière. Certains fonds spéculatifs font de même pour repérer les failles des entreprises, et s’enrichir en les abattant. Emergence d’une génération de « réseaux anti sociaux ». Tels que Airbnb ou Uber, ils appartiennent à la nouvelle vague de « l’économie du partage ». Leur stratégie est celle du parasite. Ils lancent une offensive contre la société, et observent ce qui se passe : « dans l’esprit de la Silicon Valley, d’agir vite et de casser de la vaisselle, ils conduisent de rapides tests de l’appétit du public et du régulateur pour une modification des limites de ce qui est une pratique commerciale acceptable ».