Un « grand universitaire », spécialiste de l’analyse de données, me fait un commentaire utile quant aux dessous des techniques à la mode :

Ton article court mais percutant pose effectivement le problème clef de la fiabilité de l’apprentissage des LLM (Large language Models) type ChatGPT (IA. Générative) (même  dans ses dernières versions payantes, mais qui sont largement  les plus performantes). En effet comme tu le signales il faut beaucoup (voire trop ?) de données pour étalonner correctement un LLM dans sa phase apprentissage (des billions de documents et des  « fact sheets »  en énormes  « data repositories ») d’une part, et d’autre part des étiqueteurs  humains (qui se comptent par dizaines de milliers dans des pays comme le Kenya, le Nigéria, l’Inde etc.) pour corriger et affiner les données brutes de catégorisation afin de valider la cohérence les documents stockés. Actions auxquelles bien sûr il faut rajouter la précision et la qualité des questions, qui dépendent elles-mêmes de la qualité des « prompts », ces scénarios décrivant le contexte des questions à poser aux modèles pour préciser et améliorer la qualité des réponses de l’outil d’IA et de son modèle latent.
C’est ainsi que ChatGPT d’OpenAI a eu quelques jolis succès quand il est sorti, par effet de surprise et gains de temps constatés chez ceux qui l’ont utilisé au départ. Ce succès repose sur l’investissement monstrueux et très coûteux consenti en stockage de gigantesques masses de données et en petites mains nombreuses associées à la catégorisation des documents, et également en temps passé à réaliser le travail global d’intégration des différents composants des modèles. Ce n’est pas le cas de tout le monde, par exemple le cas de GEMINI de Google est moins «successfull » que celui de OpenAI, ils sont en train de l’affiner et de l’améliorer, ce qui prouve d’ailleurs qu’il faut beaucoup travailler au départ sur l’architecture du processus. 
En fait nombreux sont ceux qui ont été agréablement surpris  par les performances de ChatGPT sur des questionnements (chats)  généralistes, mais il semble qu’il y ait eu un début de prudence voire un début de doute auprès des experts qui l’utilisent en tant que processus de travail, ils ont eu du mal à être tout à fait convaincus, et après l’effet de surprise, semblent plus nuancés vis à vis d’une adoption inconditionnelle (biais cognitifs d’une part, hallucinations inexpliquées d’autre part). Mais une autre tendance se fait jour actuellement, après l’engouement des premiers mois, c’est la question que se posent  des entreprises de grande taille qui, surfant sur  la vague de fond  (un peu marketing) de la mode IA, s’aperçoivent que la partie « prompting » (c’est-à-dire la préparation du cadre  contextuel pour mutualiser l’usage de l’IA Générative  à une grande partie des cadres en interne) prend beaucoup plus de temps qu’ils ne l’avaient  estimé. D’ailleurs des entreprises comme Databricks (produit Azure) ou Snowflake, parmi d’autres, se positionnent  comme préparateurs et stockeurs de données en vue de les aider dans l’utilisation industrielle des modèles d’IA, également sur le  choix des données essentielles, etc.
Le second problème concerne le volume des données à échanger, à stocker, à valider, même dans un contexte spécialisé, afin de garantir une rapide adaptation contextuelle des modèles d’IA Générative et la connexion avec les outils de gestion « as usual » des processus internes. L’ensemble complexe des ressources  à mettre en jeu par les créateurs de modèles  type OPenAI (: apprentissage, stockage, checking par des étiqueteurs, utilisation de prompts dédiés par les utilisateurs) nécessitent des investissements lourds, des consommations énergétiques croissant exponentiellement, des machines de traitement aux processeurs parallèles type Nvidia, et beaucoup de temps, bref des efforts que peu pourront maintenir sur le long terme et c’est là que les outils à prévalence mathématiques d’aide aux choix où des optimisations mathématisées ad hoc pourront être clef. C’est le cas du chinois DeepSeek, très attendu des experts  (que tu signales dans ton post) et qui a introduit à l’intérieur de leur modèle d’IA des composantes mathématiques d’optimisation et de clustering pour automatiser certains types de traitements (disent-ils). Ils se distinguent des Américains qui privilégient la force brute plutôt  que de nouvelles approches de décomposition des problèmes et un certain raffinement méthodologique.