Pourton.info 
Le dilemme des géants de la tech
Il y a une semaine, un mémo divulgué, présumément écrit par Luke Sernau, ingénieur senior chez Google, déclarait ce que de nombreux acteurs de la Silicon Valley devaient penser depuis des semaines : une effervescence de l’open-source menace l’emprise des géants de la technologie sur l’IA. De nouveaux modèles linguistiques volumineux en open-source – des alternatives à Bard de Google ou à ChatGPT d’OpenAI que les chercheurs et les développeurs d’applications peuvent étudier, construire et modifier – sont diffusés comme des bonbons lors d’une fête. Ces versions, plus petites et moins coûteuses des meilleurs modèles d’IA créés par les grandes entreprises, se rapprochent de leurs performances – et sont partagées gratuitement.
L’essor de l’open-source : une aubaine pour l’innovation
Dans une certaine mesure, cet essor de l’open-source est une bonne chose. Un accès plus large à ces modèles a permis de stimuler l’innovation et peut également aider à détecter leurs défauts. L’IA ne pourra pas prospérer si seules quelques entreprises extrêmement riches ont le droit de contrôler cette technologie ou de décider de son utilisation.
La précarité de l’open-source
Cependant, cette effervescence de l’open-source est précaire. La plupart des versions open-source reposent encore sur les épaules de modèles géants mis en place par de grandes entreprises aux poches profondes. Si OpenAI et Meta décident de fermer boutique, une ville en pleine expansion pourrait devenir un cul-de-sac.
Le rôle crucial des grands acteurs
Par exemple, de nombreux modèles sont construits sur LLaMA, un modèle linguistique volumineux en open-source publié par Meta AI. D’autres utilisent un vaste ensemble de données public appelé « the Pile », mis en place par l’organisation à but non lucratif EleutherAI. Mais EleutherAI n’existe que parce que l’ouverture d’OpenAI signifiait qu’un groupe de codeurs a pu comprendre comment GPT-3 a été créé, puis créer le leur pendant leur temps libre.
Le futur incertain de l’IA
Si la tendance à fermer l’accès se poursuit, alors non seulement la communauté de l’open-source sera abandonnée – mais la prochaine génération de percées en IA sera entièrement entre les mains des laboratoires d’IA les plus grands et les plus riches du monde. L’avenir de la façon dont l’IA est créée et utilisée est à un carrefour.
Une ruée vers l’open-source
Le logiciel open-source existe depuis des décennies. C’est ce qui fait fonctionner internet. Mais le coût de la construction de modèles puissants a fait que l’IA open-source n’a décollé qu’il y a un an ou deux. Elle est rapidement devenue une ruée vers l’or.
La montée en puissance de l’open-source dans l’IA
Il suffit de regarder les dernières semaines. Le 25 mars, Hugging Face, une start-up qui prône l’accès gratuit et ouvert à l’IA, a dévoilé la première alternative open-source à ChatGPT, le chatbot viral lancé par OpenAI en novembre.
Des modèles innovants ouverts à tous
Le chatbot de Hugging Face, HuggingChat, est construit sur un modèle linguistique volumineux en open-source spécialement conçu pour les conversations, appelé Open Assistant, qui a été formé avec l’aide d’environ 13 000 bénévoles et a été lancé un mois auparavant. Mais Open Assistant lui-même est construit sur LLaMA de Meta.
L’arrivée de nouveaux acteurs
Et puis il y a StableLM, un modèle linguistique volumineux en open-source lancé le 19 mars par Stability AI, la société derrière le modèle texte-image à succès Stable Diffusion. Une semaine plus tard, le 28 mars, Stability AI a lancé StableVicuna, une version de StableLM qui – comme Open Assistant ou HuggingChat – est optimisée pour la conversation.
La profusion de modèles open-source
Ces nouveaux modèles open-source s’ajoutent à une série d’autres sortis ces derniers mois, notamment Alpaca (d’une équipe de l’Université de Stanford), Dolly (de l’entreprise de logiciels Databricks) et Cerebras-GPT (de l’entreprise d’IA Cerebras). La plupart de ces modèles sont construits sur LLaMA ou des jeux de données et modèles d’EleutherAI.
Open-source : une question de principe et de profit
Pour certains, l’open-source est une question de principe. Pour d’autres, c’est une question de profit. Stability AI espère répéter le même tour avec les chatbots qu’il a fait avec les images : alimenter puis bénéficier d’une explosion d’innovation parmi les développeurs qui utilisent ses produits.
L’accessibilité de l’IA
Quoi qu’il en soit, la profusion de modèles linguistiques volumineux gratuits et ouverts met cette technologie à la portée de millions de personnes à travers le monde, inspirant beaucoup à créer de nouveaux outils et à explorer leur fonctionnement.
Le défi de la formation de modèles
Mais la formation de modèles linguistiques volumineux à partir de zéro est difficile. C’est encore hors de portée de la grande majorité des gens. Stability AI, par exemple, a « fait fondre » un tas de GPU en construisant StableLM.
La complexité de l’entraînement des modèles
Un autre problème est que les modèles sont plus difficiles à entraîner lorsqu’ils deviennent plus grands. Ce n’est pas seulement dû au coût de la puissance de calcul. Le processus d’entraînement se décompose plus souvent avec des modèles plus grands et doit être redémarré, ce qui rend ces modèles encore plus coûteux à construire.
Une aventure unique grâce à OpenAI
EleutherAI doit son démarrage à OpenAI. En 2020, l’entreprise basée à San Francisco avait lancé un nouveau modèle révolutionnaire. Excités par le potentiel de cette nouvelle technologie, Stella Biderman et d’autres chercheurs ont voulu jouer avec le modèle pour mieux comprendre son fonctionnement. Ils ont décidé de le répliquer.
La création de Pile, un jeu de données révolutionnaire
Leur première étape a été de rassembler un jeu de données massif, contenant des milliards de passages de texte, pour rivaliser avec ce qu’OpenAI avait utilisé pour entraîner GPT-3. EleutherAI a appelé son jeu de données « the Pile » et l’a rendu gratuit à la fin de 2020.
La formation du premier modèle open-source d’EleutherAI
EleutherAI a ensuite utilisé ce jeu de données pour entraîner son premier modèle open-source. Le plus grand modèle qu’EleutherAI ait formé a pris trois mois et demi et a été sponsorisé par une entreprise de cloud computing.
Une nouvelle ère pour l’IA ?
Alors, que nous réserve l’avenir ? Biderman s’attend à ce que l’activité autour des grands modèles linguistiques open-source se poursuive. Mais elle se concentrera sur l’extension ou l’adaptation de quelques modèles pré-entraînés existants plutôt que sur la progression de la technologie fondamentale.
Dans l’ensemble, l’avenir de l’IA est à un carrefour. La communauté open-source pourrait être abandonnée si la tendance à fermer l’accès se poursuit, et la prochaine génération de percées en IA pourrait être de nouveau entre les mains des laboratoires d’IA les plus riches et les plus importants du monde. Ainsi, les prochaines années seront déterminantes pour l’avenir de l’intelligence artificielle.
