C’est le dernier modèle de langage OpenAI, appelé GPT-3. Le système, qui a été alimenté par des milliards de pages web et de livres, est composé de 175 milliards de paramètres.
Il y a quelques jours, la société spécialisée dans l’intelligence artificielle, OpenAI, a publié un outil capable de générer des textes, de programmer et de concevoir en ne recevant que des instructions précises en anglais.
Ainsi, par exemple, on peut vous demander de créer une page avec un bouton qui indique l’abonnement ou de générer un émoji et le système le fera en quelques secondes.
Cet outil est le dernier modèle du langage OpenAI et il est appelé GPT-3. Il s’agit d’une API (interface de programmation d’applications) en version Beta, c’est-à-dire qu’il s’agit d’une version préliminaire et non définitive.
Le système prédit ou génère en fonction des données qui leur ont été fournies. Et avec ces informations, tout comme vous pouvez concevoir un bouton sur une page web, ou faire une icône, vous pouvez aussi compléter un texte, en essayant de correspondre au modèle que vous avez reçu.
Le système apprend en recevant quelques exemples qui donnent un compte rendu de ce que l’utilisateur attend de lui. Et il apprend en fonction des ensembles de données dont il est alimenté au fil du temps.
Comme l’explique la société, l’API a également été conçue pour optimiser le travail des équipes qui se concentrent sur l’apprentissage machine. « Beaucoup de nos équipes utilisent maintenant l’API pour pouvoir se concentrer sur la recherche sur l’apprentissage machine plutôt que sur les problèmes de systèmes distribués », a indiqué le communiqué de presse de la société sur son site officiel.
Le laboratoire de recherche OpenAI a été lancé en 2015 en tant qu’organisation à but non lucratif dans le but d’atténuer les dommages potentiels de l’intelligence artificielle. Cette API GPT-3 est son premier produit commercial.
Dans la page, ils expliquent qu’ils ont décidé de commercialiser ce produit pour obtenir un financement qui leur permettrait de poursuivre leurs recherches
Ceux qui veulent l’essayer peuvent s’inscrire sur la liste d’attente en entrant ici. GPT-3 est la nouvelle édition du générateur de texte publié par la société l’année dernière, GPT-2, qui peut être testé en entrant sur ce site.
Il s’agit d’un système prédictif : l’utilisateur écrit quelques lignes et l’intelligence artificielle propose des alternatives pour compléter le texte, en respectant le style initial.
Quelques exemples
Ces derniers jours, différents exemples de développements basés sur le GPT-3 ont circulé dans les réseaux. Au début de cette note, vous pouvez voir la vidéo qui a été téléchargée par le chercheur en intelligence artificielle Sharif Shameem, qui a montré comment le système est capable d’écrire du code HTML/CSS pour concevoir un bouton pour une page web, une icône ou un emoji.
Ce n’est pas le seul cas, il suffit d’explorer le web pour trouver d’autres créations exceptionnelles basées sur ce modèle, comme le travail de l’ingénieur Shreya Shankar qui a développé, avec cette API, une plateforme qui écrit des équations mathématiques.
Des améliorations ont également été apportées à l’endroit où vous pouvez voir que le système répond aux questions et recherche des informations.
Bien qu’il existe aujourd’hui des plates-formes capables d’accomplir cette tâche, il est surprenant de constater les multiples possibilités offertes par ce développement de l’OpenAI qui peut être facilement programmé ou intégré dans un produit déjà développé, comme l’ont souligné l’entreprise et ceux qui ont pu le tester.
Comment s’est déroulée la formation
Le modèle de langage GPT-3 est composé de 175 milliards de paramètres. À titre de comparaison, la version précédente, GPT-2, était composée de 1,5 milliard de paramètres.
Pour former le GPT-3, le système a été alimenté par toutes les informations publiées dans Wikipedia, 19 milliards de pages web, 67 milliards de livres publics et 410 milliards de textes disponibles sur le web.
« Le GPT-3 atteint de solides performances sur de nombreux ensembles de données de PNA, y compris les tâches de traduction, de réponse et de questionnement, ainsi que plusieurs tâches qui nécessitent un raisonnement à la volée ou une adaptation du domaine, comme le décodage de mots, l’utilisation d’un nouveau mot dans une phrase ou l’exécution d’un calcul à trois chiffres », ont déclaré les chercheurs dans un article offrant des détails sur cette évolution.
Le système peut générer des textes, traduire, concevoir et donner des réponses à des questions d’une certaine complexité. « Nous avons constaté que le GPT-3 peut générer des échantillons d’articles de presse que les examinateurs humains ont du mal à distinguer des articles écrits par des humains », ont noté les chercheurs dans la publication.