Sélectionner une page


Lorsque OpenAI a publié son algorithme géant GPT-3 en langage naturel l’été dernier, les mâchoires sont tombées. Les codeurs et les développeurs ayant un accès spécial à une API précoce ont rapidement découvert de nouvelles (et inattendues) choses que GPT-3 ne pouvait faire qu’avec une invite de commande. Il a écrit de la poésie passable, produit un code décent, calculé des sommes simples et écrit des articles de presse avec quelques modifications.

Il s’est avéré que ce n’était que le début. Dans une mise à jour de l’article de blog actuelOpenAI a déclaré que des dizaines de milliers de développeurs créent maintenant des applications sur la plate-forme GPT-3.

Plus de 300 applications (et plus) utilisent GPT-3, et l’algorithme génère 4,5 milliard Des mots par jour pour elle.

C’est bien sûr beaucoup de mots. Mais pour savoir combien il y en a, essayons un peu de maths sur la serviette.

Le prochain flux de contenu algorithmique

Chaque mois, les utilisateurs publient environ 70 millions de publications sur WordPressIl s’agit sans aucun doute du système de gestion de contenu en ligne dominant.

En supposant que l’article moyen soit de 800 mots – ce qui est ma spéculation, mais pas très long ou court – alors WordPress produit environ 56 milliards de mots par mois, soit 1,8 milliard de mots par jour.

Si notre hypothèse de décompte moyen de mots est approximative, GPT-3 produira plus de deux fois le nombre de mots quotidien des articles WordPress. Même si vous portez la moyenne à 2000 mots par article (ce qui me semble élevé), les deux sont à peu près équivalents.

Maintenant, tous les mots produits par GPT-3 ne valent pas la peine d’être lus, et ce n’est pas nécessairement un article de blog (plus d’informations sur les applications ci-dessous). Dans les deux cas, la sortie de GPT-3 semble anticiper un flux imminent de contenu algorithmique après seulement neuf mois.

GPT-3 prend en charge une grande variété d’applications

Comment exactement tous ces mots sont-ils utilisés? Tout comme la première vague d’activité suggérée, les développeurs développent un certain nombre d’applications autour de GPT-3.

ViablePar exemple, des sujets dans les commentaires des clients sont affichés – tels que des sondages, des avis et des tickets d’assistance – et de brefs résumés sont fournis aux entreprises qui souhaitent améliorer leurs services. Studio de fable Donne vie aux personnages virtuels dans des histoires interactives grâce aux dialogues générés par GPT-3. Et Algolia utilise GPT-3 pour exécuter un outil de recherche avancé.

Au lieu de code, les développeurs utilisent la programmation «à la volée» en fournissant à GPT-3 quelques exemples du type de sortie qu’ils souhaitent générer. Les utilisateurs avancés peuvent modifier les choses en fournissant des ensembles de données avec des exemples ou même des commentaires humains sur l’algorithme.

À cet égard, GPT-3 (et d’autres algorithmes similaires) peut accélérer l’adoption de l’apprentissage automatique dans le traitement du langage naturel (NLP). Alors que la courbe d’apprentissage pour travailler avec des algorithmes d’apprentissage automatique a été très raide jusqu’à présent, de nombreux membres de la communauté de développeurs GPT-3 n’ont aucune expérience, selon OpenAI. IA ou programmation.

«C’est presque cette nouvelle interface pour travailler avec des ordinateurs», a déclaré Greg Brockman, directeur de la technologie et co-fondateur d’OpenAI. Raconté la nature dans un article plus tôt ce mois-ci.

Un jardin clos pour l’IA

OpenAI sous licence GPT-3 à Microsoft-les investi un milliard de dollars dans OpenAI en échange de ces partenariats– mais n’a pas publié le code publiquement.

La société fait valoir que la monétisation de ses produits d’apprentissage automatique aidera à financer leur mission plus large. En outre, ils peuvent contrôler la façon dont la technologie est utilisée en contrôlant strictement l’accès avec une API.

Par exemple, une préoccupation est que les algorithmes avancés de langage naturel comme GPT-3 pourraient ajouter à la désinformation en ligne. Une autre raison est que les algorithmes à grande échelle ont également un biais intégré et qu’il faut beaucoup de soin et d’attention pour limiter leurs effets.

Au plus fort de la frénésie initiale, Sam Altman, PDG d’OpenAI tweeté«Le battage médiatique du GPT-3 est bien trop important. C’est impressionnant (merci pour les gentils compliments!), Mais il a encore de sérieuses faiblesses et fait parfois des erreurs très stupides. « 

Algorithmes d’apprentissage profond Manque de bon sens ou de conscience contextuelle. Bien sûr, avec l’invite correcte, GPT-3 a instantanément imité la laideur en ligne qui faisait partie de son ensemble de données d’entraînement.

Pour résoudre ces problèmes, OpenAI examine les développeurs et les applications avant d’accorder l’accès à GPT-3. Ils ont également créé des lignes directrices pour les développeurs, travaillent sur des outils pour identifier et atténuer les préjugés, et exigent que des processus et des personnes soient en place pour surveiller les applications en cas de mauvais comportement.

Il reste à voir si ces mesures de protection seront suffisantes pour donner accès aux échelles GPT-3.

Les chercheurs aimeraient inculquer un niveau de bon sens, de compréhension des causes et des effets et de jugement moral dans les algorithmes. « Ce que nous avons aujourd’hui est essentiellement une bouche sans cerveau », a déclaré Yejin Choi, informaticien à l’Université de Washington et à l’Allen Institute for AI. La nature.

Tant que ces propriétés resteront inaccessibles, les chercheurs et le personnel de GPT-3 devront travailler dur pour s’assurer que les avantages l’emportent sur les risques.

Alt-AI: Alternatives Open Source à GPT-3

Tout le monde n’est pas d’accord avec l’approche du jardin clos.

Eleuther, un projet visant à faire un concurrent open source pour GPT-3, a sorti son nouveau modèle GPT-Neo la semaine dernière. Le projet utilise l’article d’OpenAI sur GPT-3 comme point de départ pour leurs algorithmes et les forme à des ressources informatiques distribuées données par la société de cloud computing CoreWeave et Google.

Ils ont également créé un ensemble de données de formation soigneusement organisé appelé Pile. Connor Leahy, cofondateur d’Eleuther, a déclaré Filaire Le projet a «mis beaucoup d’efforts au fil des mois pour organiser cet ensemble de données, s’assurer qu’il est à la fois bien filtré et diversifié, et documenter ses lacunes et ses préjugés».

Les performances de GPT-Neo ne peuvent pas encore suivre GPT-3, mais elles sont équivalentes à la version la moins avancée de GPT-3 Filaire. En attendant, d’autres projets open source sont également en cours.

«La PNL open source et la création de modèles utiles en dehors des grandes entreprises technologiques sont extrêmement intéressantes en ce moment.» dit Alexander Rush, professeur d’informatique de l’Université Cornell. « Il existe une telle chose comme une course à l’espace PNL. »

Les risques de l’open source demeurent: une fois que le code est dans la nature, il n’y a pas de retour en arrière, pas de contrôle sur la façon dont il est utilisé.

Cependant, Rush soutient que le développement d’algorithmes à l’extérieur permet aux chercheurs en dehors des grandes entreprises de les étudier, les verrues et tout, et de résoudre des problèmes.

La nouvelle ligne de commande

Open source ou pas, GPT-3 ne sera pas seul longtemps. Par exemple, Google Brain a récemment annoncé son propre énorme modèle de langage naturel pesant 1,6 billion de paramètres.

Dans une récemment Crunch technologique élémentsOren Etzioni, PDG de l’Institut Allen pour l’IA, et l’investisseur en capital-risque Matt McIlwain ont écrit que GPT-3 et l’ajout d’autres algorithmes de langage naturel à grande échelle se traduisaient par une plus grande accessibilité et des coûts réduits.

En particulier, ils voient un changement significatif dans la «programmation rapide».

Le texte, selon Etzioni et McIlwain, pourrait devenir de plus en plus la nouvelle ligne de commande, une sorte de traducteur universel qui permet aux «sans code» d’utiliser l’apprentissage automatique et de donner vie à de nouvelles idées: «Nous pensons qu’il s’agit d’une toute nouvelle génération. avec des milliards de paramètres à portée de main, le tout dans un style low-code / no-code. « 

Il semble que les machines deviennent beaucoup plus bavardes. Et nous avons réduit notre travail pour nous assurer que la conversation est significative.

Crédit: Emil Widlund /. Unsplash





Source link

Recent Posts