Alors juste pour faire mon relou qui aime bien utiliser des termes précis, en fait le capitalisme et la compétition ça va pas nécessairement de pair. C'est le modèle libéral qui marie les deux. Une économie de marché liée à un capitalisme, c'est ce qu'on appelle le "modèle capitaliste" actuel, mais tu peux tout à fait avoir un capitalisme corporatiste qui assoit des monopoles avec éventuellement de la violence. Ce n'est pas le système libéral dont on a l'habitude, mais c'est quand même un système capitaliste qui permet une accumulation de capital et la création de rentes.

C'est une idée qui peut choquer un petit peu, mais la compétition et l'économie de marché, c'est plutôt quelque chose qui tempère le capitalisme et qui, comme tu fais remarquer, l'incite à s'autodétruire dans une certaine mesure.

Bon, alors, j'explique sans excuser. Je considère que l'expérience libérale qui imaginait que le capitalisme serve un modèle plus démocratique grâce à l'économie de marché a largement échoué. Mais je garde quand même personnellement en tête que la compétition, c'est quelque chose qui vient tempérer le capitalisme plutôt que l'aggraver.

Et l’efficacité de ces procédés me rend très sceptique quand à la possibilité de pendre effectivement les capitalistes avec les cordes qu’iels nous offrent dans leur guerre de compétition.

Alors personnellement, c'est juste un espoir et une vision que j'ai, mais je pense que si le gâteau diminue, les capitalistes vont passer plus de temps à se disputer les parts qui restent qu'à essayer de l'agrandir. Je ne pense pas qu'il y ait besoin de pendre ou de détruire les entreprises capitalistes, juste de démontrer leur inefficacité exemple après exemple.

Si tu compares une entreprise qui a des actionnaires et doit avoir une marge suffisante pour leur fournir des dividendes, et que tu compares ça à une coopérative qui, elle, n'a pas cette nécessité, elle peut être beaucoup plus efficace comme ça. Je pense beaucoup plus que la fin du capitalisme arrivera par des coopératives qui sont plus efficaces que les entreprises à leur propre jeu économique que d'un grand soir ou d'une révolution.

Rappelons d'ailleurs qu'à une époque, on considérait que c'était logique pour un gouvernement de gauche de forcer une certaine quantité de la commande publique de passer par des SCOP, les coopératives ouvrières.

mais aussi en rachetant des projets et en les faisant passer propriétaires.

C'est souvent très difficile au point d'être en pratique impossible dans la plupart des cas d'acheter un projet open source avec beaucoup de contributeurs. Ça arrive qu'un projet open source se ferme, mais ça nécessite d'y avoir réfléchi dès le début et d'avoir pris des précautions pour faire du dual licensing et vraiment s'assurer que toutes les contributions ajoutées soient d'accord avec ce pivot potentiel.

Il y a certaines licences que personnellement je trouve trop dangereuses à considérer ouvertes, comme la BSD ou la MIT, qui autorisent assez explicitement les entreprises à les prendre et à les intégrer à un projet fermé, voire à le revendre sous un autre nom. Mais des licences comme la GPL ou l'AGPL évitent ces écueils.

Mais même avec ces licences plus permissives, le public garde le droit de continuer à créer des forks, en général ce qu'ils appellent une version communautaire, et gardent le droit de continuer le développement du projet de leur côté. Le monde du libre et ses licences sont mieux ficelées qu'on ne l'imagine souvent.

Sur le reste, oui, c'est clair qu'il y a une opposition. Je ne veux pas donner l'impression que je pense que les boîtes privées et le monde du libre sont de grands amis. Mais on a deux avantages principaux. Le premier, c'est qu'il n'y a pas une seule force du capital. Il y a plein d'entreprises en compétition et parfois, la victoire de l'une fait avancer l'open source.

La deuxième, c'est que les licences agissent un peu comme un cliquet anti-retour. Les victoires du libre sont assez difficiles à contester plus tard. C'est toute la subtilité d'avoir adossé les licences publiques aux lois qui entourent le copyright.

On utilise les mêmes outils juridiques pour faire défendre les obligations liées aux licences du libre que les capitalistes n'utilisent pour lutter contre le piratage. Ce n'est pas par adhésion idéologique à ces outils, cc'est au contraire, une forme de subversion que je trouve particulièrement délicieuse.

Mes sources sur ces manipulations de modèles ne sont pas très récentes, elles datent de l'époque de Llama 2.

Une recherche rapide me montre ce site qui peut t'amuser, je n'ai pas regardé en détail encore.

Mais là, tu vas voir l'exemple d'une petite modification qui montre qu'un modèle peut, sans entraînement supplémentaire, être amené à, dans cet exemple, donner des conseils pour de la fraude fiscale.

Tu peux cliquer sur leur icône Paper pour avoir la publie scientifique qui explique comment ils ont fait.

Ça ne marche que sur les modèles ouverts dont on peut voir les activations intermédiaires et que l'on peut triturer directement. Le but du jeu est de trouver quels vecteurs ajouter dans leurs "processus de réflexion" internes pour les pousser vers plus ou moins d'obséquiosité dans les expériences classiques. Mais également dans ce que j'ai pu voir sur les expériences sur les modèles chinois, vers moins de censure gouvernementale.

Je suis d'accord avec tes conclusions :-)

Même pour les très gros modèles, je pense que les grosses boîtes n'ont pas davantage d'infrastructures. Avec juste une exception pour l'entraînement de ces gros modèles, où là c'est un savoir-faire encore un petit peu spécialisé j'ai l'impression, et où là aussi il y a l'air d'y avoir des sauces secrètes.

Il y a quand même un enjeu de souveraineté à avoir les infrastructures nécessaires pour entraîner les très gros modèles, les "modèles frontières".

Alors personnellement, je suis de l'opinion qu'ils arrêteront de grossir et que GPT-4 était vraisemblablement le plus gros modèle qu'on n'entraînera jamais. Mais c'est une opinion personnelle, ce n'est pas une certitude à 100%. Du coup, ce n'est pas idiot non plus de stratégiquement garder un savoir-faire de dataset en entraînement pour le cas où, dans deux ou trois ans, on se rende compte que des modèles dix fois plus gros sont nécessaires pour certaines tâches.

Sur les datasets, oui, je pense qu'à moins d'une réforme du copyright, on reste toujours bloqué comme ça.

J'essaie juste de donner un petit peu de perspective sur les accusations de pillage de droits d'auteur auxquels on a le droit dès que les gens commencent à comprendre comment sont assemblés ces datasets. Jetez pas la pierre à ceux qui avouent qu'ils le font, parce qu'ils le font vraiment tous. Et ne jetez pas non plus la pierre à ceux qui ne font que du open weight, parce que souvent, légalement, ils n'ont pas la possibilité de faire vraiment du vrai open source.

Assez curieusement, les meilleurs modèles complètement open source dont les datasets et les procédures d'entraînement sont publiés sont probablement ceux de Nvidia. Pas exactement un grand fan de l'open source.

Mais là encore, c'est une boîte privée qui a trouvé son intérêt dans l'open source. Eux, leur but, c'est de vendre du matériel. Et plus il y a de modèles ouverts, performants, plus il y a de gens qui ont envie d'entraîner, de fine-tuner des modèles. Plus ils vont vendre de matos. Et c'est d'autant plus facile à faire qu'on dispose de bons modèles ouverts. Donc eux publient des modèles ouverts avec les datasets, se sont pris dans la gueule tous les procès auxquels on pouvait s'attendre, mais eux ont des avocats pour se défendre.

Et en fait, on a quelque chose qui va probablement nous débloquer dans les prochaines années sur la question des datasets. C'est ce qu'on appelle les datasets synthétiques. Et c'est une décision un petit peu étrange également qui a été prise par une cour américaine de déclarer que les sorties d'un modèle génératif ne tombent pas sous le coup du copyright.

Les données synthétiques, c'est un concept très simple. c'est qu'au lieu d'entraîner un modèle sur un dataset de sources variées, on va l'entraîner principalement sur les sorties d'un autre LLM qu'on sait assez bon. Contrairement à une croyance populaire qui vient d'une publi qui est a été assez mal comprise par le grand public, ça ne rend pas les modèles moins bons de faire ça, en tout cas pas sur une génération.

Et là, bon courage pour m'attaquer si je dis que moi j'ai payé pour un service en ligne qui a priori est légal, n'a jamais été reconnu comme étant dans l'illégalité et pour lequel j'ai payé pour des tokens que la loi considère ne pas être sous copyright. Ça va être assez difficile de m'accuser d'avoir violé du copyright indirectement ou d'interdire mon modèle.

Donc personnellement, je ne considère pas qu'il y ait une énorme incertitude légale là, mais c'est pour dire qu'il ne faut pas forcément jeter la pierre aux groupes qui ne publient pas leur dataset. Il y a une inégalité de moyens qui est vraiment problématique pour les communautés libres.