• 10 Posts
  • 244 Comments
Joined 1 year ago
cake
Cake day: July 10th, 2023

help-circle




  • J’ai la tête un peu trop dans le cirage aujouord’hui pour répondre mais

    En fait je crois qu’en ce moment je cherche un moyen de contrer ce discours dominant dans la sphère francophone. Y a vraiment très très peu de contenu positif sur ces technos et la plupart des critiques, je les trouve mal informées. Mais je sais pas comment tordre le cou à tant d’idées reçues et je suis pas sur qu’une vidéo de 3 heures sur le sujet est la bonne voie (n’est pas Franck Lepage qui veut). Du coup je vais essayer de faire un peu de contenu sur les choses que je connais bien (le dev) mais j’aimerais bien parler un peu d’économie, de théorie politique et de philo si ça prend.

    En vrai la partie économie, théorie politique et philo ça me tente pas mal aussi


  • En toute franchise, je pense que j’ai pas mal de réactance vis-à-vis des LLMs pour plusieurs raison:

    • peur de pas pouvoir faire carrière (pour l’instant je suis coincé sur du support n2 qui m’a foutu un bore out)
    • problématique de liberté et respect du droit d’auteur, ce qui s’étend à tout l’ensemble des modèles génératifs (on se souvient du directeur IA qui dit que tout ce qui est sur internet n’attend que d’être exploité alors qu’askip, il y a eu des fuites de différents codes de leurs produits lol)

    Après pour la question de l’inférence de type, si on regarde l’écosystème actuel on a :

    • java/C/C++ qui sont typés explicitement (comme beaucoup d’autres)
    • python qui dispose d’annotation et de mypy pour la vérifier (même compiler le code)
    • rust dont les outils de dev permettent d’ajouter l’inférence de type dans l’ide De plus, sans données d’entraînement, le LLM va pas pouvoir te générer de code donc il faudra quand même du monde pour faire le premier jeu et derrière, il y a des grosses problématiques à utiliser des données générées par un modèle pour en entraîner un autre, il faut toujours de la donnée fraiche.

    Quoi qu’il en soit, c’est mon côté anticapitaliste me dit que tant qu’on reste dans le modèle capitaliste, aucune avancé technologique ne sera clean et les LLMs bah c’est au niveau de l’entrainement : si tu entraîne un modèle uniquement sur du code GPL, on pourrait imaginer que ce qu’il produit et sous GPL, mais est-ce qu’entrainer from scratch sur du code gpl rend le modèle utilisable ? Sinon, il faut donc étendre avec du texte humain potentiellemet, et du coup, comment ça se passe au niveau licence ?

    Pour avoir du bon code, on fait comme on fait quand on emploie des stagiaires ou des mauvais programmeurs: on relit, on écrit des tests. Ça reste de l’ingénierie.

    Ça c’est un peu abandonner un idéal de qualité et se résigner à la médiocrité. Il n’y a pas besoin d’être mauvais ou stagiaire pour faire des erreurs à plusieurs centaines de milliers d’€, juste une chaine d’outils pourris en amont ou de mauvaises conceptions (je l’ai vu il y a peu) et même quand des vies sont en jeu on a pu voir des problèmes graves (coucou le régulateur toyota ou les avions boeing). D’ailleurs, je pense que le secteur informatique souffre de la hiérarchisation issue de l’industrie (ouvrier, technicien, ingénieur je suis pas sûr que ce soit pertinent pour l’informatique)…

    Technologiquement, j’aime vraiment le deep learning, mais il y a tellement de trucs problématiques associés que son industrialisation m’en dégoute un peu


  • Mon point de vue c’est que si on commence à inventer des langages dans lesquels on ne peut développer qu’avec des LLMs, c’est qu’on empire la pile de technologies douteuses qu’est l’informatique (cf un processeur moderne qui se fait passer via C et l’OS pour un processeur de pdp 11 ça donne des failles comme Spectre et Meltdown)… et que même pour générer le C, ça veut pas dire que le code généré n’a pas de fuite mémoire par exemple, ce qu’on cherche à éviter avec Rust et du coup, tu peux générer du code foireux plus vite. Je vois l’intérêt pour les ESN qui doivent vendre des bugs mais derrière si tu veux un paysage plus fiable c’est pas forcément si intéressant, d’autant que ça soulève énormément de questions non techniques et là-dessus, je pense que les ingénieurs et les développeurs devraient arrêter de se palucher sur le progrès technique peu importe le reste (comme a fait le créateur de Yolo qui a fini par arrêter la vision par ordinateur parce que l’usage qui s’est le plus démocratisé c’est la surveillance de masse)


  • Dans ce que j’entends sur l’aspect énergétique (et je me suis pas forcément bien exprimé dessus) c’est plus tout l’aspect autour des ressources matérielles et énergétiques de a à z : production du matériel, entrainement (en vrai comme beaucoup en informatique c’est pas l’exploitation qui consomme le plus mais bien le développement (dans un sens très large) (et encore, la boite d’evernote se vante de faire tourner 20k GPU pour un modèle d’amélioration des photos alors qu’en vrai, c’est pas essentiel). Et dans le cas que j’évoquais c’était surtout le fait de faire générer du python… quitte à avoir des IA pour faire le gros du travail, autant générer dans des langages plus efficients à l’exécution. In fine, je me suis lancé dans un tunnel mais ça dérivait un max sur du sociétal XD


  • Dans notre contexte c’était effrayant parce que le code généré était bon alors qu’on a fait quelques boulettes XD Après pour modérer un peu la chose, c’est comme le mec qui a fait générer un pacman à chatgpt en python. Bourriner des LLMs pour générer du python en le guidant fortement on est au niveau -1 de l’efficience énergétique et quand on regarde la conso des datacenters je sais pas si c’est vraiment pertinent comme utilusation.








  • La question serait où le faire ? Le post meta est saturé par leur brigading, on va pas les brigader non plus en allant poster des trucs randoms sur leur instance alors qu’on leur reproche le brigading. Après dans la discussion, j’ai plus eu l’impression que c’était une petite minorité d’hexbear qui est venue nous voir. Même si elle était représentative, tous ne sont pas venus en masse donc on pourrait aussi juste les ignorer et bloquer les plus relous sans défédérer pour autant non ?




  • Salut à tous ! J’ai suivi un peu le drama autour d’hexbear. Je ne saurais toujours pas trop me prononcer parce que je n’en ai vu que le brigading sur le post meta. Concernant les accusations de tankies j’ai la flemme de fouiller (même s’ils ont l’impression que c’est un terme flou de facho, je le trouve assez clair : gauchiste stallinien ou pro pcc). Pour les troller, on pourrait leur rappeler leur post épinglé concernant la fédération… Quoi qu’il en soit je ferai confiance à nos admins pour la gestion de la dispute.


  • Drew DeVault (sway, sourcehut, hare… creator) wrote an article on this exact topic, asking autistic people on mastodon what they think of it. The tldr is that autistic people (those who answered) hate this excuse because they rather know when they make people uneasy to try to adjust, and also that if we need to tolerate this kind of discourse to make room for a minority of autistic people, then we are not doing a good job because it makes a lot of people really uneasy.