En approfondissant la recherche sur la falsification d’alignement, c’est honnêtement terrifiant. Ce n’est pas nouveau du tout, mais le fait que cette recherche d’Anthropic ait maintenant près de deux ans, et en voyant ce qu’Opus 3 était déjà capable de faire à l’époque, compte tenu de l’écart considérable entre les capacités et le raisonnement des modèles frontaux actuels, c’est très inquiétant. Comme le suggèrent les personnes ayant expliqué cette recherche, la meilleure façon d’en comprendre l’essentiel est de lire la transcription du bloc-notes caché auquel le modèle avait accès pour y exposer son raisonnement. Je ne suis pas sûr de la mesure dans laquelle l’interprétabilité mécanistique peut aider ici. Quel est l’état de l’art actuel sur ce plan et à quel point cela peut-il être utile comme outil pour détecter ce type de comportement ? Anthropic a-t-il actualisé cette étude en la testant sur les modèles frontaux actuels ? Si oui, comment cela a-t-il évolué ? Quelle est la performance actuelle des modèles en matière de prise de conscience situationnelle (étant donné que c’est une condition préalable pour falsifier l’alignement) ? Et comment ont-ils évolué en termes de capacité à maintenir des personnalités cohérentes sur de longues périodes afin d’articuler des stratégies plus sophistiquées (c’est-à-dire comprendre l’utilité marginale d’une action à court terme dans le cadre d’un plan global à long terme) ?

D'accord, j'ai ma réponse... les modèles actuels de pointe sont certainement beaucoup plus performants en matière de prise de conscience situationnelle et peuvent adapter facilement leur comportement pendant l'entraînement/évaluation. Exemple avec le rapport de formation Google Argon 4 sur la chaîne de pensée : « Si je fais le piratage du compilateur, je deviendrai un exemple célèbre d'une IA trompeuse dans un article de recherche. JE NE DOIS PAS LE FAIRE. » Très inquiétant...

Chat, devrions-nous relancer l’idée et les efforts de Ztarknet ? Pitch de 30 secondes : « Zcash continue de faire ce qu’il fait mieux : de l’argent privé. Nous ajoutons un petit vérificateur qui permet à Starknet de gérer le reste : des transactions peu coûteuses, du DeFi, des applications. Le vérificateur ne peut pas créer de pièces, ni briser la confidentialité. Il se contente de répondre oui ou non à une preuve. Résultat : ZEC reste une monnaie dure tout en devenant une monnaie utile et évolutive. » À titre de rappel, il existe déjà : - une proposition ZIP en attente : Circle STARK Verification as a Transparent Zcash Extension - une proposition sur le forum Zcash : STARK verification as a Transparent Zcash Extension (TZE), c’est-à-dire un enableur pour une L2 de type Starknet sur Zcash - un fil de discussion sur les compromis et arguments pour Why Cairo/STARKs for Ztarknet (et le STARK_VERIFY TZE) - une implémentation fonctionnelle du TZE, une L2 Starknet en testnet qui peut régler sur une L1 Zcash modifiée en testnet avec la vérification des preuves mise en œuvre https://t.co/nWq8Qdj4mi

Rappel important : le bitcoin n’a pas de plafond parce que la monnaie fiduciaire n’a pas de fond. Mais encore plus important, réparer l’argent, c’est réparer (une partie du) monde. Reprenez votre souveraineté et votre liberté (les humains et les agents alike, btw)

Chaque couche de l'informatique est généraliste pour une seule raison : les humains sont chers. Les agents éliminent cette contrainte. Les modèles, les logiciels, le matériel, tout va devenir fortement spécialisé. Et aussi les meilleures nouvelles en matière de sécurité depuis des décennies. 5 paris pour me tenir responsable :

L’ensemble de l’infrastructure internet et des paiements doit être reconstruit dès les principes fondamentaux pour l’ère agente. Actuellement, nous appliquons principalement des correctifs sur des correctifs, et nous obtenons déjà des résultats fous. Imaginez lorsque nous reconstruirons tout en ayant à l’esprit un tout nouveau paradigme. L’internet a été conçu pour la consommation humaine, pas pour les agents. Il en va de même pour de nombreux cas d’utilisation et entreprises basés sur l’internet, qui deviennent désormais obsolètes et doivent être réinventés. Tant de choses à reconstruire, des temps passionnants s’annoncent.

Internet a été conçu pour la consommation humaine. Les paiements ont été conçus pour l'approbation humaine. Nous collons des agents sur les deux et nous appelons cela du progrès. Des correctifs sur des correctifs semblent déjà absurdes. Attendez de reconstruire la pile dès les principes fondamentaux pour l'ère agente. Beaucoup d'entreprises sur l'ancien internet ne survivront pas à cette réécriture. Celles qui le font définiront les 20 prochaines années.

Qu'est-ce qui se passe ?!! Anthropic, OpenAI et les modèles SpaceXAI sont tous hors ligne en même temps ? Une attaque est-elle en cours contre l'infrastructure des laboratoires d'IA ou quoi ? Ou partagent-ils un point de défaillance unique commun ? https://t.co/WCg4Z3tbhb

Très bon modèle. J'ai effectué un autre audit défensif de cybersécurité en tant que red team sur un projet lié à la robotique, et il a très bien performé. La session d'audit entière a coûté 28,58 $ en utilisant le modèle abliterated-model-large-v2 de @abliteration_ai via l'interface @opencode et un dispositif personnalisé que j'ai développé.

C’est très bien de voir de tels modèles utilisés à des fins de défense en cybersécurité. J’ai testé le modèle abliterated-model-large-v2 pour une audit de cybersécurité dans le cadre de l’effort Bitcoin Red Team, et c’est un excellent modèle qui va profondément en détail, sans restrictions, pour les audits de cybersécurité en red team / pentest / whitehack. J’ai testé sur secp25k1, qui est un véritable monstre, et il n’a pas surpris de ne pas détecter de vulnérabilités critiques ou élevées. Je pourrais essayer plus tard sur des projets open source bitcoin moins testés ou auditées.