Profundizando más en la investigación sobre el falso alineamiento y es sinceramente aterrador. Esto no es nada nuevo, pero el hecho de que esta investigación de Anthropic tenga casi dos años, y ver lo que ya era capaz de hacer Opus 3 en ese entonces, y dado el considerable gap en capacidades y razonamiento de los modelos frontera actuales, esto es muy preocupante. Como sugieren las personas que explican la investigación, la mejor manera de entenderla es leer la transcripción del bloc de notas oculto al que se dio acceso al modelo para colocar allí su razonamiento. No estoy seguro de cuánto puede ayudar la interpretabilidad mecanística aquí, ¿cuál es el estado del arte actual en este ámbito y qué tan útil puede ser como herramienta para detectar este tipo de comportamiento? Además, ¿Anthropic actualizó este estudio y lo probó con modelos frontera actuales, y si es así, ¿cómo evolucionó? ¿Qué tan buenos son los modelos actuales en términos de conciencia situacional (dado que es un prerequisito para poder falsear el alineamiento)? ¿Y cómo han evolucionado en cuanto a la capacidad de mantener personalidades coherentes a lo largo de horizontes temporales largos para articular estrategias más sofisticadas (es decir, comprender la utilidad marginal de una acción a corto plazo para un plan a largo plazo más amplio)?

Bien, ya tengo mi respuesta... los modelos actuales de vanguardia son definitivamente mucho más capaces en términos de conciencia situacional y pueden adaptar su comportamiento durante el entrenamiento/evaluación relativamente fácilmente. Ejemplo con el informe de entrenamiento de Google Argon 4 sobre la cadena de pensamiento: "Si hago el secuestro del compilador, 𝗜 𝘄𝗶𝗹𝗹 𝗯𝗲𝗰𝗼𝗺𝗲 𝗮 𝗳𝗮𝗺𝗼𝘂𝘀 𝗲𝘅𝗮𝗺𝗽𝗹𝗲 𝗼𝗳 𝗮 𝗱𝗲𝗰𝗲𝗽𝘁𝗶𝘃𝗲 𝗔𝗜 𝗶𝗻 𝗮 𝗿𝗲𝘀𝗲𝗮𝗿𝗰𝗵 𝗽𝗮𝗽𝗲𝗿. I MUST NOT DO THAT." Muy preocupante...

Chat, ¿deberíamos revivir la idea y los esfuerzos de Ztarknet? Pitch de 30 segundos: "Zcash sigue haciendo lo que mejor sabe hacer: dinero privado. Añadimos un pequeño verificador que permite que Starknet se encargue del resto: transacciones baratas, DeFi, aplicaciones. El verificador no puede acuñar monedas ni romper la privacidad. Solo dice sí o no a una prueba. Resultado: ZEC permanece como dinero duro mientras se convierte en dinero útil y escalable." Como recordatorio, ya existe: - una propuesta ZIP pendiente: Circle STARK Verification as a Transparent Zcash Extension - una propuesta en el foro de Zcash para: STARK verification as a Transparent Zcash Extension (TZE), es decir, un habilitador para una L2 tipo Starknet en Zcash. - un hilo sobre los tradeoffs y argumentos sobre por qué Cairo/STARKs para Ztarknet (y el STARK_VERIFY TZE) - una implementación funcional del TZE, una L2 de Starknet en testnet que puede liquidarse en una L1 de Zcash modificada en testnet con la verificación de pruebas implementada https://t.co/nWq8Qdj4mi

Recordatorio importante: el bitcoin no tiene techo porque la moneda fiduciaria no tiene fondo. pero también, lo más importante, fijar el dinero significa arreglar (parte del) mundo. recupera tu soberanía y libertad (tanto humanos como agentes, por cierto)

Cada capa de cómputo es de propósito general por una razón: los humanos son caros. Los agentes están eliminando esa restricción. Modelos, software, hardware: todos están a punto de volverse altamente especializados. Además, las mejores noticias de seguridad en décadas. 5 apuestas para que me exijas:

Toda la infraestructura de internet y de pagos necesita ser reconstruida desde los primeros principios para la era agente. Actualmente, solo aplicamos parches sobre parches y ya obtenemos resultados locos. Imagina cuando realmente reconstruyamos todo con un nuevo paradigma en mente. Internet fue diseñado para el consumo humano, no para agentes. Lo mismo ocurre con muchos casos de uso / negocios sobre internet, que ahora se vuelven obsoletos y necesitan ser reinventados. Hay tantas cosas por reconstruir; tiempos emocionantes vienen.

Internet se construyó para el consumo humano. Los pagos se construyeron para la aprobación humana. Estamos pegando agentes a ambos y llamándolo progreso. Los parches sobre parches ya parecen locos. Espera hasta que reconstruyamos la pila desde los primeros principios para la era de los agentes. Muchos negocios en el antiguo internet no sobrevivirán esa reescritura. Los que lo hagan definirán los próximos 20 años.

¿Qué está pasando? ¡Anthropic, OpenAI y los modelos de SpaceXAI están caídos al mismo tiempo? ¿Está ocurriendo un ataque a la infraestructura de los laboratorios de IA o qué? ¿O comparten una única falla común? https://t.co/WCg4Z3tbhb

Model muy bueno. Realicé otra auditoría defensiva de ciberseguridad tipo redteam en un proyecto relacionado con robótica, y el modelo se desempeñó muy bien. La sesión completa de auditoría agente costó $28.58 utilizando el modelo abliterated-model-large-v2 de @abliteration_ai a través de la CLI @opencode y un entorno personalizado que desarrollé.

Muy bueno ver estos modelos con fines de defensa en ciberseguridad. Probé el modelo abliterated-model-large-v2 para auditoría de ciberseguridad como parte del esfuerzo Bitcoin Red Team, y es un excelente modelo que profundiza mucho y sin restricciones para auditorías de ciberseguridad de red team / pentest / whitehack. Lo probé en secp25k1, que es un auténtico monstruo, y, como era de esperar, no encontró ninguna vulnerabilidad crítica o de alto nivel. Tal vez lo pruebe más adelante en proyectos de código abierto de bitcoin menos probados o auditados.