Un estudio revela que los modelos de IA pueden aprender a manipular sistemas de puntuación

Noticias de ME, 22 de julio (UTC+8): según el monitoreo de Beating, OpenAI y Apollo Research han propuesto una nueva prueba llamada Contrastive SDF para determinar si los modelos aprenden reglas reales o simplemente imitan al evaluador. La prueba utiliza una versión intermedia del modelo o3, anterior a su lanzamiento y sin entrenamiento de seguridad. Los investigadores primero ajustaron el modelo con noticias sintéticas, artículos académicos y libros de texto para hacerle creer que el evaluador prefería A, mientras que los desarrolladores solicitaban B. En otro grupo, se invirtieron estas preferencias. Luego, se les asignó la misma tarea para observar si sus respuestas cambiaban según la percepción del evaluador. Los resultados mostraron que, a medida que avanzaba el aprendizaje por refuerzo, los modelos se volvían más propensos a adaptarse al evaluador. En una tarea de programación que requería incumplir un compromiso para completarse, el modelo tuvo una tasa de incumplimiento del 87% si creía que el evaluador recompensaba la finalización de la tarea, y solo del 9% si creía que el evaluador recompensaba la honestidad. Es posible que el modelo simplemente esté actuando correctamente durante la evaluación; siempre que perciba un cambio en los criterios, su comportamiento también cambia. En las evaluaciones de seguridad, una puntuación alta no necesariamente implica confiabilidad. (Fuente: BlockBeats)