Je pensais autrefois que la partie la plus difficile de l’IA était de la rendre plus intelligente. Récemment, j’ai commencé à penser que le problème le plus difficile est de la rendre responsable. Ce ne sont pas les mêmes choses. C’est ce que m’a fait réaliser cette analyse approfondie de @GenLayer. Un système construit autour d’un seul juge final finira par devenir un système que les gens apprennent à influencer. Un système fondé sur des jugements indépendants reste beaucoup plus difficile à prédire. C’est pourquoi l’idée du jury aléatoire m’a frappé. Les validateurs ne sont pas assis là à attendre d’être convaincus. Ils n’existent qu’après le début du litige, et chacun arrive à sa propre conclusion. Le réseau ne cherche pas des réponses identiques. Il cherche des réponses indépendantes qui aboutissent à la même signification. Si cette confiance disparaît, la réponse n’est pas « faites-nous confiance ». C’est davantage d’examinateurs, plus de scrutin, et une autre chance de prouver que le verdict mérite de rester en vigueur. Peut-être que la véritable percée pour l’économie agente n’est pas de construire une IA qui ne se trompe jamais. Peut-être que c’est de construire un processus où aucune erreur ne devient permanente.