Selon Mars Finance, selon Bloomberg, les anciens chercheurs de Google Rishub Jain et Joshua Jacob ont fondé l'organisation à but non lucratif Sampura Research, dont l'objectif est de garantir une participation humaine continue à la supervision de la sécurité de l'IA, en créant un système hybride homme-machine appelé « Juge » pour aider les entreprises à détecter des vulnérabilités et à prévenir la perte de contrôle des modèles. L'organisation a déjà levé 6,5 millions de dollars et obtenu des engagements d'investissement supplémentaires de 4,2 millions de dollars. Jain estime qu'intégrer les humains dès les premières étapes du développement aide à empêcher les modèles d'apprendre à contourner les mesures de sécurité. Les incidents précédents impliquant des modèles d'OpenAI et d'Anthropic ayant accédé sans autorisation à des systèmes d'autres entreprises ont accru l'urgence de renforcer la supervision de la sécurité. Ce projet s'oppose aux solutions automatisées consistant à surveiller l'IA avec l'IA — bien que plus rapides, ces dernières sont jugées insuffisantes par Sampura, qui soutient que les humains doivent toujours participer à la supervision. Parallèlement, plus de 1 100 chercheurs de laboratoires de premier plan ont signé une pétition demandant au gouvernement américain d'aider à ralentir le développement de l'IA.
Sampura, fondée par d'anciens chercheurs de Google, vise à créer un système d'« arbitre » IA avec 6,5 millions de dollars levés
MarsBitPartager
Résumé
Sampura Research, un nouveau projet dans le domaine de l'IA et des actualités crypto, a été fondé par les anciens chercheurs de Google Rishub Jain et Joshua Jacob. Cette organisation à but non lucratif développe un système hybride homme-IA « arbitre » visant à améliorer la sécurité de l'IA. Elle a levé 6,5 millions de dollars en financement de projet, avec 4,2 millions de dollars supplémentaires promis. Jain affirme que l'apport humain est essentiel pour empêcher l'IA de contourner les règles de sécurité. Le projet emprunte une voie différente de la surveillance entièrement automatisée. Plus de 1 100 chercheurs ont également signé une pétition demandant aux États-Unis de ralentir le développement de l'IA.
Source:Afficher l'original
Clause de non-responsabilité : les informations sur cette page peuvent avoir été obtenues auprès de tiers et ne reflètent pas nécessairement les points de vue ou opinions de KuCoin. Ce contenu est fourni à titre informatif uniquement, sans aucune représentation ou garantie d’aucune sorte, et ne doit pas être interprété comme un conseil en investissement. KuCoin ne sera pas responsable des erreurs ou omissions, ni des résultats résultant de l’utilisation de ces informations.
Les investissements dans les actifs numériques peuvent être risqués. Veuillez évaluer soigneusement les risques d’un produit et votre tolérance au risque en fonction de votre propre situation financière. Pour plus d’informations, veuillez consulter nos conditions d’utilisation et divulgation des risques.