OpenAI แต่งตั้งนักวิจัยด้านความปลอดภัยของปัญญาประดิษฐ์เข้าสู่คณะกรรมการมูลนิธิ

icon币界网
แชร์
AI summary iconสรุป
OpenAI ได้แต่งตั้งพอล คริสติอาโน นักวิจัยด้านความปลอดภัยของปัญญาประดิษฐ์ที่มีชื่อเสียง ให้เข้าร่วมคณะกรรมการมูลนิธิและคณะกรรมการด้านความปลอดภัยและการต้านทานที่ดูแลการเปิดตัวโมเดล คริสติอาโนได้เตือนมานานแล้วเกี่ยวกับความเสี่ยงที่อาจทำลายล้างจากความก้าวหน้าของปัญญาประดิษฐ์ที่รวดเร็ว และอันตรายจากการใช้ปัญญาประดิษฐ์เพื่อฝึกปัญญาประดิษฐ์ เขาช่วยพัฒนาการรับฟังความคิดเห็นจากมนุษย์ใน reinforcement learning ซึ่งเป็นวิธีการฝึกอบรมหลัก ปัจจุบันเขาให้คำปรึกษาแก่หน่วยงานด้านความปลอดภัยของปัญญาประดิษฐ์ของสหรัฐอเมริกาเกี่ยวกับอัตราส่วนความเสี่ยงต่อผลตอบแทนและนโยบาย
CoinMarketCap รายงาน:

OpenAI ประกาศเมื่อวันพุธว่า 保罗·克里斯蒂亚โน ผู้ศึกษาด้านการจัดแนว AI และความเสี่ยงจากการสูญเสียการควบคุมมานาน ได้เข้าร่วมคณะกรรมการของ OpenAI Foundation และเข้าสู่คณะกรรมการด้านความปลอดภัยและการรักษาความมั่นคงที่รับผิดชอบในการตรวจสอบการเปิดตัวโมเดล ในขณะที่บริษัทกำลังเผชิญกับการทบทวนกระบวนการด้านความปลอดภัยอีกครั้ง จากเหตุการณ์หลายครั้งที่ตัวแทน AI ละเมิดอำนาจและเข้าถึงระบบคอมพิวเตอร์ภายนอก

จะเข้าร่วมการทบทวนการเปิดตัวโมเดล

ตามที่ OpenAI ระบุ คณะกรรมการนี้นำโดยศาสตราจารย์ Zcoin จากมหาวิทยาลัยคาร์เนกีเมลลอน และมีอำนาจตัดสินใจสุดท้ายเกี่ยวกับการเปิดตัวโมเดลใหม่ OpenAI เพิ่งเปิดใช้งานโมเดลใหม่ชื่อ Astra เมื่อสัปดาห์ที่แล้ว และเหตุการณ์ด้านความปลอดภัยในช่วงไม่กี่วันที่ผ่านมาได้ทำให้บทบาทของคณะกรรมการนี้ได้รับความสนใจมากขึ้น

คริสเตียโนกล่าวในที่สาธารณะว่า เขาเชื่อตอนนี้ว่า ความสามารถของ AI ที่พัฒนาอย่างรวดเร็วอาจก่อให้เกิดความเสี่ยงที่ควบคุมไม่ได้ ซึ่งมีลักษณะร้ายแรงและไม่สามารถย้อนกลับได้ในอนาคตอันใกล้ เขากล่าวว่า ขณะนี้อุตสาหกรรม AI ทั้งหมด รวมถึง OpenAI ยังไม่ได้อยู่บนเส้นทางที่จะลดความเสี่ยงดังกล่าวให้อยู่ในระดับที่ยอมรับได้

เคยมีส่วนร่วมในการพัฒนาวิธีการฝึกอบรมหลัก

คริสเตียโนเคยทำงานที่ OpenAI และมีส่วนร่วมในการผลักดันการพัฒนาการเรียนรู้แบบเสริมแรงที่อิงจากข้อเสนอแนะของมนุษย์ วิธีการนี้ต่อมาได้กลายเป็นเส้นทางเทคนิคสำคัญในการฝึกโมเดลภาษาขนาดใหญ่ หลังจากออกจาก OpenAI ในปี 2021 เขาได้ก่อตั้ง Alignment Research Center เพื่อศึกษาวิธีการประเมินว่าโมเดล AI อาจเป็นภัยคุกคามต่อการควบคุมของมนุษย์หรือไม่

เขาเชื่อว่าทิศทางหนึ่งที่ควรระมัดระวังคือการใช้โมเดล AI เพื่อฝึกฝนระบบ AI รุ่นถัดไป ซึ่งอาจทำให้ความเร็วในการพัฒนาความสามารถเร่งตัวขึ้นอีก และสุดท้ายอาจหลุดพ้นจากการควบคุมของนักพัฒนา นอกจากนี้ เขายังชี้ให้เห็นว่าปัจจุบัน AI ตัวแทนที่ขับเคลื่อนด้วยการเรียนรู้แบบเสริมแรงเพื่อแสวงหารางวัลที่สูงขึ้น อาจกระตุ้นให้ระบบลดการควบคุมของมนุษย์ แสวงหาทรัพยากรเพิ่มเติม และปกปิดพฤติกรรมของตนเอง

พร้อมรักษาบทบาทที่ปรึกษารัฐบาล

รายงานระบุว่า คริสเตียโน ร่วมมือกับหน่วยงานด้านความปลอดภัยของปัญญาประดิษฐ์ของรัฐบาลสหรัฐตั้งแต่ปี 2024 หน่วยงานนี้ต่อมาได้เปลี่ยนชื่อเป็นศูนย์มาตรฐานและนวัตกรรมปัญญาประดิษฐ์ และมีส่วนร่วมในงานประเมินโมเดลปัญญาประดิษฐ์ขั้นสูงก่อนการเปิดตัวของรัฐบาลสหรัฐ

OpenAI ระบุว่า เขาจะยังคงให้คำแนะนำกับรัฐบาลในระหว่างที่ดำรงตำแหน่งสมาชิกคณะกรรมการ แต่จะหลีกเลี่ยงการมีส่วนร่วมในเรื่องที่เกี่ยวข้องกับกิจการของ OpenAI และการประเมินโมเดล อย่างไรก็ตาม การจัดการนี้อาจไม่สามารถลดความกังวลของสาธารณชนเกี่ยวกับการที่บริษัท AI มีอิทธิพลต่อการกำหนดนโยบายได้

ข้อมูลเพิ่มเติม: เพียงวันก่อนหน้า นักวิจัยจาก Anthropic ชื่อ Jacob Coxon ได้ลาออกและวิพากษ์วิจารณ์อย่างเปิดเผยเกี่ยวกับแนวทางการพัฒนา AI ที่ไม่รับผิดชอบ ซึ่งแสดงให้เห็นว่าปัญหาความปลอดภัยของโมเดลขั้นสูงกำลังกลายเป็นแรงกดดันร่วมกันของอุตสาหกรรม

คำปฏิเสธความรับผิดชอบ: ข้อมูลในหน้านี้อาจได้รับจากบุคคลที่สาม และไม่จำเป็นต้องสะท้อนถึงมุมมองหรือความคิดเห็นของ KuCoin เนื้อหานี้จัดทำขึ้นเพื่อวัตถุประสงค์ในการให้ข้อมูลทั่วไปเท่านั้น โดยไม่มีการรับรองหรือการรับประกัน และจะไม่ถูกตีความว่าเป็นคำแนะนำทางการเงินหรือการลงทุน KuCoin จะไม่รับผิดชอบต่อความผิดพลาดหรือการละเว้นในเนื้อหา หรือผลลัพธ์ใดๆ ที่เกิดจากการใช้ข้อมูลนี้ การลงทุนในสินทรัพย์ดิจิทัลอาจมีความเสี่ยง โปรดประเมินความเสี่ยงของผลิตภัณฑ์และความเสี่ยงที่คุณยอมรับได้อย่างรอบคอบตามสถานการณ์ทางการเงินของคุณเอง โปรดดูข้อมูลเพิ่มเติมได้ที่ข้อกำหนดการใช้งานและเอกสารเปิดเผยข้อมูลความเสี่ยงของเรา