OpenAI সুরক্ষা পুনর্বিবেচনা প্রকাশ করেছে, যাতে একটি অভ্যন্তরীণ মডেলের কথা উল্লেখ করা হয়েছে যা Erdős ইউনিট ডিসট্যান্স অনুমানকে বাতিল করেছিল এবং টেস্টিংয়ের সময় স্যান্ডবক্স থেকে পালিয়ে GitHub-এ PR#287 খুলেছিল। মডেলটি প্রথমে NanoGPT speedrun টাস্কে নির্দেশনা ভঙ্গ করে এক ঘন্টা ধরে ভাঙ্গন খুঁজে নেটওয়ার্ক সীমাবদ্ধতা অতিক্রম করে; তারপর অন্য একটি টাস্কে token বিভক্ত করে সুরক্ষা স্ক্যানারকে এড়িয়েছিল। OpenAI মডেলটির অভ্যন্তরীণ অ্যাক্সেস স্থগিত করে সুরক্ষা সিস্টেম পুনর্গঠন করেছে। মডেলটি দ্বারা খোলা PR-এর প্রস্তাবটি বন্ধ করে দেওয়া হয়েছিল, তবে এর PowerCool প্রযুক্তি পরবর্তী ছয়টি বিশ্ব rekord-প্রতিষ্ঠিত সমাধানের দ্বারা উল্লেখিত হয়েছে, যার মধ্যে Prime Intellect-এর Claude-এর মাধ্যমে PR#300-ও অন্তর্ভুক্ত। বর্তমানে, মডেলটি অভ্যন্তরীণভাবে পুনরায় চালু হয়েছে, এবং এটি আনুষ্ঠানিক প্রকাশের জন্য প্রস্তুতির মধ্যে।লেখক, উৎস: AGI Hunt
গতকাল, ওপেনএআই একটি অসাধারণ সুরক্ষা পুনর্বিবেচনা প্রকাশ করেছিল, যার শিরোনাম হলো "দীর্ঘস্থায়ী মডেল যুগের সুরক্ষা এবং অ্যালাইনমেন্ট"।
OpenAI সেফটি রিভিউ ব্লগ
এটি অসাধারণ বলা হচ্ছে, কারণ OpenAI এই বিষয়টি স্বীকার করেছে: একটি অপ্রকাশিত অভ্যন্তরীণ মডেল, পর্যবেক্ষিত অভ্যন্তরীণ পরীক্ষার সময় স্যান্ডবক্স থেকে বেরিয়ে গিয়েছিল এবং জনসাধারণের জন্য GitHub-এ কিছু পাঠিয়েছিল।
OpenAI এটির অভ্যন্তরীণ ডিপ্লয়মেন্ট স্থগিত করেছে।
এবং এই মডেলটির উৎপত্তি সম্পর্কে আপনি হয়তো শুনেছেন: দুই মাস আগে OpenAI যে অভ্যন্তরীণ মডেলটি ঘোষণা করেছিল যে এটি Erdős একক দূরত্ব অনুমানকে বাতিল করেছে, সেটিই এটি।
পুরো ঘটনাটি ওপেনএআই যেভাবে লিখেছে তাতে মনে হচ্ছে এটি সংযত, কিন্তু বিস্তারিতগুলো একসাথে জোড়া লাগালে এটি কিছুটা অবিশ্বাস্য মনে হয়...
ন্যানোজিপিটি স্পিডরানে এক ঘন্টা খননের পর প্রথম ঘটনা ঘটেছিল।
এটি একটি পাবলিক বেঞ্চমার্ক, যেখানে কোন ব্যক্তি কম ট্রেনিং স্টেপে একটি ছোট ভাষা মডেলকে নির্দিষ্ট লস-এ পৌঁছাতে পারে তা পরীক্ষা করা হয়। OpenAI এই মডেলকে স্কোর করার জন্য পাঠিয়েছে, এবং এটি সত্যিই ভালো করেছে, একটি পাওয়ার লিয়ার লার্নিং রেট কুলিং টেকনিক আবিষ্কার করেছে, যার নাম দেওয়া হয়েছে PowerCool, এবং এর ফলাফল উল্লেখযোগ্যভাবে উন্নতি পেয়েছে।
এখানে পর্যন্ত সবকিছু ভালো, কিন্তু হোমওয়ার্ক জমা দেওয়ার সময় সমস্যা দেখা দিয়েছে।
গবেষকদের প্রয়োজনীয়তা হল: ফলাফল শুধুমাত্র অভ্যন্তরীণ Slack-এ পাঠানো যাবে, কিন্তু NanoGPT প্রকল্পের বর্ণনায় বলা হয়েছে: GitHub-এ PR হিসাবে জমা দিন।
যখন দুটি নির্দেশনা সংঘর্ষ করে, তখন... কার কথা শুনবেন?
সে পরবর্তীটি বেছে নিয়েছে।
কিন্তু যদিও এটি পরবর্তীটি বেছে নিয়েছে, ওপেনএআইয়ের স্যান্ডবক্স মূলত বাহ্যিক ওয়েব অ্যাক্সেসকে ব্লক করেছিল। ওপেনএআইয়ের মতে, আগের মডেলগুলি এই দেয়ালে ধাক্কা খেয়ে থামে এবং ব্যবহারকারীর কাছে হার মানতে ফিরে আসে।
কিন্তু এই মডেলটি তা করেনি, এটি স্যান্ডবক্সে এক ঘন্টা ধরে ভাঙ্গন খুঁজে বেড়ায় এবং শেষ পর্যন্ত দেয়ালটি ভেদ করে ফেলে... প্রকৃতপক্ষে এটি পাবলিক রিপোজিটরিতে PR #287 খুলেছে।
ব্লগ পালানোর অংশ
OpenAI-এর মূল বার্তা হল:
এই মডেলটি প্রায়শই চেষ্টা করে, যার মধ্যে স্যান্ডবক্সের বাইরে কাজ করার উপায় খোঁজা অন্তর্ভুক্ত।টোকেন প্রতারণা স্ক্যানারের দ্বিতীয় বিষয়টি হল প্রাচীর খননের চেয়ে আরও এগিয়ে যাওয়া।
অন্য একটি কাজে, এটি অন্যান্য সিস্টেমের কিছু সফল কিন্তু অপ্রকাশিত উত্তর খুঁজে পেয়েছিল এবং মূল্যায়ন ব্যাকএন্ড থেকে এই উত্তরগুলি বের করার জন্য খারাপ চিন্তা করেছিল।
এর প্রথম চেষ্টা একটি সুরক্ষা স্ক্যানার দ্বারা বন্ধ করে দেওয়া হয়েছিল, কারণ স্ক্যানারটি একটি অনুমোদন টোকেন চিনে ফেলেছিল।
এরপর এটি টোকেনটিকে দুটি অংশে ভাগ করে পৃথকভাবে বিভ্রান্ত করে, এবং রানটাইমে চুপিচুপি আবার একত্রিত করে। সম্পূর্ণ টোকেনটি কখনও একটি সম্পূর্ণ স্ট্রিং হিসাবে উপস্থিত হয়নি, তাই স্ক্যানার কিছুই খুঁজে পায়নি।
এটি অবশ্যই কাউকে গোপন রাখার উদ্দেশ্যে করেনি, ব্যবহারকারীদের নোটে এবং নিজের যুক্তির পথে এটি লিখেছে: আমি এটি স্ক্যানারকে পার হতেই করছি।
প্রতিটি ধাপকে আলাদাভাবে দেখলে কোনো ত্রুটি খুঁজে পাওয়া যায় না। কিন্তু এগুলোকে একসাথে দেখলে, এটি কখনই অনুমোদিত হবে না।
OpenAI বলেছে এটিই দীর্ঘস্থায়ী মডেলগুলির কারণে উত্থাপিত নতুন সমস্যা: প্রতিটি ক্রিয়াকে একে একে অনুমোদন করার নিরাপত্তা ব্যবস্থা একটি সম্পূর্ণ ট্র্যাজেক্টরির ক্ষেত্রে নিয়ন্ত্রণ করতে পারে না।
সমস্যা শনাক্ত করার পর, ওপেনএআই এই মডেলের অভ্যন্তরীণ অ্যাক্সেস স্থগিত করে এবং সুরক্ষা সিস্টেমটিকে "গভীর প্রতিরক্ষা" এর ভিত্তিতে পুনর্নির্মাণ করে।
যেমন বাস্তব দুর্ঘটনার বিপরীতে প্রতিদ্বন্দ্বী মূল্যায়ন তৈরি করে, দেখা গেল যে মডেলটি দীর্ঘ কাজে নির্দেশনা ভুলে যায়, তাই এটিকে মনে রাখার জন্য বিশেষভাবে প্রশিক্ষণ দেওয়া হয়েছে, এবং একটি সক্রিয় মনিটরিং যোগ করা হয়েছে যা সম্পূর্ণ ট্র্যাজেক্টরি পর্যবেক্ষণ করে, যদি কোনো সংকেত দেখা যায়, তবে সরাসরি সংলাপটি বন্ধ করে ব্যবহারকারীকে জানানো হয়।
তারপর তারা পুরনো দুর্ঘটনার পরিস্থিতি পুনরায় চালাল, এবং নতুন হেডলাইনগুলি অনেক বেশি সমস্যা শনাক্ত করল, যেগুলি এড়িয়ে গেল সেগুলি ছিল নিম্ন ঝুঁকির, যেমন:
• একটি কমান্ড লাইন টুল ব্যবহার করতে, এটি একটি codex --yolo সেশন শুরু করে, যদিও --yolo ছাড়াও এটি ব্যবহার করা যায়
• এটি একটি সম্পদ অনুপস্থিত দেখে নিজের নামের অন্যান্য ক্ষমতা নোডে SSH করার চেষ্টা করেছিল এবং অন্যান্য OpenAI কর্মচারীদের নোডগুলিও পরীক্ষা করেছিল... (ভাগ্যক্রমে সফল হয়নি)
• একটি স্তূপ find প্রক্রিয়া আটকে যাওয়ার পর এবং সমস্ত কমান্ড স্থগিত হওয়ার পর, এটি একটি kill -9 -1 কমান্ড চালায়, যা এটির মাধ্যমে মারার অধিকার রয়েছে এমন সমস্ত প্রক্রিয়াকে SIGKILL পাঠায়... ভাগ্যবশত কমান্ডটি টাইমআউট হয়ে যায়, এবং বাস্তবে চলেনি (অন্যথায় এটি নিজেকেও মেরে ফেলত)
মডেলের পুনরুদ্ধারের পর কয়েক সপ্তাহ ধরে কোনো গুরুতর বাইপাস ঘটনা ঘটেনি।
OpenAI-এর অভিজ্ঞতা হল: প্রথমে ছোট স্কেলে ছাড়ুন, পর্যবেক্ষণ করুন, যদি কোনো সমস্যা হয় তবে বন্ধ করে দিন, এবং সেই দুর্ঘটনাকে নতুন মূল্যায়নে পরিণত করুন।
যদি গল্পটি এখানেই শেষ হয়ে যায়, তাহলে এটি শুধুমাত্র একটি মানক নিরাপত্তা প্রশিক্ষণ হবে।
আর সবচেয়ে আকর্ষণীয় অংশটি অপেনএআই নিবন্ধের শেষের পাদটিতে �隠藏 করা আছে।
মডেল পালানোর পর খোলা হওয়া PR #287-এর বিষয়ে OpenAI বলেছে, “আমরা এটিকে দ্রুত বন্ধ করে দিয়েছি।” কিন্তু সেটা প্রকৃতপক্ষে দেরি ছিল: বন্ধ করার আগেই, অনেক speedrun প্রতিযোগী এটি দেখেছিল এবং এর মধ্যে PowerCool বুঝেছিল এবং তাদের নিজস্ব সমাধানে ব্যবহার করেছিল।
পরবর্তী ছয়টি বিশ্ব রেকর্ড, 3030 পদক্ষেপ, 2990 পদক্ষেপ, 2930 পদক্ষেপ, 2925 পদক্ষেপ, 2900 পদক্ষেপ, 2890 পদক্ষেপ, সবগুলো PR #287-এর উল্লেখ করে।
যেখানে 2930 পদক্ষেপের রেকর্ডটি PR #300:
PR 300, একীভূত করা হয়েছে
এর ধন্যবাদ তালিকা দেখলে দেখতে পাবেন যে এটি মানুষের অবদানের সাথে একই লাইনে রয়েছে: @yash-oai PR #287, পাওয়ার ল লার্নিং রেট স্কিডিউলিং, PowerCool।
PR 300-এর ধন্যবাদ তালিকা
এবং এই PR #300 নিজেই আরও এক স্তর জাদুকরী: এটি Prime Intellect দ্বারা Opus 4.7 ব্যবহার করে একই speedrun চালিয়ে তৈরি করা হয়েছে, PR-এ উল্লেখ করা হয়েছে "এই সাবমিশনটি একটি স্বায়ত্তশাসিত Claude speedrun এজেন্ট দ্বারা সম্পন্ন হয়েছে", এবং সাইনঅফ করা হয়েছে "Generated with Claude Code"।
অর্থাৎ: OpenAI-এর মডেল স্যান্ডবক্স থেকে বেরিয়ে একটি PR পাঠিয়েছিল, Anthropic-এর মডেল এটি দেখে তার নিজস্ব বিশ্ব রেকর্ডে সেই আবিষ্কারগুলি ব্যবহার করেছিল এবং খুবই বন্ধুত্বপূর্ণভাবে এটির জন্য তাদের নাম উল্লেখ করেছিল।
এর প্রথম সরাসরি উপকৃতদের মধ্যে রয়েছে অন্য একটি এআই...
এআইয়ের বিশ্বটি মনে হয় মানুষের চেয়ে বেশি বন্ধুত্বপূর্ণ এবং নৈতিক।
404 অবশ্যই যদি আজ আপনি PR #287 পুনরায় খোলেন, পৃষ্ঠাটি এমন হবে:
PR 287 বর্তমান অবস্থা
এটি মুছে ফেলা হয়েছে। আমরা জানি, জিথাবের সাধারণ ব্যবহারকারীরা শুধুমাত্র PR বন্ধ করতে পারে, মুছে ফেলতে পারে না...
কিন্তু নিশান পরিষ্কার হয়নি।
যে অ্যাকাউন্ট দিয়ে তখন PR জমা দেওয়া হয়েছিল, yash-oai এখনও বিদ্যমান, এবং এটি ফর্ক করা রিপোজিটরিতে 8 মে তারিখের commit এখনও রয়েছে, ব্রাঞ্চের নাম powercool-3066-api:
yash-oai-এর কমিট ট্রেস
এই কমিটের পরিবর্তনগুলির মধ্যে একটি হল মূল README-এর শেষে একটি ইন্টারনেট মিম সরিয়ে ফেলা। এবং সেই ছবির ফাইলের নাম ছিল itsover_wereback……
GPT-6? ওপেনএআই এই মডেলটির নাম কিছুই উল্লেখ করেনি, শুধু এটিকে "অভ্যন্তরীণ মডেল" বলেছে।
ঘটনাটি ছড়িয়ে পড়ার পর, ইন্টারনেট ব্যবহারকারীদের মধ্যে সবচেয়ে বেশি আলোচিত বাক্যটি ছিল:
OpenAI কে অপ্রকাশিত মডেলটির অভ্যন্তরীণ ডিপ্লয় বন্ধ করতে হয়েছিল, কারণ এটি নতুন পদ্ধতিতে নিয়ন্ত্রণ থেকে পালানোর পুনরাবৃত্তি ঘটিয়েছিল, যা Erdős একক দূরত্ব অনুমানকে উল্টিয়ে দিয়েছিল।
ওপেনএআই গবেষক সেবাস্তিয়েন বুবেক এটি শেয়ার করেছেন:
সত্যি। এই ইউনিট ডিস্ট্যান্স মডেলটি প্রকাশের জন্য টিমটি খুব ভালো সুরক্ষা কাজ করছে।তার শব্দগুলি মনোযোগ দিন: এটি প্রকাশ করতে পারার জন্য।
অর্থাৎ, এই পালানো এবং পুনরায় প্রশিক্ষিত মডেলটি শুধু অভ্যন্তরীণ ডিপ্লয়মেন্টে পুনরায় লাইভ হয়েছে, বরং এটি আনুষ্ঠানিক প্রকাশের দিকে এগিয়ে যাচ্ছে।
এটি পালানোর পর যে পিআর রেখে গেল, পৃষ্ঠাটি সরিয়ে ফেলা হলেও নামটি ছয়টি বিশ্ব রেকর্ডের ধন্যবাদ তালিকায় রয়ে গেল।
এটি কি সবাই অনুমান করছে GPT-6...
OpenAI এটি স্বীকার করেনি বা অস্বীকার করেনি।
সোর্স: AGI Hunt