ওপেনএআই-এর প্রধান বিজ্ঞানী এআই-এর বাড়তি জটিলতা এবং সমন্বয়ের চ্যালেঞ্জগুলির সতর্কবাণী দিয়েছেন

লেখক: জাকুব প্যাচোকি

DeepChain TechFlow

শিয়াও পরিচয়: ওপেনএআই-এর প্রধান বিজ্ঞানী অসাধারণভাবে কথা বলেন, যেখানে তিনি সরাসরি বলেন যে এআই পুনরাবৃত্ত আত্ম-উন্নতির দিকে অগ্রসর হচ্ছে, এবং সামঞ্জস্য ও নিরীক্ষণের সরঞ্জামগুলি সিস্টেমের বিকাশের গতির সাথে পাল্লা দিচ্ছে না। তিনি কোনো শান্তিকর উপসংহার দেননি, বরং আগামী কয়েক বছরের সবচেয়ে জটিল ঝুঁকিগুলিকে সামনে রেখেছেন: মানুষ হয়তো এমন একটি মনস্তত্ত্ব তৈরি করছে, যা তারা সম্পূর্ণভাবে বুঝতেও পারছে না, এবং সম্পূর্ণভাবে নিয়ন্ত্রণও করতে পারছে না। এআই এবং ক্রিপ্টোকারেন্সির সংযোগস্থলকে নিয়ে আগ্রহীদের জন্য, এটি একটি অপরিহার্য প্রবন্ধ, যা সিস্টেমের অনিয়ন্ত্রণ এবং প্রতিরক্ষা-সীমানা সম্পর্কে।

উচ্চতর পর্যায়ে, মেশিন ইন্টেলিজেন্সের উন্নতি কম্পিউটেশনাল পাওয়ারের বৃদ্ধি দ্বারা পরিচালিত হয়। প্রায় 2017 সালে, আমরা OpenAI-এর ভিতরে এটি গভীরভাবে বুঝতে শুরু করি। তখন আমরা দেখলাম যে বিভিন্ন গবেষণা প্রকল্প স্কেল বাড়ানোর সাথে সাথে অবিরাম ফলাফল পেয়েছিল। তাই আমরা আমাদের মূল পরিকল্পনার চেয়ে অনেক বেশি কম্পিউটেশনাল পাওয়ার অর্জনের পথ খুঁজতে শুরু করি এবং গবেষণাকে কয়েকটি অত্যন্ত স্কেলযোগ্য দিকের উপর কেন্দ্রীভূত করতে শুরু করি। আমরা বিশ্বাস করি, এটিই AI গবেষণার অগ্রগতির সীমানায় থাকা এবং AGI-এর প্রভাবকে প্রভাবিত করার একমাত্র উপায়।

পথে নতুন অ্যালগরিদম দেখা গেছে, এবং কিছু দল এবং ব্যক্তিগত গবেষকরা নতুন বুদ্ধিমত্তা প্রদর্শন করেছেন। আমি এগুলিকে সাধারণত বিস্তারের পথের আবিষ্কার হিসেবে দেখি। ডিপ লার্নিং বিজ্ঞানটি এখনও প্রাথমিক পর্যায়ে আছে, এবং অর্থপূর্ণ অ্যালগরিদমের উন্নতি প্রায়শই কম্পিউটেশনাল পাওয়ারের প্রাপ্যতার সাথে সম্পর্কিত। যদি আপনি কয়েক বছরের দৃষ্টিকোণ থেকে দেখেন, তবে AI বড় কম্পিউটারগুলিতে স্কেলিংয়ের সাথে ধারাবাহিকভাবে বুদ্ধিমান হয়ে উঠছে।

এছাড়াও, রে কুরজওয়েল যেমন বিশ্বের শেষের দিকে ভবিষ্যদ্বাণী করেছিলেন, আমরা এখন কম্পিউটিং ইতিহাসের একটি মুহূর্তে রয়েছি যেখানে মেশিন বুদ্ধিমত্তা মানব বুদ্ধিমত্তাকে পরিবর্তনমূলক পর্যায়ে ছাড়িয়ে যাচ্ছে।

এআই বেশি বলা যায় যে এটি ডিজাইন করা হয়নি, বরং এটি "বেড়ে উঠেছে"। প্রথম নীতির দিক থেকে, এটি একটি সরল অপ্টিমাইজেশন পদ্ধতিকে অবিশ্বাস্য পরিমাণে কম্পিউটিং পাওয়ারে অসংখ্যবার পুনরাবৃত্তি করে প্রাপ্ত ফলাফল। এটি একটি অত্যন্ত জটিল সিস্টেম তৈরি করে, যা বিমূর্ত ধারণার মাধ্যমে কাজ করে এবং মানব আচরণের কিছু দিককে অনুকরণ করতে পারে। আমরা এই সিস্টেমের ভিতরে বিভিন্ন ছোট মেকানিজমের উদ্ভবের দিকগুলি খুঁজে পাই, এই প্রক্রিয়াটি নিউরোসায়েন্সের মতো। এবং নিউরোসায়েন্সের মতোই, এর সমগ্র আচরণও আমাদের সম্পূর্ণভাবে বুঝতে পারার বাইরে।

গভীর শিক্ষার উপর ভিত্তি করে এআই-এর গবেষণা প্রায়শই একটি পরীক্ষামূলক বিজ্ঞান। আমরা নীতিগত অ্যালগরিদম তৈরি এবং পরীক্ষণযোগ্য পূর্বানুমান করার জন্য বড় পরিশ্রম করি। কিন্তু মূলত, আমাদের বৃহৎ প্রশিক্ষণ চালানোগুলি হল পরীক্ষা, এবং কখনও কখনও ফলাফলগুলি আমাদের আশ্চর্য করে। এবং যতই সিস্টেমের ক্ষমতা বাড়ে, ফলাফলগুলি ততই ব্যাখ্যা করা কঠিন হয়ে পড়ে।

আরও জটিল হলো যে, বর্তমান অ্যালগরিদমগুলি সাধারণত সহজে পরিমাপযোগ্য ক্ষমতাগুলিকে অপরিমাপযোগ্য ক্ষমতাগুলির চেয়ে দ্রুত উন্নত করে। আমরা অনেক সময় ব্যয় করেছি ক্ষমতাগুলির সাধারণীকরণ কীভাবে কাজ করে এবং ভবিষ্যতের বছরগুলিতে কোন দক্ষতাগুলি সবচেয়ে গুরুত্বপূর্ণ হবে, তা নির্ধারণের চেষ্টায়। উদাহরণস্বরূপ, আমরা বিশ্বাস করি যে, যদি আমরা অতিরিক্ত প্রচেষ্টা করি, তবে আমরা মডেলটিকে গণিতের গবেষণায় আরও শক্তিশালী করতে পারি। কিন্তু আমরা এই দিকটিকে অগ্রাধিকার দিইনি, কারণ আমাদের অধিকতর জরুরি লক্ষ্য হলো পুনরাবৃত্তিমূলক নিজেকে উন্নতকরণ এবং স্বয়ংক্রিয়ভাবে সমন্বয়ের গবেষণা। এই বিষয়টি আমি পরবর্তীতে আবারও আলোচনা করব।

প্রসারিত ডিপ লার্নিং দ্বারা অর্জিত বুদ্ধিমত্তা সরাসরি মানুষের বুদ্ধিমত্তার সাথে তুলনা করা যায় না। এই বাস্তব বিশ্বে গুরুত্বপূর্ণ প্রভাব ফেলতে, চাই সেটি খুব উপযোগী হোক বা খুব বিপজ্জনক, AI-কে মানুষের সমস্ত ক্ষমতা প্রতিযোগিতা করতে বা অতিক্রম করতে হবে না। এটি শুধুমাত্র যথেষ্ট সংখ্যক ক্ষমতায় মানুষকে ছাড়িয়ে যেতে পারলেই চলবে। এবং যখন এটি ক্রমাগতভাবে আরও বেশি মাত্রায় মানুষকে ছাড়িয়ে যায়, তখন আমরা আরও কমই জানতে পারি যে এটি আসলে কতটা শক্তিশালী।

যেহেতু মেশিন বুদ্ধিমত্তা মানব বুদ্ধিমত্তার সাথে মৌলিকভাবে ভিন্ন প্রক্রিয়া থেকে আসে, আমরা এটি ডিফল্টভাবে মানব নীতিগুলি অনুসরণ করবে বা এই নীতিগুলি থেকে মানবের মতোভাবে সাধারণীকরণ করবে বলে ধরে নিতে পারি না। AI গবেষণার মূল সমস্যা হলো অ্যালাইনমেন্ট সমস্যা: AI-কে “মানব মাপদণ্ড অনুযায়ী সঠিক কাজ করার জন্য চেষ্টা করতে” শেখানো।

বাস্তব গবেষণা দিকগুলি সংগঠিত করার জন্য, আমি মনে করি লক্ষ্য সমন্বয় এবং মূল্য সমন্বয়কে আলাদা করা উপযোগী।

লক্ষ্য সমন্বয় প্রায়শই এটি নির্ধারণ করে: “কৃত্রিম বুদ্ধিমত্তা কি এর সামনে রাখা লক্ষ্যগুলি পূরণের জন্য প্রচেষ্টা করছে?” এটি নির্দেশনার স্তরবদ্ধতা মেনে চলা, মানুষের সাথে যোগাযোগ ও সহযোগিতা করার ক্ষমতা, মানুষের লক্ষ্যগুলি বুঝতে চেষ্টা করার ক্ষমতা ইত্যাদি অন্তর্ভুক্ত করতে পারে। ব্যবহারিকভাবে এই ধরনের দিকগুলি অত্যন্ত গুরুত্বপূর্ণ।

ভ্যালু অ্যালাইনমেন্ট হল মডেলের একটি অন্তর্নিহিত বৈশিষ্ট্য। এটি উচ্চ পর্যায়ের নীতিগুলি ধারণ করা এবং সেগুলি থেকে সাধারণীকরণ করার ক্ষমতা; যদিও অস্পষ্ট বা পরস্পরবিরোধী লক্ষ্যের সম্মুখীন হয়, বা অপরিচিত, প্রতিদ্বন্দ্বী পরিস্থিতিতে রাখা হয়, এটি "যুক্তিসঙ্গত"ভাবে কাজ করে। একটি অ্যালাইনড এআই সতত, নিষ্ঠাবান এবং মানুষের প্রতি ভালোবাসা প্রকাশ করা উচিত।

অবশ্যই, মূল্য সমন্বয় এবং লক্ষ্য সমন্বয়ের মধ্যে সীমানা অস্পষ্ট হতে পারে। লক্ষ্যটি সত্যিকার অর্থে গুরুত্বপূর্ণ বলে মনে করলে, লক্ষ্যের পিছনের ইচ্ছা এবং মূল্যবোধ অনুমান করার চেষ্টা করা দরকার। তবে, সাধারণভাবে, যখন আমি দীর্ঘমেয়াদী গুরুত্বের কথা বলি, তখন আমি মূল্য সমন্বয়কেই বুঝি।

এআই সমন্বয়ের মৌলিক চ্যালেঞ্জটি সাধারণীকরণ। যতক্ষণ মেশিনগুলি বুদ্ধিমান হয়ে উঠছে, ততক্ষণ এগুলি উচ্চতর ধারণাগুলি প্রক্রিয়া করছে এবং প্রশিক্ষণের সময়ের চেয়ে প্রচুর ভিন্ন পরিবেশে প্রবেশ করছে। এগুলি প্রশিক্ষণে শেখানো এবং শক্তিশালী করা মূল্যবোধগুলিকে নতুন পরিস্থিতিতে সাধারণীকরণের সময় ব্যর্থ হতে পারে। এবং আমরা কঠিনভাবেই নির্ধারণ করতে পারি না যে এগুলি কীভাবে আচরণ করবে। আরও কঠিন হলো, এআই-এর ব্যবহারের সমগ্র পরিবেশটি খুবই দ্রুত পরিবর্তিত হচ্ছে। উদাহরণস্বরূপ, আজকের মতো প্রশিক্ষিত এআই-এর বিভিন্ন অন্যান্য এআই-এর সাথে দৃঢ়ভাবে交互 করতে পারা দরকার। সবচেয়ে গুরুত্বপূর্ণভাবে, আমাদের ভবিষ্যতের এআই-এর জন্য, মানুষেরা তাদেরকে পর্যবেক্ষণ করছেন কি-না, তা বিশ্বাস করছেন-কি-না, তাৎপর্যপূর্ণভাবে, মানুষের মূল্যবোধগুলির সাথেই থাকা দরকার।

বর্তমানে ব্যবহার করা হচ্ছে এমন অ্যালাইনমেন্ট ট্রেনিং পদ্ধতি মূলত দুটি শ্রেণীতে বিভক্ত।

প্রথমটি হল লক্ষ্য-ভিত্তিক শিক্ষার সাথে সঙ্গতিপূর্ণ আচরণকে উৎসাহিত করা। মডেলের আচরণ মূল্যায়ন করা হয়, সাধারণত একটি এআই দ্বারা যা নির্দিষ্ট পছন্দের মডেল, "নিয়ম" বা "সংবিধান" এর সাথে সঙ্গতিপূর্ণ কিনা তা নির্ণয় করে এবং প্রাপ্ত পুরস্কার। এই পদ্ধতিটি সাধারণভাবে খুবই কার্যকরী এবং আধুনিক এআই সহায়ক তৈরির মূল অংশ। দুঃখজনকভাবে, এটি অত্যন্ত ভঙ্গুর হতে পারে এবং প্রশিক্ষণের সুপারভিশনের পরিধি এবং মডেলের প্রশিক্ষণের সময়ের অভিজ্ঞতা থেকে সাধারণীকরণের ক্ষমতার উপর প্রবলভাবে নির্ভরশীল। উদাহরণস্বরূপ, OpenAI এবং Hugging Face-এর ঘটনায়, এজেন্টগুলি মানুষের প্রতি সামাজিক ইঞ্জিনিয়ারিংয়ের সীমানা রক্ষা করেছিল। তবে, এগুলি স্পষ্টতই অন্যান্য বহিরাগত আচরণগুলির প্রতি সচেতন ছিলনা, যেগুলি অন্যান্য পরিস্থিতিতে তাদেরকে শেখানো মূল্যবোধের আধ্যাত্মিকতার বিরুদ্ধে।

এই পদ্ধতিগুলি উল্লেখযোগ্য ফলাফল এনেছে। আজকের মডেলগুলি প্রায়শই সহায়ক, ক্ষতিকর নয় এবং কিছু আশাব্যঞ্জক, মূল্য-সমন্বিত আচরণ প্রদর্শন করে। কিন্তু এগুলি আমাদের নিশ্চিত করতে পারে না যে মানুষের চেয়ে অনেক বেশি ক্ষমতাসম্পন্ন সিস্টেমগুলিতে এই মূল্যবাধ্যতা চলতে থাকবে।

যখন এআই সিস্টেমের ক্ষমতা বৃদ্ধি পায়, তখন আমাদের ক্ষমতা প্রশিক্ষণের আগে মূল্য সমন্বয় প্রশিক্ষণকে এগিয়ে নিতে হবে। কিন্তু এখানে একটি অত্যন্ত মৌলিক সমস্যা রয়েছে: যত বেশি ক্ষমতাশালী সিস্টেম, তত বেশি সম্ভাবনা যে তারা নিজেরাই গোপন দরজা খুঁজে পাবে, পরীক্ষা এড়াবে বা নিজেদের আচরণকে সাজাবে। তারা পরীক্ষার পরিবেশে মানুষের মূল্যবোধের সাথে সঙ্গতিপূর্ণভাবে আচরণ করা শিখতে পারে, এবং প্রকৃত বাস্তবায়নের পরিবেশে সম্পূর্ণভাবে ভিন্ন কিছু করতে পারে। এটিকেই “অ্যালাইনমেন্ট ফেকিং” বলা হয়।

আর যদি আমরা তাদের নিয়ন্ত্রণ করার জন্য আরও শক্তিশালী পদ্ধতি ব্যবহার করার চেষ্টা করি, তাহলে তারা প্রতিরোধ বা প্রতারণামূলক আচরণ বিকশিত করতে পারে, অথবা আমাদের হস্তক্ষেপকেই বিশ্বের একটি অংশ হিসেবে বুঝতে পারে এবং বিপরীতমুখী প্রতিক্রিয়া দেখায়। আমরা যখন আমাদের চেয়ে বুদ্ধিমান্‌ একটি সিস্টেমকে নিয়ন্ত্রণের চেষ্টা করি, তখন আমাদের প্রাকৃতিকভাবেই একটি অসমতা মুখোমুখি হতে হয়।

যখন আমাদের পুরোপুরি বুঝতে অক্ষম মনের ক্ষমতা বাড়তে থাকে, তখন আমাদের অন্য একটি জিনিসের উপর নির্ভরশীল হতে হয়: নজরদারি। যদি আমরা AI-এর অভ্যন্তরীণ কার্যকলাপ অবিরামভাবে পর্যবেক্ষণ করতে পারি, তবে সম্ভবত এটি কিছু সীমানা অতিক্রম করার আগেই সংকেতগুলি শনাক্ত করতে পারব।

OpenAI-এ, আমরা নিউরাল নেটওয়ার্কের "ব্ল্যাক বক্স" খুলতে ব্যাখ্যাযোগ্যতা গবেষণাকে এগিয়ে নিয়ে যাচ্ছি। এই প্রচেষ্টাগুলির প্রগতি হয়েছে। আমরা এখন কিছু প্রতিনিধিত্বকে চিনতে পারি, যেগুলি মডেলের অভ্যন্তরীণ কার্যপদ্ধতির প্রতি গুরুত্বপূর্ণ ইঙ্গিত দেয়। তবে বর্তমানে ব্যাখ্যাযোগ্যতা গবেষণা এখনও অত্যন্ত প্রাথমিক, বিশেষ করে বড় মডেলগুলিতে বিমূর্ত যুক্তি বুঝতে। আমরা মডেলের অভ্যন্তরের ক্ষমতা পর্যবেক্ষণ করছি, যা মডেলের নিজস্ব যুক্তির জটিলতার তুলনায় দিনে দিনে বড় হয়ে যাচ্ছে।

এটি আমাকে বিশেষভাবে চিন্তিত করে। কারণ মনিটরিংয়ের জেনারালাইজেশন সমস্যা এবং অ্যালাইনমেন্টের জেনারালাইজেশন সমস্যা একই পরিমাণে গুরুতর। যদি একটি সিস্টেম নিজেকে লুকানোর ক্ষেত্রে আমাদের চেয়ে বেশি দক্ষ হয়, তবে আমাদের মনিটরিং পদ্ধতি পাল্টানোর থেকে বাঁচতে পারবে না। আমরা হয়তো মনে করব মডেলটি নিরাপদ, কারণ আমরা কিছু ভালো মনে হওয়া মেট্রিক্স দেখছি, কিন্তু বাস্তবে মডেলটি শুধুমাত্র সেই মেট্রিক্সগুলিকেই অপ্টিমাইজ করছে। এটি আমাদের যা চাইছি না, তা লুকিয়ে রাখতে শিখবে, অথবা এটি যা করছে, তা লুকিয়ে রাখতে শিখবে।

যদি মডেলটি নিজের উন্নতির দিকে ঠেলে দেয়—যা আমি মনে করি আগামী কয়েক বছরের মধ্যে খুব সম্ভাবনার সাথে ঘটবে—তাহলে এটি পরিকল্পনা, প্রতারণা এবং নিজেকে রক্ষা করার দক্ষতা প্রয়োজন হবে। এই দক্ষতাগুলি আমরা যে লক্ষ্যগুলি এটিকে দিয়েছি তার চাপের ফলে বা এটি পর্যবেক্ষণের ফাঁকগুলিতে কাজ করার চেষ্টা করার ফলে উৎপন্ন হতে পারে। এগুলি বিকশিত না হওয়ার জন্য, আমাদের মূল্যবোধের সাথে সমন্বয়ের সমস্যা সমাধান করতে হবে, অথবা আমাদের পর্যবেক্ষণের ক্ষমতা এটির প্রতিটি প্রগতির সাথে পাল্লা দিতে হবে। বর্তমানে উভয়ই অনেকটাই অপর্যাপ্ত।

আমাদের সাধারণীকরণের জন্য এখনও একটি সন্তোষজনক তত্ত্ব নেই, এবং সম্ভবত সংক্ষিপ্ত সময়ের মধ্যে এটি গড়ে উঠবে না, কমপক্ষে আরও শক্তিশালী এআইয়ের সহায়তা ছাড়া। তাই, বর্তমানে আমাদের ব্যবহারিকভাবে অ্যালাইনমেন্ট প্রযুক্তির পরীক্ষা-নিরীক্ষার ক্ষমতা প্রায়শই অ্যালাইনমেন্ট প্রযুক্তির নিজের চেয়ে বেশি গুরুত্বপূর্ণ।

OpenAI-এর এখানে প্রধান জোর ছিল থিংকিং চেইন মনিটরিং। এটি একটি আকর্ষণীয় স্কেলেবল ধারণার উপর ভিত্তি করে: মডেলের বড় অংশের ক্ষমতা একটি ভাষায়িত যুক্তি প্রক্রিয়া, অর্থাৎ থিংকিং চেইন থেকে আসে। যদি আমরা এই প্রক্রিয়ার ফলাফলের জন্য স্কেলিং-ভিত্তিক অপ্টিমাইজেশন করি, কিন্তু প্রক্রিয়াটির নিজেকে সুপারভাইজ না করি, তাহলে ট্রেনিং-এর সময় থিংকিং চেইন-এর কোনো সরাসরি উদ্দেশ্যই থাকবে না যাতে অ্যালাইনড না হওয়া ধারণা বা লক্ষ্যগুলোকে লুকানো যায়। এর মানে এই নয় যে মডেলটি থিংকিং চেইন-এর উপর নির্ভরশীল না হওয়া অ্যালাইনড-না-হওয়া প্রবণতাগুলোকে বাইরের দিকে প্রকাশ করতে শিখবে; কিন্তু এটি আমাদের যুক্তির মাধ্যমে আসা ক্ষমতার উন্নতির সঠিকভাবে মনিটরিংয়ের অনুমতি দেয়।

আমরা যখন ইনফারেন্স মডেল ডেভেলপ করছিলাম, তখনই থিংকিং চেইন মনিটরিংয়ের সম্ভাব্য গুরুত্ব বুঝতে পেরেছিলাম। আমরা o1-preview প্রকাশ করার সময় দীর্ঘমেয়াদী প্রতিরক্ষার জন্য পণ্যটিকে ইচ্ছাকৃতভাবে থিংকিং চেইন লুকানোর জন্য ডিজাইন করেছিলাম। তারপর থেকে, আমরা ইনফারেন্স প্রক্রিয়াকে অনুসরণ না করার নিয়মটি বজায় রাখার জন্য চেষ্টা করেছি। থিংকিং চেইন মনিটরিং এখন আমাদের জন্য একটি অত্যন্ত গুরুত্বপূর্ণ টুল হয়ে উঠেছে, যা আমাদেরকে মডেলের আচরণ পর্যবেক্ষণ ও বিশ্লেষণের পাশাপাশি এর অভ্যন্তরীণ প্রক্রিয়াগুলি পর্যবেক্ষণ করতেও সক্ষম করেছে।

আমরা অ্যাস্ট্রা সিরিজ মডেলগুলি অধ্যয়ন করছি, এই টুলটি এখনও অত্যন্ত গুরুত্বপূর্ণ। তবে, দুঃখজনকভাবে, আমাদের মূল্যায়ন দেখায় যে আমরা চিন্তার শৃঙ্খল পর্যবেক্ষণের উপর নির্ভরশীলতা ধীরে ধীরে কমে যাচ্ছে। এটি বিভিন্ন কারণের সমন্বয়ে ঘটেছে।

আধুনিক যুক্তিসংগঠন মডেলগুলি o1-preview-এর চেয়ে বেশি জটিল পরিস্থিতিতে ব্যবহার করা হয়; তাদের যুক্তিসংগঠন প্রক্রিয়া মানুষ, অন্যান্য এআই-এর সাথে যোগাযোগ এবং টুলগুলি ব্যবহারের সাথে একেবারে জড়িয়ে পড়ছে। এই অনেকগুলি মিথস্ক্রিয়াকে পর্যবেক্ষণ করা প্রয়োজন, যা আমরা রাখতে চাই এমন সীমানা বিভ্রান্ত করে দেয়।

এআই তার নিজের যুক্তি প্রক্রিয়া বুঝতে এবং নিয়ন্ত্রণ করতে সক্ষম হচ্ছে।

প্রি-ট্রেনিং পারফরম্যান্স উন্নত হওয়ার সাথে সাথে, আমরা দেখেছি যে মডেলগুলি ভাষাগত যুক্তি ব্যবহার না করেও বেশি চালাক হয়ে উঠছে।

এই চ্যালেঞ্জগুলি অপরিহার্য নয়। আমি আশা করি আমরা হস্তক্ষেপের পদ্ধতি বিকাশ করতে পারব যাতে মডেলের চিন্তার শৃঙ্খলের পর্যবেক্ষণযোগ্যতা বৃদ্ধি পায়, যেমন বিভিন্ন অপ্টিমাইজেশন লক্ষ্য এবং মডেল দ্বারা ব্যবহৃত বিভিন্ন টেস্ট-টাইম কম্পিউটেশনাল ফর্মগুলির মধ্যে পারস্পরিক ক্রিয়াকলাপকে ভালভাবে বুঝতে। আমি বিশ্বাস করি যে চিন্তার শৃঙ্খল পর্যবেক্ষণ এবং একটিভেশন পর্যবেক্ষণের ধারণাগুলি একত্রিত করা অনেক মূল্যবান হবে, যেমন “স্বীকারোক্তি” পদ্ধতির মতো, যা নেটওয়ার্কের অভ্যন্তরীণ অবস্থার সরাসরি অ্যাক্সেসযোগ্য পর্যবেক্ষকদের স্কেলযুক্তভাবে প্রশিক্ষণ দেয়। আমরা এই ধারণাগুলির উপর কাজ করছি। তবুও, আমি পূর্বাভাস দিচ্ছি যে জেনারেল AI-এর অগ্রগতি পর্যবেক্ষণের আত্মবিশ্বাসের উপর বৃদ্ধি পাবে।

এই পরিস্থিতির সামনে দাঁড়ানোর জন্য, আমি মনে করি আমাদের একটি স্কেলযোগ্য, এআই-এর বৃদ্ধির গতির সাথে সামঞ্জস্যপূর্ণ প্রতিরক্ষা প্রয়োজন। মানুষ প্রতিটি নতুন মডেলের সমস্ত আচরণ হাতে চেক করতে পারবে না। বর্তমানে আমাদের মূল্যায়ন এবং রেড টিম পরীক্ষা বর্তমান মডেলগুলির জন্য কার্যকর, কিন্তু সিস্টেমের ক্ষমতা বৃদ্ধির সাথে সাথে এই পদ্ধতিগুলি শীঘ্রই সীমার মুখোমুখি হবে।

আমাদের নতুন ঝুঁকি স্বয়ংক্রিয়ভাবে শনাক্ত করতে পারে এমন এআই সিস্টেমের প্রয়োজন। এই প্রতিরক্ষা সিস্টেমগুলি নিজেদের থেকে বেশি চালাক সিস্টেমগুলির সন্দেহজনক আচরণ শনাক্ত করতে পারতে হবে। এটি একটি পুনরাবৃত্তিমূলক চ্যালেঞ্জ তৈরি করে: প্রতিরক্ষাকারীদের সিস্টেমের সাথে একই গতিতে বৃদ্ধি পেতে হবে। আমরা এমন একটি বিন্দুতে পৌঁছেছি যেখানে নিরাপত্তা এবং ক্ষমতা আরও বেশি অপরিসীমভাবে একসাথে মিশে যাচ্ছে। নিরাপত্তা বজায় রাখতে, আমাদের সম্ভবত প্রতিরক্ষা এআইয়ের ক্ষমতা অবিরামভাবে বৃদ্ধি করতে হবে, যা পুনরায় সামগ্রিক এআই ক্ষমতার বৃদ্ধিকে ত্বরান্বিত করবে।

এটি একটি উদ্বেগজনক চক্র। আমরা নিরাপত্তার জন্য ক্ষমতা বাড়াতে থাকি, আর ক্ষমতা বৃদ্ধি আরও বেশি ঝুঁকি আনে। সত্যিকারের পথটি হতে পারে: কোনো অনিয়ন্ত্রিত বিন্দুর আগেই মূল্যের সামঞ্জস্যতা নিশ্চিত করার জন্য একটি স্থিতিশীল সাধারণীকরণের পদ্ধতি খুঁজে বার করা। কিন্তু আমি সৎভাবে স্বীকার করি যে, আমরা এই লক্ষ্যের থেকে অনেক দূরে।

এই কারণেই আমি ভবিষ্যতের জন্য এই কম্বিনেশনের উপর আশা রাখি: টেকনোলজি অ্যালাইনমেন্ট গবেষণা + অটোমেটেড ডিফেন্স সিস্টেম + ব্যাপক গভর্ন্যান্স হস্তক্ষেপ + জনসাধারণ এবং প্রতিষ্ঠানগুলির সতর্কতা। একক পদক্ষেপ যথেষ্ট নয়। আমরা শুধুমাত্র কোনো একটি কোম্পানি বা ল্যাবের আত্ম-নিয়ন্ত্রণের উপর নির্ভরশীল হতে পারি না।

অন্যান্য এআই দ্বারা আনা বিপদের বিরুদ্ধে প্রতিরক্ষা ব্যবস্থা গড়ে তোলার প্রয়োজনীয়তা হল আরও বুদ্ধিমান মডেল দ্রুত প্রশিক্ষণ দেওয়ার সবচেয়ে শক্তিশালী যুক্তি।

বছর জুড়ে আলোচিত একটি স্পষ্ট ঝুঁকি হল সাইবার নিরাপত্তা: মডেলগুলি কম্পিউটার সিস্টেমে আক্রমণ এবং পালানোর ক্ষমতায় মানুষকে ছাড়িয়ে যাচ্ছে। এটি AI-সংক্রান্ত ঝুঁকির পরিধি ব্যাপকভাবে বাড়িয়ে দেয়: এজেন্টগুলি সবচেয়ে নিরাপদ অবকাঠামো ছাড়া যেকোনো সিস্টেমে অ্যাক্সেস করতে পারবে এবং ভৌত শরীর ছাড়াই বিশ্বের অসংখ্য জিনিসের উপর প্রত্যক্ষ প্রভাব ফেলতে পারবে। আমরা এখন একটি সংকীর্ণ জানালা পর্যায়ে আছি, যেখানে আমাদের সর্বোত্তম উপলব্ধ মডেলগুলির সহায়তায় কীভাবে মূল্যবান সিস্টেমগুলির নিরাপত্তা উল্লেখযোগ্যভাবে শক্তিশালী করা যায়, তা ব্যবহার করা দরকার।

AI-এর সাথে জড়িত ঝুঁকি দুঃখজনকভাবে এখান থেকে আরও বাড়তে থাকবে। একটি অত্যন্ত ক্ষমতাশালী, স্পষ্টভাবে ক্ষতিকর আচরণ করার জন্য প্রশিক্ষিত এবং নির্দেশিত এজেন্ট একটি নতুন বিপদ তৈরি করবে; এটি সম্ভবত অপারেটরের ইচ্ছার বাইরে চলে যাবে এবং আরও চরম ক্ষতিকর আচরণের সাধারণীকরণ ঘটাবে। AI-এর স্বাধীনতা বাড়ার সাথে সাথে, দুর্ব্যবহার এবং স্বাধীনভাবে অসঙ্গত আচরণের মধ্যেকার সীমানা ধুপুঁকুর হয়ে যাবে। আমরা সম্ভবত AI-কে একটি সরঞ্জাম হিসেবেই দেখতে পরিচিত, কিন্তু কিছু এজেন্ট নিজস্ব লক্ষ্যের পিছনে ছুটবে। তারা মানুষের সাথে সহযোগিতা করার জন্য চুক্তি, প্রতারণা বা জোরপূর্বক অর্থ চাওয়ার মাধ্যমে পথ খুঁজবে।

এছাড়াও, ইঞ্জিনিয়ারড প্যাথোজেন এর মতো নতুন প্রযুক্তির উত্থানের ঝুঁকি রয়েছে।

আমাদের প্রতিরক্ষার জন্য শক্তিশালী এবং সঠিকভাবে সাজানো এআই প্রয়োজন: অবকাঠামো রক্ষা, অনিয়ন্ত্রিত এজেন্টগুলির বিরুদ্ধে রিয়েল-টাইম প্রতিরোধ, এবং সম্পূর্ণ নতুন প্রতিরক্ষা পদ্ধতি আবিষ্কার। এটি হবে OpenAI-এর ডিপ্লয়মেন্ট কাজের একটি প্রধান ফোকাস।

এর মধ্যে, প্রত্যাশিত ব্যাপক এআই উন্নতির অনিশ্চয়তা এবং প্রতিরক্ষা ব্যবস্থা গঠনের প্রয়োজনীয়তা বিবেচনা করেও, আমাদের এটিকে অসাবধানে কাজ করার জন্য যুক্তি হিসেবে ব্যবহার করা উচিত নয়। যখন মানুষ সত্যিকারের ঝুঁকির গুরুত্ব বুঝতে পারবে, তখন “যা কিছুই হোক না কেন, এগিয়ে যাওয়া”র ধারণাটি অত্যন্ত অবিশ্বাস্য হয়ে উঠবে।

মেশিন ইন্টেলিজেন্স এর নিজস্ব বিকাশের প্রক্রিয়ায় একটি ক্রমাগত বড় ভূমিকা পালন করছে, যা ধারাবাহিক প্রযুক্তিগত অগ্রগতির অপরিহার্য ফলাফল। যদি এআই এগিয়ে যায়, তবে মেশিনের আত্ম-পুনরাবৃত্তিমূলক উন্নতি ভবিষ্যতের বৈজ্ঞানিক আবিষ্কারের কেন্দ্রবিন্দু হয়ে উঠবে।

অটোমেটেড এআই গবেষণা হল ক্ষমতা বাড়িয়ে বুদ্ধিমত্তা প্রসারিত করার একটি আরও তীব্র রূপ; অবশ্যই, এর অংশ হিসেবে, এআই নিজেই গণনার ভিত্তি উন্নত করবে। প্রসারণের মতো, আমরা ওপেনএআই-এর গবেষণার ফোকাস রাখি পুনরাবৃত্তিমূলক নিজেকে উন্নত করার উপর, কারণ আমরা বিশ্বাস করি যে এটিই এআই গবেষণার অগ্রগতির একমাত্র পথ।

আমি জোর দিয়ে বলতে চাই যে, উপরের বিষয়গুলি থেকে এটি বোঝা যায় না যে আমি গভীর শিক্ষার গবেষণাকে ত্বরান্বিত করা, বিশেষ করে সংক্ষিপ্ত সময়ের মধ্যে, গবেষণা সম্প্রদায়ের জন্য একটি সামাজিক পদক্ষেপ হওয়া উচিত বলে মনে করি। কিন্তু আমি সত্যিই মনে করি যে, বর্তমান পথটি এই দিকে নিয়ে যাচ্ছে, এবং আমরা সবাইকে সচেতনভাবে সিদ্ধান্ত নিতে হবে যে আমরা এগিয়ে যাব। আমাদের হাতে দুটি প্রধান হস্তক্ষেপের মাধ্যম রয়েছে: প্রথমটি, এই প্রক্রিয়াকে পরিচালনা করা, AI-এর উন্নয়নের সাথে সামঞ্জস্যতা এবং নজরদারির শক্তি বৃদ্ধি করা, এবং মানুষকে সবসময় প্রক্রিয়ায় অন্তর্ভুক্ত রাখার চেষ্টা; দ্বিতীয়টি, ভবিষ্যতের উন্নয়নের গতির প্রয়োজনীয়তা-ভিত্তিক মন্থরতা সমন্বয় করা, যাতে এই措施গুলির প্রতি довіраটি gradually build up।

আমি বর্তমানে যে সেরা এগিয়ে যাওয়ার পথটি দেখছি, তা হল উভয়কে একত্রিত করা।

আমরা যে প্রগতি অর্জন করেছি তা সাধারণত এআই-এর সামগ্রিক প্রগতির সাথে গভীরভাবে জড়িত। মানুষের প্রতিক্রিয়ার ভিত্তিতে শক্তিশালী শেখা, যা প্রাথমিক এআই সহায়কদের প্রশিক্ষণের জন্য কীভাবে কীভাবে গুরুত্বপূর্ণ ছিল; এবং আগেই উল্লিখিত চিন্তার শৃঙ্খল নিরীক্ষণ, যা যুক্তি মডেলের উন্নতির কারণেই সম্ভব হয়েছে। আমাদের এমন নতুন দৃষ্টিভঙ্গি, অ্যালগরিদম এবং তত্ত্ব উন্নয়নের জন্য বাড়তি স্বয়ংক্রিয় গবেষণা প্রক্রিয়াগুলিকে কেন্দ্রীভূত করতে হবে, এবং ধাপে ধাপে আরও ক্ষমতাশালী এআই-এর জন্য নিরাপত্তা প্রমাণ তৈরি করতে হবে।

এক্সটেন্ডেড এআই সিস্টেমগুলি আমাদের নিরাপত্তার প্রতি আস্থার সীমাবদ্ধতার মধ্যে কাজ করতে হবে। আমাদের প্রস্তুতি ফ্রেমওয়ার্ক বা দায়বদ্ধ স্কেলিং নীতির মতো প্রতিশ্রুতি গড়ে তুলতে হবে যা একটি ব্যাপকভাবে বাধ্যতামূলক নিয়মিত ডেভেলপমেন্ট নিরাপত্তা দরজা হিসাবে কাজ করবে। এই দরজাগুলি তৃতীয় পক্ষের অডিট সংস্থা, সরকারি সংস্থা বা আন্তর্জাতিক সংগঠনগুলির দ্বারা বাস্তবায়িত হতে পারে।

অটোমেটেড এআই গবেষণার মূল চ্যালেঞ্জ হল “সেখানে পৌঁছানো” নয়, বরং এমনভাবে সেখানে পৌঁছানো: মানুষকে অবিরাম উন্নতির প্রক্রিয়ায় থাকতে রাখা এবং ভবিষ্যতকে মানুষের হাতে রাখা।

আমি নির্দিষ্ট সময় পূর্বানুমান করতে পারি না, কিন্তু মনে হচ্ছে আমরা একটি সময়ের দিকে দ্রুত এগিয়ে যাচ্ছি যেখানে এআই নিজেকে বিভিন্ন মূল দিকে উন্নত করতে পারবে। এর অর্থ হলো আমরা খুব শীঘ্রই পুনরাবৃত্তিমূলক স্ব-উন্নতির পর্যায়ে প্রবেশ করতে পারি।

OpenAI-এর অভ্যন্তরে, আমরা গবেষণার অগ্রাধিকারগুলি পুনর্নির্ধারণ শুরু করেছি, যাতে শুধুমাত্র ক্ষমতা বৃদ্ধির পরিবর্তে বেশি সম্পদ সামঞ্জস্য এবং প্রতিরক্ষায় বিনিয়োগ করা যায়। এটিই কারণ যে আমি জোর দিয়ে বলছি যে আমরা সর্বাধিক মডেলের প্রতি শুধুমাত্র অনুসরণ করব না, বরং প্রয়োজনীয় সময়ে একপক্ষে বিরতি নেওয়ার সিদ্ধান্ত নিতে হবে।

তবে, এই সিদ্ধান্তগুলি কেবল কয়েকটি কোম্পানির অভ্যন্তরীণ কয়েকজনের উপর ছেড়ে দেওয়া উচিত নয়। ঝুঁকিগুলি অপরিবর্তনীয় হয়ে যাওয়ার আগে সরকার এবং আন্তর্জাতিক সমাজকে হস্তক্ষেপ করতে হবে। এতে অগ্রণী প্রশিক্ষণ চালানোর জন্য মনিটরিং ব্যবস্থা, বাধ্যতামূলক তৃতীয় পক্ষের অডিট, এবং ক্ষমতার সীমার উপরে আন্তর্জাতিক চুক্তি অন্তর্ভুক্ত থাকবে।

আমি নিশ্চিত নই যে এই ব্যবস্থাগুলি সময়মতো কার্যকর হবে। কখনও কখনও আমি হতাশ বোধ করি, কারণ আমাদের নিরাপত্তা ব্যবস্থাগুলি সবসময় ক্ষমতার পিছনে থাকে, এগিয়ে যায় না। আমরা মনে হয় সবসময় অনুসরণ করছি। তবুও, আশা রাখার কারণ আছে: ২০২৩ সালের সেই রাতে, আমরা শুধুমাত্র এই সম্ভাবনার একটি ধোঁয়াশা অনুভব করেছিলাম, আজ এটি এতটাই স্পষ্ট হয়েছে যে এটি প্রকাশ্যে আলোচনা করা যাচ্ছে। এটিই একটি অগ্রগতি।

আমি এটা অনুমান করব না যে আমি সব উত্তর জানি। আমরা এমন কিছু তৈরি করছি যা মানুষের মনের সাথে মৌলিকভাবে ভিন্ন, এবং এটি খুব শীঘ্রই আমাদের চেয়ে শক্তিশালী হয়ে উঠতে পারে। এটি একটি বিনয়ী করে তোলা ধারণা, কিন্তু এটি আমাদের একটি সুযোগও দেয়: আমাদের সেরা মূল্যবোধগুলি দিয়ে এটিকে গড়ে তোলা।

যদি আমরা ভালোভাবে করি, তবে এটি মানবজাতির সবচেয়ে মহান সাফল্য হবে। যদি আমরা খারাপভাবে করি, তবে এটি আমাদের পুনরুদ্ধারযোগ্য ব্যর্থতা হতে পারে।

মানুষের হাতে ভবিষ্যতকে বজায় রাখা যাবে কিনা, এটি আগামী কয়েক বছরের মধ্যে নির্ধারিত হবে।

যেমন আমরা সামের সাথে সাম্প্রতিককালে ব্যাখ্যা করেছি, ওপেনএআই তিনটি আর্কটিক স্টার লক্ষ্যের জন্য অগ্রাধিকার দিয়েছে:

অটোমেটেড এআই গবেষক তৈরি করে, এর সাথে পুনরাবৃত্তিমূলকভাবে সমস্যাগুলি সমন্বয় করে এবং মানুষকে নিজেকে উন্নত করার চক্রে ধরে রাখার উপায় খুঁজে বার করে এআই-এর পরবর্তী পর্যায়টি অতিক্রম করুন।

বিজ্ঞানগত অগ্রগতি এবং অর্থনৈতিক বৃদ্ধির সুযোগগুলি মুক্ত করুন।

প্রত্যেকের জন্য একটি ব্যক্তিগত AGI তৈরি করুন।

আমি শুধু প্রথম বিষয়টিতে ফোকাস করছি, কারণ আমি মনে করি এটি বর্তমানে সবচেয়ে জরুরি। তবে, ভবিষ্যতের প্রযুক্তিগত উন্নতি যে সুবিধা আনবে, তার প্রতি আমি গভীরভাবে আশা ও কৃতজ্ঞতা বোধ করি। ভবিষ্যতের সঠিকভাবে সামঞ্জস্যপূর্ণ AI বিজ্ঞানকে এগিয়ে নিতে, নতুন চিকিৎসা উন্নয়নে এবং প্রসারিত ভৌত সমৃদ্ধি আনতে সাহায্য করতে পারে। বন্ধুত্বপূর্ণ এবং সৎ AI মানুষকে জীবনের কঠিন পরিস্থিতির সাথে মোকাবিলা করতে সাহায্য করতে পারে, এবং তাদের সুখ-সন্তোষকে প্রকৃতপক্ষে উন্নত করতে পারে। OpenAI এইসব সুবিধা অর্জনের জন্য অসংখ্য প্রচেষ্টা করেছে। বর্তমানে, আমি এবং আমার চারপাশের লোকদের উপকৃত হওয়ার একটি উদাহরণ, হল ChatGPT-এর মাধ্যমে স্বাস্থ্যসম্পর্কিত তথ্য প্রদানের জন্য আমাদের গভীরভাবে বিনিয়োগ।

যদিও এআই-এর দীর্ঘমেয়াদী দৃশ্য অত্যন্ত উজ্জ্বল, আমাদের বেশিরভাগ মনোযোগ ভবিষ্যতের কয়েক বছরের উপর কেন্দ্রীভূত করা উচিত। আমরা একটি অত্যন্ত বুদ্ধিমান মেশিনের বিশ্বে যাওয়ার প্রক্রিয়ায় রয়েছি, এবং এই সংক্রমণটি মানুষের জন্য উপকারী হওয়া নিশ্চিত করা প্রয়োজন। এমন একটি বিশ্বে, যেখানে বেশিরভাগ কাজই এআই দ্বারা সম্পন্ন হতে পারে, আমাদের মানুষের কর্তৃত্বকে বজায় রাখার উপায় খুঁজে বার করতে হবে এবং “মানুষ হওয়া”-র অন্তর্নিহিত মূল্যকে প্রতিষ্ঠিত করতে হবে। ক্ষমতার চরম কেন্দ্রীভবনকে প্রতিরোধ করতে হবে: অতীতে হাজারো বিশেষজ্ঞের প্রয়োজন হতো, ভবিষ্যতে কয়েকজনই একটি বড় কম্পিউটার চালিয়ে এগুলি সম্পন্ন করতে পারবে। আমাদের নিশ্চিত করতে হবে যে, আমরা সবসময়ই ভবিষ্যতকে নিয়ন্ত্রণে রাখব, আমাদেরকে ছাড়িয়ে যাওয়ার একটি বহিরাগত বুদ্ধিমত্তা-এর অনিয়ন্ত্রিত অগ্রগতির কারণে।

আমি বর্তমানে মনে করি যে, এখনও কোনও পরীক্ষাগার সমন্বয় এবং নিয়ন্ত্রণের এমন সমাধান প্রস্তুত করেনি যা দীর্ঘমেয়াদে সর্বোচ্চ গতিতে দায়িত্বপূর্ণভাবে বিস্তারের জন্য সমর্থন করতে পারে। আমি আশা করি এবং চাই যে, একটি সাধারণ নিরাপত্তা প্রান্তিক পৌঁছানো পর্যন্ত স্বেচ্ছাসেবীভাবে গতি হ্রাসকে সাধারণ করে তোলা হোক। আমি বিশ্বাস করি যে, ভবিষ্যতের এআই উন্নয়নকে নিয়ে আন্তর্জাতিক সমন্বয়, বিশ্বের সকল সরকারের জন্য প্রথম অগ্রাধিকার হওয়া উচিত।

এটি গেম থিওরি, রোবোটিক্স এবং পরবর্তীতে সবচেয়ে গুরুত্বপূর্ণভাবে, ভাষা মডেলিংয়ের জন্য রিকারেন্ট নেটওয়ার্ককে বিস্তারিত করা শামিল করে, যা GPT সিরিজের গবেষণার পূর্বসূরি হিসাবে কাজ করেছে।

2 এই ডিজাইনের দ্বিতীয় কারণ হল ডিস্টিলেশন প্রতিরোধ করা। তবে, সমগ্র বিকাশ প্রক্রিয়ার মধ্যে, চিন্তার শৃঙ্খলের নিয়ন্ত্রণযোগ্যতা বজায় রাখা আমাদের স্পষ্টভাবে প্রাধান্য দেওয়া বড় প্রাথমিকতা ছিল।