লেখক:টিনা, দংমেই, ইনফোকিয়ু
১. প্রায় তিন বছর পর, মাস্ক আবারও X সুপার কম্পিউটারের সাথে সংযুক্ত হয়
একটি পোস্টে, X ইঞ্জিনিয়ারিং দলটি ঘোষণা করেছে যে X এর সুপারিশ অ্যালগরিদমটি অফিসিয়ালভাবে খুলে দেওয়া হয়েছে। বর্ণনা অনুযায়ী, এই ওপেন সোর্স লাইব্রেরিটি X এর "আপনার জন্য সুপারিশ" ফিড সমর্থন করার জন্য কোর সুপারিশ সিস্টেম অন্তর্ভুক্ত করে। এটি নেটওয়ার্কের মধ্যে সামগ্রী (ব্যবহারকারীদের অ্যাকাউন্টগুলি থেকে) এবং নেটওয়ার্কের বাইরের সামগ্রী (মেশিন লার্নিংয়ের ভিত্তিতে খুঁজে পাওয়া) এর সমন্বয় করে এবং সমস্ত সামগ্রীকে র্যাঙ্ক করার জন্য Grok-ভিত্তিক ট্রান্সফর্মার মডেল ব্যবহার করে। অর্থাৎ, এই অ্যালগরিদমট
উৎস খোলা ঠিকানা: https://x.com/XEng/status/2013471689087086804
X এর সুপারিশ অ্যালগরিদম ব্যবহারকারীদের মুখ্য পৃষ্ঠে দেখা"আপনার জন্য পছন্দের" (For You Feed) কন্টেন্টএটি দুটি প্রধান উৎস থেকে প্রার্থীদের পোস্ট সংগ
আপনি যে অ্যাকাউন্টগুলো অনুসরণ করছেন (In-Network / Thunder)
প্ল্যাটফর্মে আবিষ্কৃত অন্যান্য পোস্ট (আউট-অফ-নেটওয়ার্ক / ফিনিক্�
পরবর্তীকালে এই মনোনীত বিষয়গুলি একটি সাধারণ প্রক্রিয়া দ্বারা প্রক্রি�
তাহলে, অ্যালগরিদম কোর স্ট্রাকচার এবং অপারেশন লজিক কী রকম?
অ্যালগরিদম প্রথমে দুই ধরনের উৎস থেকে প্রার্থীদের
যে সমস্ত পোস্ট আপনি নিজে অনুসরণ করেছেন তারা পোস্ট করেছেন।
অনুসরণ করা হয়নি: সম্ভবত আপনার আগ্রহ হতে পারে এমন পোস্টগুলি সম্পূর্ণ সামগ্রী সংগ্রহ থেকে
এই পর্যায়ের লক্ষ্য হলো "সম্ভাব্য সম্পর্কিত পোস্টগুলো খ�
সিস্টেমটি স্বয়ংক্রিয়ভাবে নিম্নমানের, পুনরাবৃত্তি, অপরাধী বা অনুপয�
বাতিলকৃত অ্যাকাউন্ট
ব্যবহারকারীদের স্পষ্টভাবে অসম
অবৈধ, পুরাতন বা অকার্যকর পোস্ট
এভাবে শেষ সাজানোর সময় শুধুমাত্র মূল্যবান প্রস্তাব
এই বার উন্মুক্ত করা হওয়া অ্যালগরিদমের কেন্দ্রীয় অংশটি হল সিস্টেমটি প্রতিটি পোস্ট প্রস্তাবের জন্য একটি Grok-ভিত্তিক ট্রান্সফর্মার মডেল (বৃহৎ ভাষা মডেল / গভীর শেখা নেটওয়ার্কের মতো) ব্যবহার করে। ট্রান্সফর্মার মডেলটি ব্যবহারকারীর ইতিহাসের উপর ভিত্তি করে (লাইক, প্রতিক্রিয়া, রিটুইট, ক্লিক ইত্যাদি) প্রতিটি ক্রিয়াকলাপের সম্ভাবনা পূর্বাভাস করে। শেষ পর্যন্ত, এই ক্রিয়াকলাপের সম্ভাবনাগুলি ওজনযুক্ত সংমিশ্রণের মাধ্যমে একট
এই ডিজাইনটি প্রায় সম্পূর্ণরূপে প্রতিষ্ঠিত হাতের দ্বারা বৈশিষ্ট্য সংগ্রহের প্রথা বাতিল করে দেয় এবং ব্যবহারক
এটি মাস্ক এক্স সুপার স্প্লে অ্যালগরিদম প্রথমবারের মতো খুল
2023 এর 31 মার্চ থেকে, মার্কে টুইটার কে কিনার সময় যে প্রতিশ্রুতি দিয়েছিলেন তার মধ্যে অংশ হিসেবে, টুইটার কর্তৃপক্ষ টুইটারের অংশ সোর্স কোড অপেন সোর্স করে দিয়েছে, যার মধ্যে ব্যবহারকারীদের টাইমলাইনে টুইট প্রস্তাবের অ্যালগরিদম অন্তর্ভুক্ত রয়েছে।প্রকাশের দিনে, এই প্রকল্পটি GitHub-এ 10k + স্টার অর্জন করেছে।
সেই সময় মাস্ক টুইটারে বলেছিলেন যে এই মুক্তি"প্রায় সব রেকমান্ডেশন অঅন্যান্য অ্যালগরিদমগুলোও ক্রমাগত উন্মুক্ত করা হবে। তিনি আরো উল্লেখ করেন যে, তিনি আশা করেন যে "স্বাধীন তৃতীয় পক্ষ টুইটার ব্যবহারকারীদের কি দে
স্পেস আলোচনায় অ্যালগরিদম প্রকাশের বিষয়ে তিনি বলেন যে এই ওপেন সোর্স পরিকল্পনাটি টুইটারকে "ইন্টারনেটে সবচেয়ে স্বচ্ছ সিস্টেম" করে তুলতে এবং সবচেয়ে জনপ্রিয় এবং সফল ওপেন সোর্স প্রকল্প লিনাক্সের মতো স্থিতিশীল করে তুলতে চাওয়া হয়েছে। "সাধারণ লক্ষ্য হল টুইটারকে সমর্থন করার জন্য চা�
মার্কে তার X অ্যালগরিদম প্রথমবারের মতো ওপেন সোর্স করার পর থেকে তিন বছরেরও বেশি সময় অতিবাহিত হয়েছে। এবং সুপার কে ও এল হিসাবে প্রযুক্তি বিশ্বের মার্কে এই ওপেন সোর্স ঘোষণার জন্য প্রচুর প্�
11 জানুয়ারী, মাস্ক X-এ একটি পোস্ট করেছেন যে তিনি 7 দিনের মধ্যে নতুন X অ্যালগরিদম (ব্যবহারকারীদের কোন প্রাকৃতিক অনুসন্ধান বা বিজ্ঞাপন প্রস্তাবের জন্য কোড নির্ধারণ করার জন্য সমস্ত কোড) ওপেন সোর্স করবেন।
এই প্রক্রিয়াটি প্রতি 4 সপ্তাহ পর পর পুনরাবৃত্তি হবে এবং বিস্তারিত ডেভেলপার নোট সহ যা ব্যবহারকারীদের জন্য কী পরিবর্তন হয়ে
আজ তিনি আবারও তাঁর প্রতিশ্রুতি পূরণ কর
২. মাস্ক কেন উন্মুক্ত সোর্স করেছেন?
এলন মাস্ক আবারও 'ওপেন সোর্স' নিয়ে কথা বললে বাইরের দুনিয়ার প্রথম প্রতিক্রিয়া তথ্যপ্রযুক্তির আদর্শবাদী ধারণা নয়, বরং বাস
প্রতিবেদন অনুযায়ী, গত এক বছরের মধ্যে X এর তথ্য বিতরণ পদ্ধতির কারণে বিতর্কের মধ্যে পড়েছে। এই প্ল্যাটফর্মটি ব্যাপক সমালোচনার মুখোমুখি হয়েছে যার কারণ হল এর অ্যালগরিদমের মাধ্যমে ডানপন্থী মতামতগুলি প্রতিরোধ করা এবং সমর্থন করা। এই প্রকৃতি কোনও সাধারণ ঘটনা নয়, বরং এটি সিস্টেমিক বৈশিষ্ট্য হিসাবে বিবেচিত হয়। গত বছর প্রকাশিত একটি গবেষণা প্র
এর সাথে সাথে, কিছু চূড়ান্ত পরিস্থিতি বাইরের সন্দেহগুলি আরও বাড়িয়েছে। গত বছর, মার্কিন সামাজিক সংস্কারক চার্লি কর্ককে হত্যা করার একটি অনুমোদিত ভিডিও এক্স প্ল্যাটফর্মে দ্রুত ছড়িয়ে পড়েছিল এবং মতামতের স্রোতকে বিস্মিত করেছিল। সমালোচকদের মতে, এটি প্ল্যাটফর্মের মূল্যায়ন মেকানিজমের ব্যর্থতা প্রকাশ করেছে এবং এটি আবারও প্রমাণ করেছে যে অ্যালগরিদম ক� অস্পষ্ট ক্ষমতা।
এই প্রেক্ষিতে, মাস্ক হঠাৎ করে অ্যালগরিদমের স্বচ্ছতা নিয়ে জোর দেওয়াকে সহজে শুধুমাত্র একটি প্রযুক্তিগত সিদ্ধ
3. ইন্টারনেট ব্যবহারকারীদের মতামত কী?
X এর সিফার অ্যালগরিদম সোর্স কোড প্রকাশ করার পর, X প্ল্যাটফর্মে ব্যবহারকারীরা সিফার অ্যালগরিদমের মেকানিজম নিম্নলিখিত 5টি বিন্দুতে সার
- আপনার মন্তব্যের"উত্তর + লেখকের প্রতিক্রিয়া" এর ওপর অ্যালগরিদমের ওজন লাইকের 75 গুণ বেশি। মন্তব্যের উত্তর না দেওয়া দৃশ্যমানতার উপর গুরুতর প্রভাব ফেলবে।
- সংযোগ দ্বারা দৃশ্যমানতসংযোগগুলি ব্যক্তিগত পরিচয় বা শীর্ষ পোস্টে রাখা উচিত, কিন্তু কোনও পোস্টের মূল অংশে র
- দৃশ্যমান সময় খুবযদি তারা স্ক্রিন স্লাইড করে উপেক্ষা করে তবে আপনি তাদের আকর্ষণ করতে পারবেন না। ভিডিও / পোস্টগুলি যেহেতু ব্যবহারকারীদের থামিয়ে রাখতে সক্ষম হয়, তাই তাদের উচ
- আপনি আপনার ক্ষে"সিমুলেশন ক্লাস্টার" বাস্তব জীবনে বিদ্যমান। আপনি যদি আপনার নির্দিষ্ট ক্ষেত্র (ক্রিপ্টো, টেক ইত্যাদি) থেকে বেরিয়ে আসেন তবে আপনি কোনও বিতরণ চ্�
- ব্লক / নির্বাচন করা আপনার স্কোর বিপর্যয় ঘটাবেবিতর্কিত হতে হবে, কিন্তু অসহ্য হওয়া যাবে না।
সংক্ষেপে: আপনার দর্শকদের সাথে যোগাযোগ করুন, সম্পর্ক গড়ে তুলুন এবং ব্যবহারকারীদের অ্যাপ্লিক
একজন ইন্টারনেট ব্যবহারকারী লক্ষ্য করেছেন যে যদিও স্থাপন করা হয়েছে ওপেন সোর্স আর্কিটেকচার, তবুও কিছু অংশ এখনও ওপেন সোর্স হয়নি। ব্যবহারকারী বলেছেন যে এই মুক্তি �
ওজন প্যারামিটার - কোডটি "সক্রিয় আচরণের জন্য পয়েন্ট যোগ করা" এবং "নেতিবাচক আচরণের জন্য পয়েন্ট কেটে নেওয়া" নিশ্চিত করে, কিন্তু 2023 এর সংস্করণের সাথে পার্থক্য হল নির্দিষ্ট মানগুলো �
গোপন মডেল ওয় - মডেলটির নিজস্ব অভ্যন্তরীণ প্যারামিটার এবং গণনা
গোপনীয় প্রশিক্ষণ ডেটা - আমরা মডেল প্রশিক্ষণের জন্য ব্যবহৃত ডেটা, ব্যবহারকারীর আচরণের নমুনা সংগ্রহের পদ্ধতি এবং "ভালো" এবং "খারাপ" নমুনা গঠনের পদ্ধতি সম্পর্কে কিছুই জানি না।
সাধারণ X ব্যবহারকারীদের জন্য, X এর অ্যালগরিদম খুলে দেওয়া বেশি প্রভাব ফেলবে না। তবে বৃদ্ধি পাওয়া স্বচ্ছতা ব্যাখ্যা করতে পারে কেন কিছু পোস্ট দৃশ্যমান হয় আর কিছু নয়, এবং গবেষকদের অ্যাপ কীভাবে সামগ্রীকে র্যাঙ্ক করে তা �
৪. কেন সিফার সিস্টেম একটি প্রতিযোগিতামূলক বিষয়?
অধিকাংশ প্রযুক্তিগত আলোচনায�প্রস্তাবিতপ্রায়শই এটি পশ্চাদপসারী প্রকৌশলের অংশ হিসেবে দেখা হয়, যা সাদামাটা, জটিল কিন্তু কখনও কখনও আলোর মুখোমুখি হয় না। কিন্তু আমরা যদি বাস্তবে ইন্টারনেট জায়ান্টদের ব্যবসায়িক পরিচালনা বিশ্লেষণ করি, তবে আমরা দেখতে পাব যে সিফার সিস্টেম কোনও প্রান্তিক মডিউল নয়, বরং সম্পূর্ণ ব্যবসা মডেলকে �
পাবলিক ডেটা এটি বার বার প্রমাণ করেছে। অ্যামাজন প্রকাশ করেছে যে, এর প্ল্যাটফর্মের প্রায় 35% ক্রয় সরাসরি সিফার সিস্টেম থেকে হয়। নেটফ্লিক্স আরও বেশি প্রবল, প্রায় 80% দেখা সময় সিফার অ্যালগরিদম দ্বারা চালিত হয়। ইউটিউবের অবস্থা একই রকম, প্রায় 70% দেখা সিফার সিস্টেম থেকে হয়, বিশেষ করে ফিড। মেটার ক্ষেত্রে, যদিও এটি কখনও স্পষ্ট শতকরা দেয়নি, তবে তাদের প্রযুক্তি দল উল্লেখ করেছে যে, কোম্পানির অভ্যন্তরীণ গণনা ক্লাস্টারের প্রায় 80% সাইকেল সিফার সম্পর্কিত কাজ সম্পাদনে ব্যবহৃত হয়।
এই সংখ্যাগুলো কী বো�এই পণ্যগুলি থেকে সুপারিশ ব্যবস্থাটি সরিয়ে ফেললে প্রায় ভিত্তি থেকে মাটি তুলে নেওয়ার সমতমেটার কথা ধরুন, বিজ্ঞাপন, ব্যবহারকারীদের সময় ব্যয়, ব্যবসায়িক রূপান্তর প্রায় সবই সুপারিশ সিস্টেমের উপর নির্ভর করে। সুপারিশ সিস্টেম শুধুমাত্র ব্যবহারকারীদের "কী দেখা" নির্ধারণ করে না, বরং সরাসরি প্ল্যাটফর্�
তবুও, এমন একটি জীবন-মৃত্যু নির্ধারণ করা সিস্টেম দীর্ঘদিন ধরে প্রকৌশলী জটিলতা নিয়ে
প্রতিষ্ঠানগত সিফার সিস্টেম আর্কিটেকচারে, একটি সার্বজনীন মডেল সমস্ত পরিস্থিতি আবৃত করা কঠিন। বাস্তব উৎপাদন সিস্টেমগুলো প্রায়শই খুব ভাঙা হয়ে যায়। মেটা, লিংকডইন, নেটফ্লিক্স এর মতো কোম্পানির উদাহরণ দেখুন, একটি সম্পূর্ণ সিফার চেইনের পিছনে, সাধারণত 30 টি বা তার বেশি বিশেষ মডেল একসাথে চলছে: রিক্যাল মডেল, কার্স র্যাঙ্কিং মডেল, ফাইন র্যাঙ্কিং মডেল, রির্যাঙ্কিং মডেল, যারা প্রত্যেকে বিভিন্ন লক্ষ্য ফাংশন এবং ব্যবসা মানদণ্ডের জন্য অপটিমাইজ করা হয়। প্রতিটি মডেলের পিছনে, সাধারণত এক বা একাধিক দল বৈশিষ্ট্য প্রকৌশল, প্রশিক্ষণ, প্যারামিট
এই মডেলের ব্যয় স্পষ্ট: প্রকৌশল জটিল, রক্ষণাবেক্ষণের খরচ বেশি, কাজের মধ্যে সহযোগিতা করা কঠিন। যখন কেউ প্রশ্ন করে "কি একটি মডেল ব্যবহার করে একাধিক সুপারিশের সমস্যা সমাধান করা যাবে", তখন সম্পূর্ণ সিস্টেমের জন্য এটি সম্পূর্ণ জটিলতা হ্রাস করে। এটি শিল্পের দীর্ঘ সময় ধরে কামনা করা এবং অ
বড় আকারের ভাষা মডেলগুলোর উদ্ভব সুপারিশ সিস্টেমের জন্য একটি নতুন সম্ভাব্য প
LLM প্রায় সার্বজনীন মডেল হিসাবে প্রমাণিত হয়েছে যা ব্যবহারিক পরীক্ষায় খুব শক্তিশালী প্রমাণিত হয়েছে: এটি বিভিন্ন কাজের মধ্যে স্থানান্তরের ক্ষমতা রাখে এবং ডেটা আকার এবং গণনা ক্ষমতা বৃদ্ধির সাথে সাথে এর কার্যকারিতা নিরবচ্ছিন্নভাবে বাড়তে থাকে। তুলনামূলকভাবে, প্রত্যয়ন মড
এছাড়া, একটি মাত্র মডেল ব্যবহার করার ফলে কেবল প্রকৌশলী কাজ সহজ হয় না, বরং এটি ক্রস-লার্নিংয়ের (cross-learning) সম্ভাবনাও নিয়ে আসে। যখন একই মডেল একই সাথে বিভিন্ন প্রকার সুপারিশের কাজ করে, তখন বিভিন্ন কাজের মধ্যে সংকেতগুলো পরস্পরকে পুষ্টি করে এবং ডেটা আকার বৃদ্ধির সাথে সাথে মডেলটি সম্পূর্ণরূপে উন্নত হওয়
LLM কি পরিবর্তন আনে? এটি বৈশিষ্ট্য প্রকৌশল থেকে বোধগম্যতা পর্যন্ত পরিবর্তন আনে
পদ্ধতিগত দিক থেকে, LLM এর সুপারিশ সিস্টেমে সবচেয়ে বড় পরিবর্তনটি "বৈশিষ্ট্য প্রকৌশল" এর এই কেন্দ্রীয় ধাপে ঘটে
প্রতিষ্ঠিত সিফার সিস্টেমে, ইঞ্জিনিয়ারদের প্রথমে বড় পরিমাণে সিগন্যাল তৈরি করতে হয়: ব্যবহারকারীদের ক্লিক ইতিহাস, সময় ব্যয়, অনুরূপ ব্যবহারকারীদের পছন্দ, কন্টেন্ট ট্যাগ ইত্যাদি, তারপর মডেলকে স্পষ্টভাবে বলতে হয় "এই বৈশিষ্ট্যগুলির উপর ভিত্তি করে আপনি সিদ্ধান্ত নিন"। মডেলটি এই সিগন্যালগুলির সেমান
পরবর্তীতে ভাষা মডেল প্রবর্তনের পর এই প্রক্রিয়াটি খুব সাবলীল হয়ে যায়। আপনাকে আর একটি একটি করে সিগন্যাল দেখতে বা অন্য কোন সিগন্যাল উপেক্ষা করার নির্দেশ দিতে হয় না, বরং আপনি মডেলটির কাছে সরাসরি সমস্যাটি বর্ণনা করতে পারেন: এটি একজন ব্যবহারকারী, এটি একটি কনটেন্ট; এই ব্যবহারকারী অতীতে এই ধরনের কনটেন্ট পছন্দ করেছে, অন্যান্য ব্যবহারকারীরাও এই কনটেন্�
স্বাভাবিক ভাষা মডেল নিজেই বুঝতে সক্ষম এবং এটি নিজেই বিচার করতে পারে কোন তথ্যগুলো গুরুত্বপূর্ণ সংকেত এবং কীভাবে এই সংকেতগুলো সম্পূর্ণ করে সিদ্ধান্ত নেওয়া যায়। কিছু অর্থে, এটি শুধুমাত্�
এই ক্ষমতার উৎস হল এলএলএম প্রশিক্ষণ স্তরে বিশাল পরিমাণ এবং বৈচিত্র্যময় ডেটা সংস্পর্শে আসে, যার ফলে সূক্ষ্ম কিন্তু গুরুত্বপূর্ণ মডেলগুলি ধরতে সহজ হয়। তুলনামূলকভাবে, প্রত্যয়নযোগ্য সিফার সিস্টেমগুলি প্রকৌশলীদের দ্বারা এই মডেলগুলি স্�
পিছনের দিক থেকে দেখলে, এই পরিবর্তনটি অস্বাভাবিক নয়। আপনি GPT-এর কাছে প্রশ্ন জিজ্ঞাসা করলে এটি সংক্ষিপ্ত তথ্যের উপর ভিত্তি করে উত্তর তৈরি করে। একইভাবে, আপনি যদি এটির কাছে জিজ্ঞাসা করেন "আমি কি এই বিষয়ে আগ্রহী হব", তবে এটি পূর্ববর্তী তথ্যের উপর ভিত্তি করে সিদ্ধান্ত নিতে পারে। কিছু পরিমাণে, ভাষা মডেলটি নিজেই স্বাভাব