
LLM-এর জন্য বড় কনটেক্সট উইন্ডো সম্পর্কে একটি প্রশ্নের উত্তরে: “হ্যাঁ, উপযুক্ত মেমোরি ফুটপ্রিন্ট সহ GPU-এ। মনে রাখবেন, M1 Max-এর পর থেকে, অ্যাপল GPU-এ 64–192 GB VRAM উপলব্ধ রয়েছে ট্রেনিং এবং ইনফারেন্স উভয় কাজের জন্য। আমাদের শিল্পীদের জন্য নিজস্ব জেন AI টুলস ট্রেনিংয়ের জন্য 64 GB VRAM প্রয়োজন, যদিও ধীরে চলে, তবুও এটি Apple Silicon-এ কাজ করে। সর্বোচ্চ শ্রেণির Ada RTX 6000-এরও সর্বোচ্চ 48 GB, তাই 80 GB A100 বা H100 হলো কেবল NVIDIA-এর বিকল্প, এবং এগুলো ডেস্কটপ-ক্লাস কার্ড, যা আমরা বহুলভাবে পাব না” @JulesUrbach 28.07.23 $RENDER
