LLMのより大きなコンテキストウィンドウに関する質問への回答： 「はい、適切なメモリフットプリントを持つGPUでは可能です。M1 Max以降、Apple GPUにはトレーニングと推論の両方のワークロードに64～192GBのVRAMが利用可能です。アーティスト向けに独自の生成AIツールをトレーニングするためのテストでは64GBのVRAMが必要ですが、たとえ速度が遅くても、Appleシリコンでは動作します。最高級のAda RTX 6000でさえ最大48GBにとどまり、80GBのA100またはH100はNVIDIAのみの選択肢ですが、これらは一般に広く利用されているデスクトップクラスのカードではありません。」 @JulesUrbach 28.07.23 $RENDER
