Laman Web vLLM Recipes telah direka semula untuk menawarkan penyelesaian pengoptimuman model dan peranti

iconKuCoinFlash
Kongsi
Share IconShare IconShare IconShare IconShare IconShare IconCopy
AI summary iconRingkasan

expand icon
Berita pada rantai telah muncul pada 22 April (UTC+8) apabila projek vLLM mengumumkan reka bentuk besar terhadap platform vLLM Recipes. Kemas kini ini memperkenalkan penyelesaian yang boleh diklik untuk menghantar model seperti Qwen3.6-35B-A3B dan Kimi-K2.6 pada peranti seperti NVIDIA H100/H200/B200/B300 dan AMD MI300X/MI325X/MI355X. Pengumuman projek menekankan arahan `vllm serve` yang dioptimumkan dan kesesuaian dengan penyedia seperti Arcee AI, Baidu, dan Meta. Platform ini menghubungkan kepada dokumentasi, GitHub, dan senarai kesesuaian penuh.

Berita ME, pada 22 April (UTC+8), projek vLLM mengumumkan bahawa laman web perpustakaan konfigurasi yang diselenggarakan komuniti, vLLM Recipes, telah mengalami reka bentuk besar-besaran. Laman web versi baharu ini bertujuan untuk membantu pengguna melaksanakan dan menjalankan model bahasa besar dengan cepat, dengan fungsi utama baharu yang menyediakan jawapan yang boleh diklik bagi soalan seperti “bagaimana untuk menjalankan model tertentu pada peranti keras tertentu untuk menyelesaikan tugas tertentu”. Laman web ini menggunakan gaya URL serupa dengan HuggingFace, di mana pengguna boleh terus berpindah ke halaman penyesuaian yang berkaitan dengan menggantikan bahagian domain dalam URL model. Platform ini menyediakan arahan baris perintah `vllm serve` yang telah disesuaikan untuk pelbagai model seperti Qwen3.6-35B-A3B dan Kimi-K2.6, serta pelbagai peranti keras GPU seperti NVIDIA H100/H200/B200/B300 dan AMD MI300X/MI325X/MI355X. Pengguna boleh melayari penyesuaian berdasarkan penyedia seperti Arcee AI, Baidu, ByteDance, DeepSeek, Google, Meta, dan Microsoft. Platform ini sepenuhnya serasi dengan vLLM dan menyediakan pautan kepada dokumen rasmi, repositori GitHub, dan senarai kesesuaian model-peranti keras yang lengkap. (Sumber: InFoQ)

Penafian: Maklumat yang terdapat pada halaman ini mungkin telah diperoleh daripada pihak ketiga dan tidak semestinya menggambarkan pandangan atau pendapat KuCoin. Kandungan ini adalah disediakan bagi tujuan maklumat umum sahaja, tanpa sebarang perwakilan atau waranti dalam apa jua bentuk, dan juga tidak boleh ditafsirkan sebagai nasihat kewangan atau pelaburan. KuCoin tidak akan bertanggungjawab untuk sebarang kesilapan atau pengabaian, atau untuk sebarang akibat yang terhasil daripada penggunaan maklumat ini. Pelaburan dalam aset digital boleh membawa risiko. Sila menilai risiko produk dan toleransi risiko anda dengan teliti berdasarkan keadaan kewangan anda sendiri. Untuk maklumat lanjut, sila rujuk kepada Terma Penggunaan dan Pendedahan Risiko kami.