Mierda... este es el proyecto de inferencia distribuida más loco de internet. Un motor WebGPU desde cero, una malla WebRTC entre todos los dispositivos de la habitación, decodificación especulativa que supera a llama.cpp nativo en la misma GPU, todo funcionando en una pestaña del navegador. Abre una URL, elige un modelo... ya estás en vivo. Guárdalo antes de que tus amigos descubran que su teléfono puede ayudar a ejecutar un modelo de 27B.
NeilXbtCompartir
Fuente:Mostrar original
Descargo de responsabilidad: La información contenida en esta página puede proceder de terceros y no refleja necesariamente los puntos de vista u opiniones de KuCoin. Este contenido se proporciona solo con fines informativos generales, sin ninguna representación o garantía de ningún tipo, y tampoco debe interpretarse como asesoramiento financiero o de inversión. KuCoin no es responsable de ningún error u omisión, ni de ningún resultado derivado del uso de esta información.
Las inversiones en activos digitales pueden ser arriesgadas. Evalúa con cuidado los riesgos de un producto y tu tolerancia al riesgo en función de tus propias circunstancias financieras. Para más información, consulta nuestras Condiciones de uso y la Declaración de riesgos.