Merde... c’est le projet d’inférence distribuée le plus fou sur Internet. Un moteur WebGPU créé de zéro, un maillage WebRTC entre tous les appareils de la pièce, un décodage spéculatif qui dépasse llama.cpp natif sur le même GPU, tout cela fonctionnant dans un onglet de navigateur. Ouvrez une URL, choisissez un modèle... vous êtes en direct. Enregistrez cela avant que vos amis ne découvrent que leur téléphone peut aider à exécuter un modèle de 27 milliards.
NeilXbtPartager
Source:Afficher l'original
Clause de non-responsabilité : les informations sur cette page peuvent avoir été obtenues auprès de tiers et ne reflètent pas nécessairement les points de vue ou opinions de KuCoin. Ce contenu est fourni à titre informatif uniquement, sans aucune représentation ou garantie d’aucune sorte, et ne doit pas être interprété comme un conseil en investissement. KuCoin ne sera pas responsable des erreurs ou omissions, ni des résultats résultant de l’utilisation de ces informations.
Les investissements dans les actifs numériques peuvent être risqués. Veuillez évaluer soigneusement les risques d’un produit et votre tolérance au risque en fonction de votre propre situation financière. Pour plus d’informations, veuillez consulter nos conditions d’utilisation et divulgation des risques.