
شرکت PrismML مدل Bonsai 27B را برای اجرا روی گوشیهای هوشمند منتشر کرد
شرکت PrismML مدل Bonsai 27B را منتشر کرده است؛ مدلی با ۲۷ میلیارد پارامتر که بر پایه Qwen 3.6 از Alibaba ساخته شده و با استفاده از فشردهسازی شدید (کوانتیزاسیون) میتواند بهصورت محلی روی سختافزارهای مصرفی اجرا شود. این نسخه شامل یک نسخه باینری ۱-بیتی با حجم ۳.۹ گیگابایت است که برای جایگیری در حدود ۶ گیگابایت حافظه قابلاستفاده در iPhone 17 Pro طراحی شده، و یک نسخه ternary با حجم ۵.۹ گیگابایت برای کیفیت بالاتر روی لپتاپ و GPU. نسخه ۱-بیتی روی سختافزار موبایل با سرعت حدود ۱۱ توکن بر ثانیه اجرا میشود و حدود ۹۰ درصد عملکرد مدل اصلی در آزمونهای معیار را حفظ میکند، هرچند دقت در بازیابی اطلاعات واقعی ممکن است کاهش یابد، در حالی که استدلال، ریاضیات و برنامهریزی چندمرحلهای عاملمحور بدون نیاز به اتصال شبکه تا حد زیادی حفظ میشود. به گفته گزارشها، Apple این فناوری فشردهسازی را برای ویژگیهای دستیار آینده روی دستگاه ارزیابی میکند. اجرای محلی مدل هزینههای ابری بر اساس هر توکن را حذف میکند و دادههای حساس، مانند محتوای صفحهنمایش، را روی دستگاه نگه میدارد. وزنهای مدل تحت مجوز Apache 2.0 منتشر شده و با چارچوب MLX شرکت Apple و پردازندههای گرافیکی NVIDIA سازگار است.
اخبار 4sysops.com · مشاهدهی منبع

