№67

8 октября 2026

инструменты · агенты

Модель на 27 млрд параметров на Mac: 8,6 ГБ, без интернета, бесплатно

Языковая модель на 27 млрд параметров, сжатая до 8,6 ГБ, работает на Mac без интернета после скачивания и понимает текст и картинки.

3 мин чтения · Бесплатно, Apache 2.0 · 30–60 минут

Где подвох
На длинных многошаговых задачах качество около трёх четвертей от полной версии, по данным разработчика. Модель сначала рассуждает, поэтому при маленьком лимите длины ответ приходит пустым или оборванным.

Как повторить

  1. Нужен Mac на Apple Silicon (M1 и новее), около 9 ГБ на диске и минимум 16 ГБ памяти. На 8 ГБ модель не поместится. Для Windows, Linux и видеокарт NVIDIA смотрите шаг 7.
  2. Создайте отдельное виртуальное окружение. Зависимости модели жёстко фиксируют версии (mlx 0.32.0, mlx-vlm 0.6.3, transformers 5.5.0) и перезапишут уже установленные.
python3 -m venv .venv-bonsai
source .venv-bonsai/bin/activate
pip install -U huggingface_hub
  1. Скачайте веса. Аккаунт на Hugging Face не нужен.
hf download prism-ml/Ternary-Bonsai-2-27B-mlx-2bit --local-dir bonsai2-27b-mlx
  1. Поставьте зависимости из пакета. Обычные загрузчики MLX эту модель не читают: она объявлена как prism_hadamard_qwen35. Без загрузчика из папки runtime/ пакет не загрузится или, по словам PrismML, выдаст неверный текст без ошибки.
pip install -r bonsai2-27b-mlx/runtime/requirements.txt
  1. Запустите готовый скрипт:
cd bonsai2-27b-mlx
python quickstart.py "Объясни в трёх предложениях, что такое тернарные веса"

Скрипт подключает загрузчик из runtime/ и настройки из generation_config.json. Рассуждение в нём выключено, ответ обрезается на 256 токенах (константа MAX_TOKENS). Первый запуск загружает 8,6 ГБ в память, это займёт время.

  1. Для своего кода или картинок подойдёт пример из карточки модели:
import sys
sys.path.insert(0, "bonsai2-27b-mlx/runtime")
from vision_artifact import load_vl_model, chat_config
from mlx_vlm import generate
from mlx_vlm.prompt_utils import apply_chat_template

model, processor, config = load_vl_model("bonsai2-27b-mlx")
prompt = apply_chat_template(processor, chat_config(config), "Ваш вопрос", num_images=0)
print(generate(model, processor, prompt, max_tokens=4096,
               temperature=1.0, top_p=0.95, top_k=20))

Для картинки поставьте num_images=1 и передайте список файлов четвёртым аргументом: ["photo.jpg"]. По умолчанию модель рассуждает на уровне xhigh, и рассуждение съедает лимит max_tokens. PrismML советует ставить от 16384. Настройки генерации передавайте явно: mlx-vlm не читает generation_config.json, и без них модель всегда берёт самый вероятный следующий токен. Значения в примере для режима рассуждений, для обычных ответов: temperature=0.7, top_p=0.80, top_k=20.

  1. Чат в браузере, Windows и Linux доступны через демо-репозиторий PrismML. Если он расходится с карточкой модели, следуйте ему.
git clone https://github.com/PrismML-Eng/Bonsai-demo.git
cd Bonsai-demo
BONSAI_OPENWEBUI=0 BONSAI_CODE_INTERPRETER=0 ./setup.sh
./scripts/start_llama_server.sh

Чат откроется на http://localhost:8080. setup.sh ставит форк llama.cpp от PrismML (обычный эти файлы не откроет) и версию модели GGUF на 7,8 ГБ. Две переменные в начале отключают Open WebUI и интерпретатор кода, это экономит несколько ГБ. Один вопрос без сервера: ./scripts/run_llama.sh -p "Ваш вопрос". На Windows скрипты называются setup.ps1 и scripts\start_llama_server.ps1. На Mac setup.sh ставит и MLX-окружение с mlx-vlm 0.7.2 вместо 0.6.3 из карточки, сервер на нём запускает ./scripts/start_mlx_server.sh.

Как проверить результат

Скрипт должен выдать связный ответ. По замерам PrismML через llama.cpp скорость около 47 токенов в секунду на M5 Max (снята на более ранней сборке, ждёт перемера) и 28 на M5 Pro. Пользователи сообщают около 24 на M3 Max, 15–20 на M4 Pro и 7–8 на Mac mini M2 с 16 ГБ. Если скорость в разы ниже, выключите в macOS режим низкого энергопотребления. Если ответ ползёт по токену, модели не хватило оперативной памяти: закройте тяжёлые приложения, уменьшите контекст или запустите GGUF-версию из шага 7. Она легче, а длину контекста там задаёт переменная BONSAI_CTX.

Ссылки

Источник: PrismML, официальный блог компании.

Больше подобного

Разбираю по находке в день и складываю сюда. Свежее и то, что до сайта не доехало, выходит в канале «Евдокимов как обычно».