Как повторить
- Заведите аккаунт Cloudflare, включите Workers AI и пополните баланс в AI Gateway заранее. Если баланса нет, запрос вернёт ошибку "Insufficient balance".
- Создайте постоянный API-токен с правом на Workers AI. Часовой токен из
wranglerдля регулярных вызовов не подходит: он быстро истекает. - Опишите задачу как
state(что проверяете) иquestions(что спрашиваете). Типы вопросов:noulдля «да/нет»,choiceдля выбора категории,scoreдля оценки по шкале. Полный формат есть в документации Cloudflare. - Вызовите модель:
curl https://api.cloudflare.com/client/v4/accounts/$CLOUDFLARE_ACCOUNT_ID/ai/run \
--header "Authorization: Bearer $CLOUDFLARE_API_TOKEN" \
--header "Content-Type: application/json" \
--data '{
"model": "typesafe/jev",
"input": {
"state": "текст или объект, который проверяете",
"questions": {
"fits_topic": {
"type": "noul",
"instructions": "Материал относится к теме X?",
"criteria": { "true": "явно про тему X", "false": "не про тему X" }
}
}
}
}'- Возьмите вероятность из
noul/probabilitiesв ответе и задайте пороги. Например, ниже 0,3 считайте ответом «нет», выше 0,7 ответом «да», а всё, что между ними, отправляйте в тяжёлую модель. - Перед запуском проверьте вопрос на паре десятков размеченных примеров из своей задачи. Формулировка вопроса влияет на результат сильнее самой модели: конкретный вопрос отсеивает гораздо увереннее общего.
- Поставьте Jev перед вызовом Gemini, Claude или GPT. Тяжёлая модель будет срабатывать только там, где Jev не уверена.
Как проверить результат
Возьмите по десятку заведомых «да» и «нет» из своей задачи и прогоните их через Jev с одним и тем же вопросом. Если вероятности собираются у нуля и у единицы, порог можно ставить. Если они толпятся в середине, вопрос слишком общий: сформулируйте его конкретнее и прогоните заново.
Как это устроено
Jev относится к моделям «System One» от TypeSafe AI. Она не рассуждает и не пишет текст. На закрытый вопрос (да/нет, выбор из списка, оценка по шкале) она отвечает числом-вероятностью. Поэтому она работает быстрее и стоит дешевле обычной LLM, а вероятность сразу делит поток на «точно да», «точно нет» и «непонятно».
В опубликованном кейсе Telegram-бот сортировал сохранённые материалы по темам. Там такой фильтр оказался в 4 раза быстрее и в 8 раз дешевле Gemini и снял с неё 75% нагрузки. Это замеры автора кейса на его задаче, независимо их не проверяли, и на другой задаче они могут не повториться.
Ссылки
- Jev в документации Cloudflare: формат запроса и ответа, цена, окно контекста в 32000 токенов.
- Introducing System One Models & Jev: анонс модели и объяснение идеи модели без рассуждений.
Источник: автор бота SAVAI (@savaibot), пост в Telegram.