1Задача
Починив иероглифы, мы заметили вторую беду: ответы помощника были правильными, но общими. На вопрос про иголку он отвечал что-то вроде «следите за состоянием».
На нашей ферме есть модель побольше. Проверили на ней те же вопросы — разница разительная: она называет теобромин в шоколаде и риск непроходимости от проглоченной нитки. Первый ответ занял 41 секунду на холодном старте, дальше — 8–9 секунд.
Выглядело как очевидное улучшение. Мы переключили помощника на неё.
2Действия
И тут же проверили живыми запросами через сайт, а не в обход. Результат: все пять ответов пришли заглушкой ровно через 120 секунд.
Причина в том, что на ферме отдельная служба каждые 15 минут «подогревает» прежнюю, маленькую модель, чтобы она отвечала мгновенно. Как только помощник просил крупную, её приходилось грузить заново — девять гигабайт, и запрос упирался в таймаут.
Дальше была развилка. Можно было переключить подогрев на крупную модель — но та же ферма рисует картинки для другого проекта, и забрать у него память означало сломать соседа ради своего удобства.
Мы вернули прежнюю модель и записали выбор владельцу как решение, которое принимать ему: качество ответа против занятой видеопамяти.
3Решение
После возврата: пять живых вопросов, все пять получили настоящие ответы за 3–16 секунд, ни одной заглушки.
Вывод, который стоит помнить: «умнее» и «лучше» — не одно и то же. Ответ, которого клиент не дождался, хуже простого ответа за три секунды.
И второе: улучшение нужно проверять там, где живёт клиент. В прямом вызове крупная модель выглядела прекрасно — беда обнаружилась только на живых запросах через сайт.