Блин, мне кажется они кстати улучшили токен спенд У меня тоже таинственным образ

Блин, мне кажется они кстати улучшили токен спенд
У меня тоже таинственным образом хватило токенов на ОДНОМ аккаунте на всю неделю
Но так боязно врубать fast.....
Но так напряжно сука оставаться на Standard. Стандартный инференс мне кажется стал медленнее чем был
Умозрительно конечно, но я это прям ощущаю
Еще какие-то паузы появились
Частенько вижу как модель будто замирает на пару-тройку минут, прежде чем перейти к следующему куску в рамках большой задачи
Может конечно там что-то на фоне происходит не дисплеируемое, но я чето очень сомневаюсь)
Непрозрачность всей этой хуйни конечно расстраивает
Я почему еще задумался про инференс... Вижу невооруженным глазом как компакты стали медленнее
А это может означать только одно - модель медленнее пропускает через себя токены
А медленнее они стали не на 10%, а раза в два
У меня сейчас изи два компакта за час максимум, это на сраных 475к токенов до компакта...
На проектах на полтыщи файлов это пиздец как медленно. Но только врубаешь более быструю модель - невыносимо становится от багов, их становится в 10 раз больше
Это не окупает в итоге ускорение, т.к. дебажить потом их в 10 раз дольше чем подождать умную модель...

Но ща вот погуглил - говорят инференс ебашит качество не на шутку
Поэтому придется ждать