Эксперементировал сегодня ночью с моделями BitNet. Это небольшие (1—2 миллиарда параметров) модели очень низкой битности — 1,58 бит. Причём это не квантизация, они сразу так обучены. Интересны тем, что работают настолько быстро, что их можно запускать без графических ускорителей.

Было интересно посмотреть с какими типами задач они способны справиться.

Давал несложные задачи генерации текста, выделения сущностей, классификации, перевода с английского на русский, написания эскуэля, но что-то не нащупал область применения. Везде она кое-как справляется, но неудовлетворительно — чаще не решает задачу, чем решает.

На скриншоте у меня задача по написанию крайне простого эскуэля. Выглядит хорошо, задача решена, но это верхний предел этой модели — если дать ещё одну таблицу, всё сыпется в половине моих тестов. А если в задачу добавить ещё и LEFT JOIN, то тесты не проходят вообще — модель ни разу ничего адекватного не написала даже с очень детальными подсказками.

Поразительно, конечно, что сети такой низкой битности вообще как-то работают и даже иногда дают какой-то осмысленный результат, но куда бы их можно было применить — мне решительно непонятно.

Иногда в своих поисках на чердаках я нахожу различные бутылочки — как старинные, так и раннесоветские. Беру не все — только те, что чем-то выделяются, или если на них есть какие-нибудь надписи или рисунки.

С годами у меня их скопилось приличное количество, и, что интересно, некоторые из них можно объединить в группы и сделать определённые выводы.

Бутылочки на фотографии объединяет необычная форма горлышка. Когда я впервые нашёл такую, подумал, что она пострадала в каком-нибудь пожаре — расплавленные стёкла мне тоже иногда попадались. Но со временем я нашёл ещё две и понял, что это сделано специально, по всей видимости, чтобы было удобнее наливать лекарство, не проливая его.

Я уверен, что в них было лекарство, так как на двух из них есть надпись «аптека».

Прямо утерянные технологии — не припомню, чтобы у бутылочек современных лекарств попадались такие горлышки. Чаще всего делают пластиковые дозаторы, что, конечно, ещё лучше решает проблему, но где-то, к сожалению, просто обычное ровное горлышко — справляйся как хочешь.