Хочу поделиться. Погоняли китайскую нейросеть «ДипСик Эр1» на оборудовании «Селектела», за что ребятам, как всегда, большое спасибо. Это, конечно, чудо, что на относительно скромном оборудовании можно себе развернуть полноценную большую языковую модель.

На двух nVidia A100 40 GB модель как-то ползает (мы брали квантизованную Q2_K_XL). Можно общаться, но не слишком комфортно. А вот на двух карточках по 80 гигабайт в однопользовательском режиме работает уже просто отлично. В память лезет чуть больше половины всех слоёв, больше всего грузятся ядра центрального процессора (у нас там 24 ядра на 2,4 ГГц), но общаться вполне комфортно — скорость порядка 170 токенов в минуту.

Завтра попробуем замерить сколько человек может работать с такой моделью параллельно. Но даже уже в этой конфигурации можно проверять какие-то гипотезы. Удивительно насколько доступными стали топовые языковые модели!