DeepSeek V4.1 Flash на 2×H200
Нам пришлось срочно располовинить стенд с четырьмя видеоускорителями H200: потребовалось обучить нейросеть для решения задачи классификации, а свободных вычислительных ресурсов уже не было.
На этом стенде у нас работал «ДипСик», который мы используем в качестве помощника для программистов. Я решил попробовать запустить его квантованную версию на оставшихся ресурсах, понадеялся, что он терпимо поглупеет и за счёт квантирования не слишком замедлится.
Поглупел он действительно не очень сильно, а вот скорость упала драматически: десяток минут до первого токена. В итоге поставил квантированный «Квен» со 122 миллиардами параметров, он хоть намного слабее «ДипСика», зато хоть работает быстро (это сеть с набором экспертов) и для
Так как каждую нейросеть прогонялась через стандартные тесты, привожу таблицу, чтобы было видно разницу в «интеллекте» каждой сети на задачах программирования:
| Тест | Полный «ДипСик 4.1» | DeepSeek 4.1 Q2 | |
|---|---|---|---|
| HumanEval | 98,8% | 97,6% | 96,7% |
| HumanEval+ | 93,9% | 94,3% | 92,7% |
| MBPP | 97,2% | 96,4% | 88,2% |
| MBPP+ | 83,8% | 83,1% | 74,5% |