Программирование на одной GPU

Интересная штука встречается очень часто. Мне сложно её принять, хотя я понимаю, почему так произошло. Для людей нейросети слились в одно большое атомарное явление. Ну, знаете, как «учёные»: «Учёные заявили…». Какие учёные? Может, там биолог про математику говорит? Многим неважно, есть ли консенсус среди учёных по этому вопросу и насколько проверены данные, на основании которых «учёные заявили».

Так же и тут. Как будто бы многие считают, что нейросети одинаковые: видел одну — видел все. Разумеется, это не так. Они разные по размеру, а значит, и по способностям. У большинства есть специализация, они обучались на разных данных и обладают разным «опытом». И то, что вы можете развернуть у себя на ноутбуке, в подмётки не годится большинству из того, что есть в «облаках».

Мы недавно провели эксперимент среди нейросетей для программирования, которые можно развернуть на одной Nvidia H100. У неё 96 ГБ видеопамяти, и это сейчас один из самых главных критериев — размер памяти, а не мощность самой карты.

Даже в этом сегменте результаты сильно различаются. Мы попробовали следующие сети:

  1. openai/gpt-oss-120b — четыре бита на параметр
  2. Qwen/Qwen3-Coder-Next-FP8
  3. zai-org/GLM-4.7-Flash
  4. Qwen/Qwen3-Coder-30B-A3B-Instruct
  5. gemma-4-31B-it

Среди этих почти одинаковых по параметрам сетей — выбивается только OSS со своими 120 миллиардами параметров, но в сильно урезанном виде — есть явный и безусловный лидер: Qwen3-Coder-Next-FP8. Про более крупные сети и говорить не приходится: их архитектура и данные для обучения уносят их куда дальше по способностям и аналогам знаний о предмете.

Я веду к тому, что если вы попробовали что-то делать с какой-то нейросеткой и у вас плохой опыт, то дело в вас — вы неправильно подобрали себе исполнителя.

Оставить комментарий

Компьютерная шея

Мужчина в цилиндре и костюме с тростью разговаривает с крупным мужчиной в фартуке и тюбетейке, держащим длинную трубку, в помещении с полками и бутылками на заднем плане.

Что-то мне в последнее время часто попадаются статьи с фотографиями и рисунками так называемой «компьютерной шеи» — это когда человек, подолгу работая за компьютером, якобы со временем вырабатывает привычку постоянно наклонять голову чуть вперёд.

Преподносится это как «вред от этих ваших компьютеров». В 90-е все сидели за экранами от излучения монитора — до сих пор не знаю, помогали они чему-то или только портили зрение, потому что затемняли экран. Вот любопытно, какую защиту теперь придумают, чтобы помочь нашим шеям.

Я тут случайно наткнулся на фильм «Бравый солдат Швейк» 1957 года, так там у кучи народу такое положение шеи. Где же они в пятидесятых годах компьютеры взяли?

Оставить комментарий