Снова тест нейронок. Как я уже и говорил на моем ПК на сносной скорости я научился запускать МОЕ модели на 35-26мрдр параметров. Можно и больше наверное, но в основном в проде именно такие. Конкретно это Qwen/Qwen3.6-35B-A3B и google/gemma-4-26B-A4B-it из последних, есть еще zai-org/GLM-4.7-Flash (30B-A3B). Среди основы для новых моделей на HF чаще используют именно квен, и сегодня я решил протестировать их. База та же 35B-A3B - правда бывают версии на базе версий 3.5 и 3.6 и не всегда это очевидно где какая. Все модедели прогоняю на одинаковых промтах, мастермайнд - моя заготовка, тетрис: "напиши игру тетрис на html, css, js одной страницей" и есть промпт для игри танки: "Write a game similar to Battle City in a single HTML file without dependencies, running on desktop and mobile". Все модели запускаю с такими параметрами /mnt/xxx/llama/llama-server -m "/mnt/zzz/_models/Salience-1.5-Pro.Q4_K_M.gguf" -c 65536 -cmoe -fa on --temp 0.6 --top-p 0.95 --top-k 20 --min-p 0.00
Таблица с тестами https://boolkin.gitverse.site/html/Vibe/LLM_test/LLM_test.html
Сайт с играми https://boolkin.gitverse.site/html/Vibe/LLM_test/
Статья на Хабре https://habr.com/ru/articles/1068416/
https://huggingface.co/FrontisAI/Frontis-MA1-35B-GGUF
На базе 3.6 с хорошими бенчами. Бенчи бывает тоже вызвают вопросы, возможно потом напишу об этом больше. Тесты:
Мастермайнд по моему запросу: 2 запроса, первый запрос игра играется, но есть огрехи с нажатием кнопки и "прилипанием" истории, вторым исправил это. (6357 + 12888 токенов, средняя скорость 26т/с, время 3:56 + 8:10 минут). Тетрис неплохого вида за 1 запрос (на самом деле 2 потому что самый первый остановил - я увидел что он начал тупо
писать код в раздумиях). (7157 26 т/с 4:41 минут). Танки получились неплохого вида, проезжают сквозь препятствия. (7417 26 т/с 4:47 минут)
https://huggingface.co/InternScience/Agents-A1-Q4_K_M-GGUF
на базе какой версии сделан не понятно, бэнчи показывают что 3.6 обгоняет.
Мастермайнд тоже 2 запроса - первый с косяками, играть можно. Вторым исправил размер шаров в панели управления и "прилипание", не исправил серый цвет в попытке. (6001 + 8844, 3:45 + 5:52, 25-26т/с). Тетрис выглядит сильно проще, и по сути со второго запроса (заново), так как первый не рисовал падающие фигуры. (3837, 2:24, 27т/с). Танки выглядят тоже похуже, огромные квадраты, но вполне играбельно, штаба нет (7191, 4:29, 26,6т/с)
https://huggingface.co/mradermacher/Salience-1.5-Pro-GGUF
Тоже умалчивают на базе какой версии сделали, бэнчей нет. Мастермайнд с первого раза - отличный дизайн, все без нареканий по ТЗ (5539, 3:27, 26,7 т/с). Тетрис первым запросом не играбельный, кнопку играть жмешь на заставке и ничего не происходит (6232, 3:54) Второй новый запрос - играбельная игра c совремнным визуалом (правда сброс на пробеле перезапускает игру) (5436, 3:22, 26,8т/с). Танки получились не играбельными хотя очень навороченные поидее - там анимации, трава, вода, броня, танк проезжает сквозь все препятствия а ощющение будто бы поле недорисовано - есть бонусы, бомбы и прочее, врагов не увидел. Играть не возможно, хотя по размеру и задумке навероченное что-то. (13577, 8:39, 26т/с). Попробовал второй новый запрос и он сделал все тоже глобально и мощно, но не играется (не реагирует на кнопки, ничто не двигается, в тот раз хоть что-то двигалось), огромный танк с маленькими кирпичами и прочим... 8 минут 12600 токенов.
https://huggingface.co/unsloth/Ornith-1.0-35B-GGUF
На базе 3.5 вроде. Мастер майнд симпатичный с первого раза, но кнопка новая игра как-то странно смещена и растянута, не стал просить исправлять (6039, 3:43, 27т/с). тетрис с первого раза, но как-то глючно, не стал просить исправлять. Опускаешь но не фиксируется пока пробел не нажмешь. После убирания слоя следующая фигура не появляется или появляется с глюком и тоже пока не нажмешь пробел. Играть можно но результат такой себе, учитывая что бывали и лучше, правда тоже не спервого раза, но с одного запроса. Визуал неплохой. (5733, 3:39, 26,3т/с). А вот Танки прям поразили, я думал все пиши пропало - пишет и пишет код, но он сделал супер навороченную и играбельную игрую - все движется, работает, есть звуки, бонусы - все это работает великолепно. Я поражен. (21324, 13:55, 25-26 т/с)
UPD. раз в год и палка стреляет и это именно тот случай (вообще все эти случаи на данный момент, наверное более правильно прогонять каждый промпт по 2 раза) В общем я усомнился в способности делать такую работу каждый раз, запустил модель еще раз и ввел тот же промп. Как и ожидалось модель не справилась - все разы кода много 12к+ токенов, но толку мало. первый запрос пустое поле без карты и врагов, второй - черный экран потом что-то мигает евелится непонятно. третий - можно поиграть - гонять танк, стрелять по кирпичам (пули вылетают сбоку танка), но враги не двигаются, не стреляют, не убиваются, зато есть звук... :
https://huggingface.co/unsloth/Qwen3.6-35B-A3B-MTP-GGUFMTP версия ускоренная при помощи втроенной драфт модели, выдает больше скорость. Мастермайнд - Все работает, все по тз с первого раза, вид классный (6 789 tokens, 3 минуты, 37,5т/с). Тетрис в этот раз с косяком - только появляется палка и сразу гейм овер. (7 016 tokens, 3 минуты, 39,6т/с), попросил исправить, надумал 9 904 tokens, 4min 36s, 35.77 t/s - иправил но фигуры стали цветные теперь... и стали летать с бешенной скоростью(. Не играбельно. Даю последний шанс абсолютно новый запрос. Сработало. без звука в этот раз но играть можно (6 236 tokens,2min 35s, 40.05 t/s). Танки после предыдущего не прям вау, но все же играбельно (слабо, потому что штаб не защищен и всего одна жизнь) но что нравится что уровень генерируется разные каждый запуск - это особенность квена - одна из других предыдущих попыток тоже было также - генерация рандомных уровней, мне тогда понравилось. (10 973 tokens, 4min 51s, 37.71 t/s)
https://huggingface.co/bartowski/Kwaipilot_KAT-Coder-V2.5-Dev-GGUF
По бенчам уделывает Квен на раз два. Проверим. Причем по бэнчам он Квену приписал свои странные цифры которые не бьются с оригинальными, и в бенчах есть еще и Ornith по которым которого он тоже разносить с пухом. ММ 1 попытка, хороший визуал, анимации. (5 766 tokens, 3min 33s, 27.05 t/s) тетрис с первого раза, визуально совремнно, цвентно и работает (4 907 tokens, 3min 6s, 26.25 t/s) Танки - выглядит тоже неплохо, но проблема в том что как только пуля в кирпич попадает игра зависает при этом мой танк рендерится внутри кирпича. Попросил исправить, сломал все, при том что генерировал отдельно только js код. Сделал третью попытку. Ну тоже мало играбельная - одну пулю выпустил и все, больше нет. 9 851 tokens, 6min 20s, 25.92 t/s. В общем на первое место не тянет. (Все-таки решил дать шанс и он исправил игру. Починил все сам - пули стреляют, оверлей с началом игры пропадает но не полностью кнопка загараживает вид) играть сложно - все разносят. Но это и интересно. Короче пока на этом все.
https://huggingface.co/unsloth/GLM-4.7-Flash-GGUF
Странно что он 30B-A3B - то есть активных параметрров столько же и даже меньше общих, но работает медленнее. тест MM не идельно, вид интересный, но есть нарекания к сортировке истории и нумерации попыток при том что один из предыдущих разов с первого раза по тз почти (было нарекание по прилипанию) (5 625 tokens, 5min 4s, 18.48 t/s) решил доделать, появились номера, но сортировка страдает(6 574 tokens, 5min 58s, 18.32 t/s). Тетрис - вид попроще чем у некоторых. В этот раз сгенерировал с первого раза ( почему говорю в этот раз, потому что пару дней назад это было со второго раза, но в той игре был классный звук зато, хотя и вид такой же простецкий немного, там заставка не исчезала после начала игры, вторым запросом испраился). В этот раз все норм, вид такой же по-проще как и говорил, играет. По токенам и времени +- одно и тоже, в этот раз меньше токенов (видимо из-за отсутствия звуковых эффектов) (6 411 tokens, 5min 56s, 18.00 t/s) Танки - прям видно что китайская нейросеть - думала и писала по-китайски, в игре все подсказки и слова на китайском. Игра работает, есть звук, можно играть. Танки простые но танки, кирпичи ломаются, скозь них никто не ездит. Норм, прям неплохо, лучше кадрата однозначно, на уровне фронтис, но вид чуть хуже, зато есть звук и сквозь кирпичи не ездит. (8 826 tokens, 7min 59s, 18.39 t/s)
https://huggingface.co/unsloth/gemma-4-26B-A4B-it-GGUF
Тоже MTP с драфт моделью. Мастермайнд с первого раза, хороший визуал (6 369 tokens, 3min 50s, 27.65 t/s). Тетрис, с первого раза - визуал простецкий, но все работает (4 291 tokens, 2min 33s, 28.01 t/s). Танки простецкий вид, но интересно что пушка в виде точки - простые квадраты но стильно. Первый раз сгенерировал неиграбельную игру, танки не ездили, мой танк при выстреле сразу геймовер потому что спавнился на базе и пуля уничтожала базу. Вторым запросом починил косяки. перестраховался и своей пулей не могу уничтожить штаб. В остальном мило играбельно. (5959+10079, 3:22+5:58, 29-28т/с)
https://huggingface.co/unsloth/gpt-oss-20b-GGUF
gpt-oss-20b — for lower latency, and local or specialized use cases (21B parameters with 3.6B active parameters). MM первый не рабочий, второй норм, в базу сойдет. 2 966 tokens, 2min 55s, 16.94 t/s. тетрис с первого раза, но с глючками. не уверен что стоит заморачиваться исправлять. 2 664 tokens 2min 41s 16.46 t/s. танки на выходе второй, первый менее интересный поэтому перегенерировал, но конечно таки с большой натяжкой, но как-то играть и очки нарабатывать можно. 3 066 tokens, 3min 6s, 16.47 t/s
