Вот тут можно потестить сетку-кодер нового поколения (ну или как минимум с одной новой офигенной идеей).
Мужики совместили LLM с диффузной сетью.
Смысл в том, что диффузная сеть смотрит на результат
целиком (и генерирует его как единое целое). То есть, как люди и программируют (ну или должны программировать) или пишут сложные тексты.
LLM же генерирует токен за токеном по авторегрессии - когда каждый следующий токен зависит от всех предыдущих, как люди говорят (кто читал стенограммы реальных обсуждений знают, что это и у людей получается очень хреново).
Утверждают, что dLLM даёт лучшие результаты для кода, чем лучшие "рассуждающие" сети. Причём, вычислительно в разы и первые десятки раз дешевле.
Я попробовал, не могу сказать, что вижу радикальную разницу с рассуждающими сетями, но тут уже достаточно радикального увеличения скорости.
Кроме того, идея высказана, КМК, идея очень сильная. Дальше её возьмут на вооружение все, включая монстров, и наверняка доведут до ума.
Сам подход применим не только к коду, но вообще к любому проектированию, описанию, разбору сложных систем или задач с кучей взаимозависимостей.