Возможность строить рассуждения стала, возможно, вторым главным фактором (наряду с размером), который привел LLM к мировому господству. Фраза “Let’s think step by step”, добавленная к промпту, оказалась способна заметно улучшить качество модели.
Сразу же расцвели десятки новых подходов — какие-то разбивают задачу на части, какие-то строят обобщения, какие-то её переформулируют. Подходов масса и каждый оказывается лучше других на каких-то определенных задачах. Вот тут-то и заметили проблему авторы из Google DeepMind и Калифорнийского университета. Схем рассуждения много и все они хороши, но не хватает последнего куска пазла. Авторы предложили фреймворк Self-Discover, который объединяет все придуманные техники рассуждений и учит модель самой выбирать подходящие под конкретную задачу варианты.