Спикер о работе:
Я расскажу про некоторые «экзотические» режимы, возникающие при теоретических исследованиях аппроксимаций функций нейронными сетями минимального размера. Классическая теория предсказывает вполне определенные степенные зависимости между сложностью модели и точностью аппроксимаций функций данного класса гладкости при условии непрерывной зависимости параметров модели от аппроксимируемой функции.
Оказывается, что эти зависимости могут нарушаться, если в качестве модели использовать очень глубокие и узкие нейронные сети и не требовать упомянутой непрерывности. Этот эффект имеет место при обычных функциях активации, например ReLU. Кроме того, существуют определенные «сверхвыразительные» наборы функций активации, которые теоретически позволяют аппроксимировать любую непрерывную функцию с любой точностью одной сетью с фиксированным числом нейронов (не зависящим от точности). Этот результат тесно связан с теоремой Комогорова(-Арнольда) о представлении функций многих переменных. Примером сверхвыразительного наборя является {sin, arcsin}. При этом, обычно применяемые на практике функции активации не являются сверхвыразительными.
Запись: https://youtu.be/MKqS-HbxOOA
Презентация: https://drive.google.com/file/d/1TZJ7KitCAi2y8oyeOQ3EAw_xd3Tc_nCU/view?usp=sharing