Роботы-манипуляторы на производстве часто работают не поодиночке, а в паре. Такие системы обладают зеркальной симметрией — как и человеческое тело, у которого правая и левая рука устроены одинаково. Но в отличие от людей, где одна рука обычно ведущая, роботы могут использовать симметрию на полную. Новый RL-фреймворк SYMDEX предлагает, как это сделать.
Это совместный проект нескольких исследовательских европейских центров, который представили в начале мая. Метод основывается на том, чтобы разбить задачу на симметричные подзадачи для каждой руки и обучать их отдельно. Внутри используются эквивариантные нейросети — они сами по своей архитектуре симметричны и как бы отражают реальную физическую симметрию. После обучения отдельные политики объединяются в одну общую, управляющую обеими руками.
SYMDEX успешно протестировали на шести разных задачах вроде поднять коробку, помыть стол, передать груз. Во всех случаях результат был лучше, чем у других методов обучения.
Идея использовать физическую симметрию роботов не просто как данность, а как принцип для методов обучения и даже самой архитектуры нейросети, кажется особенно хороша для промышленных сценариев, где роботы часто работают в ансамбле.