Что здесь нового? Модель объединяет языковое понимание, визуальное восприятие и управление движением: получает команду на естественном языке и изображение с одной обычной RGB-камеры, а затем формирует навигационное поведение робота.
Mistral сознательно отказалась от сложного сенсорного стека: для работы модели не нужны LiDAR, depth-камеры или несколько камер. Она должна работать с разными типами роботов и производителями. На тесте R2R-CE модель показала 76,6% успешных проходов в ранее не виденных сценах.
Для промышленной робототехники это важный сдвиг: функции восприятия, понимания задачи и выбора действия постепенно становятся отдельным программным контуром, который можно адаптировать под разные робототехнические платформы.
В НТР мы работаем сразу с обеими сторонами этой связки. С одной стороны, развиваем LLM/VLM для промышленности: например, AI для оптимизации сверхнормативных запасов и анализа складских данных, а также VLM для распознавания инженерных чертежей с автоматическим формированием реестра оборудования. С другой, – мы создаём робототехнические системы для сложных промышленных задач, как, например, адаптивные роботизированные системы с машинным зрением и выбором действия. И нам особенно интересно наблюдать за такими кейсами.
Mistral показывает направление развития Physical AI: AI-модель становится частью программного контура робототехнической системы, связывая визуальное восприятие среды, понимание задачи и формирование поведения робота. При этом сама модель не заменяет робототехническую систему целиком, а работает как интеллектуальный уровень поверх её аппаратной и управляющей инфраструктуры.
Такая связка AI-моделей с робототехническим контуром и производственным процессом, на наш взгляд, будет определять следующий этап развития промышленной робототехники.