Почти детективное расследование провели в Калифорнийском университете. Авторы взяли 12 разных LLM, включая GPT-3, и проверили их на датасетах, созданных в разное время — до и после обучения моделей. Обнаруженные артефакты указывают на то, что one-shot и few-shot задания улучшают работу модели просто потому, что она уже встречала эти данные в процессе обучения. Авторы назвали это загрязнением заданий, task contamination. [Нажмите на заголовок, чтобы прочитать публикацию полностью] ...
В MIT создали мультимодальный AI-фреймворк HiP для роботов. Он объединяет обработку языка, компьютерное зрение и планирование задач. В результате робот может понимать совсем не детализированные задания. Деталями он наполняет их сам. Сам же продумывает и план выполнения этих деталей. Например, по просьбе “помой посуду” HiP поймет, что нужно сначала взять грязную тарелку, губку, чистящее средство, затем включить воду и так далее. [Нажмите на заголовок, чтобы прочитать публикацию полностью] ...
Основная часть параметров LLM относится к слоям прямого распространения (FF, feedforward). Но для выхода не нужны все нейроны этих слоев. В реальности на инференсе играет роль только небольшая доля нейронов FF. Отсюда возникает идея оптимизировать каким-то образом этот процесс и не тратить лишние вычисления на нейроны, которые потом никак не повлияют на выход. [Нажмите на заголовок, чтобы прочитать публикацию полностью] ...
Хорошая история о том, что даже если технология кажется годами отлаженной, всегда остается место для улучшений. Авторы из MIT и Гонконгского университета в очередной раз показали это на примере фотолитографии. Фотолитография позволяет получить нужный рисунок на поверхности с помощью фоточувствительной пленки (фоторезиста) и засветки. Первой фотолитографией можно считать изобретение Жозефа Ньепса в 20-х годах XIX века. Фоторезистом был битум, а целью изобретателя было закрепить изображение из камеры-обскуры (получить фотографию). 200 лет спустя с помощью фотолитографии делают микроплаты и достигли разрешения порядка нанометров. Однако разрыв между изначальным дизайном и производственным результатом сохраняется. [Нажмите на заголовок, чтобы прочитать публикацию полностью] ...
Роботы успешно осваивают все больше задач, которые возникают в индустрии. Задачу переориентации объекта в пространстве тоже решают, и даже по-разному. Но для реального, “интеллектуального” применения чего-то всегда не хватало. Или поворот слишком медленный, или нужна сложная система сенсоров, или вообще работает система только с конкретными объектами. [Нажмите на заголовок, чтобы прочитать публикацию полностью] ...
Мы уже несколько раз в разном контексте писали здесь про цифровые двойники, но, видимо, напишем еще не раз, потому что термин прочно вошел в тренды. Те, кто не внедрял цифровых двойников раньше, начинает их разрабатывать. Те компании, которые делали это давно, стали активнее использовать сам термин. CIO американской инжиниринговой компании WGI Николас Эванс заметил, что индустрия в вопросах внедрения ИТ-решений часто бывает сама себе врагом из-за установок вроде “но мы всю жизнь делали так и всё было нормально” или “сначала создадим метавселенную”. Другими словами, сопротивление изменениям или другая крайность — погоня за модой. Его размышления касаются строительной и инфраструктурной отраслей, но, вероятно, применимы и к другим. Чтобы не стать врагом самому себе, Эванс предлагает коллегам пять правил по внедрению цифровых двойников. [Нажмите на заголовок, чтобы прочитать публикацию полностью] ...
