Основная часть параметров LLM относится к слоям прямого распространения (FF, feedforward). Но для выхода не нужны все нейроны этих слоев. В реальности на инференсе играет роль только небольшая доля нейронов FF. Отсюда возникает идея оптимизировать каким-то образом этот процесс и не тратить лишние вычисления на нейроны, которые потом никак не повлияют на выход. [Нажмите на заголовок, чтобы прочитать публикацию полностью] ...
Хорошая история о том, что даже если технология кажется годами отлаженной, всегда остается место для улучшений. Авторы из MIT и Гонконгского университета в очередной раз показали это на примере фотолитографии. Фотолитография позволяет получить нужный рисунок на поверхности с помощью фоточувствительной пленки (фоторезиста) и засветки. Первой фотолитографией можно считать изобретение Жозефа Ньепса в 20-х годах XIX века. Фоторезистом был битум, а целью изобретателя было закрепить изображение из камеры-обскуры (получить фотографию). 200 лет спустя с помощью фотолитографии делают микроплаты и достигли разрешения порядка нанометров. Однако разрыв между изначальным дизайном и производственным результатом сохраняется. [Нажмите на заголовок, чтобы прочитать публикацию полностью] ...
Роботы успешно осваивают все больше задач, которые возникают в индустрии. Задачу переориентации объекта в пространстве тоже решают, и даже по-разному. Но для реального, “интеллектуального” применения чего-то всегда не хватало. Или поворот слишком медленный, или нужна сложная система сенсоров, или вообще работает система только с конкретными объектами. [Нажмите на заголовок, чтобы прочитать публикацию полностью] ...
Мы уже несколько раз в разном контексте писали здесь про цифровые двойники, но, видимо, напишем еще не раз, потому что термин прочно вошел в тренды. Те, кто не внедрял цифровых двойников раньше, начинает их разрабатывать. Те компании, которые делали это давно, стали активнее использовать сам термин. CIO американской инжиниринговой компании WGI Николас Эванс заметил, что индустрия в вопросах внедрения ИТ-решений часто бывает сама себе врагом из-за установок вроде “но мы всю жизнь делали так и всё было нормально” или “сначала создадим метавселенную”. Другими словами, сопротивление изменениям или другая крайность — погоня за модой. Его размышления касаются строительной и инфраструктурной отраслей, но, вероятно, применимы и к другим. Чтобы не стать врагом самому себе, Эванс предлагает коллегам пять правил по внедрению цифровых двойников. [Нажмите на заголовок, чтобы прочитать публикацию полностью] ...
Предобученные языковые модели генерируют качественный текст, сравнимый по качеству с человеческим (иногда даже превосходящий его). Но некоторые проблемы остаются даже у лучших LLM — сеть не понимает, что говорит. Может получаться хоть и виртуозный с точки зрения грамматики и лексики, но всё-таки неверный по смыслу результат. [Нажмите на заголовок, чтобы прочитать публикацию полностью] ...
Очередной важный шаг, приближающий нас к человеко-машинному интерфейсу, в котором компьютер будет получать информацию прямо из головы оператора. Модель от Meta AI в реальном времени (5 тысяч раз в секунду) считывает активность мозга и угадывает, какую картинку видит сейчас перед собой человек. Важно, что для этого не понадобились ни инвазивные вмешательства, ни медленная и громоздкая МРТ (хотя с ней результаты и получились бы лучше). Расшифровать мозговую активность в реальном времени смогли по магнитоэнцефалограмме (МЭГ). [Нажмите на заголовок, чтобы прочитать публикацию полностью] ...