Спикер о вебинаре:
Использование ИИ в специализированных областях знаний, таких как химия, медицина, биология и т. д., является перспективным, но часто страдает от медленного развертывания и адаптации к различным задачам. Мы предлагаем методику, позволяющую быстро уловить намерения и опыт эксперта предметной области, чтобы обучить персонализированные модели ИИ для конкретных задач. Наш подход «эксперт в цикле» увеличивает объем генерируемых компьютером материалов-кандидатов, которые переходят в экспериментальную фазу. Непрерывное взаимодействие модели ИИ с экспертами по предмету позволяет улавливать и использовать неявные знания экспертного уровня и контекстно-специфические ограничения, недоступные в противном случае. Обсуждается применение предложенного подхода к лабораторным исследованиям нескольких семейств полимерных материалов.
Видео: https://youtu.be/_zljMuiq-TQ
Презентация: https://drive.google.com/file/d/1wfTNxTVCzeBYttxT2GrNpQyqrCWo-bcG/view?usp=sharing
(00:00:00) (Начало записи)
Николай Михайловский: Я Николай Михайловский — генеральный директор компании NTR. Я рад приветствовать всех на нашем очередном научно-техническом вебинаре, который мы проводим с Высшей IT Школой Томского государственного университета. У нас в гостях Дмитрий Зубарев IMB Almaden Modern Research Center с рассказом про «Системы искусственного интеллекта «Эксперт-в-Цикле» для поиска новых материалов». У нас уже второй подряд вебинар про научное приложение систем машинного обучения, систем искусственного интеллекта. Предыдущий был с коллегами из Российского квантового центра, но с чуть более распространенным приложением reinforcement learning к роботизации. Здесь вообще такая глубокая научная тематика. По крайней мере мне, как человеку очень далекому от поиска новых материалов, кажется, что это очень глубокая научная тематика. Соответственно, Дмитрий, передаю вам слово.
Дмитрий Зубарев: Спасибо, Николай. Спасибо за приглашение и организацию. Спасибо Руфине, я вижу ее среди слушателей. Меня зовут Дмитрий Зубарев. Я технический лид программы ускоренного открытия материалов в исследовательском центре Almaden IBM Research. Сегодня я хотел рассказать о нашей работе по разработке системы искусственного интеллекта «Эксперт-в-Цикле» и о том, как мы используем эту систему для поиска новых материалов.
Это короткое описание моего научного прошлого. Я закончил Университет дружбы народов по специальности физическая химия и занимался экспериментальной физической химией. В какой-то момент я поступил в аспирантуру Utah State University, где занимался квантовой химией. Конкретно я занимался теоретической фотоэлектронной спектроскопией кластеров в молекулярных пучках. После докторантуры я работал в Беркли — это моя первая пост-докторантура, где я занимался разработкой квантовой Монте-Карло в приложении к фермионным системам. Диффузионное Монте-Карло _____ (00:02:36). Также занимался немного химией горения и разработкой квантовых химических методов _____ (00:02:46) на ошибку в вычислении. Моя вторая пост-докторантура была в Гарварде, где я занимался исследованиями в контексте происхождения жизни. Я занимался реконструкцией пребиологических реакционных сетей. Это технология, связанная с машинным обучением — контекстно свободные словари. После Гарварда моя третья пост-докторантура была в IBM Research, где я начал заниматься ускоренным открытием материалов.
В IBM Research я работаю пятый год. Лаборатория Almaden — это лаборатория полного цикла, то есть фактически это мини-департамент разработки материалов. Основной фокус на разработке полимеров. Almaden известен своей работой в области фотолитографии электронных материалов. В Almaden была разработана технология химической амплификации. Эта технология ответственна за 100% производства микроэлектронной техники и полупроводников во всем мире. В последние несколько лет мы используем эту лабораторию, как своего рода испытательный стенд для внедрения искусственного интеллекта в исследовательскую деятельность с акцентом на индустриальный или промышленный контекст.
Фотография, которую вы видите на экране — это своего рода знак или девиз, который висит на стене в лобби нашего центра. «Наука и данные для расширения человеческих возможностей» — этот девиз очень хорошо отражает специфику нашей работы. Когда мы говорим об искусственном интеллекте, для нас в первую очередь важно то, как искусственный интеллект будет взаимодействовать с естественным интеллектом и как искусственный интеллект будет помогать людям в нашей исследовательской работе. Один из основных факторов нашей работы — это специалисты профильного направления, то есть те люди, которые долго изучали предмет, долго работали в области по определенному предмету. Эту уникальную экспертизу можно оценить по способности человека заниматься консалтинговыми услугами.
(00:05:23)
Это сразу разделяет такие виды деятельности, как crowdsourcing, от экспертной оценки. Есть масса вещей, которые можно делать с помощью crowdsourcing, но которые не имеет смысла делать с вовлечением экспертов. С другой точки зрения, эксперты являются носителями знаний, которые нельзя найти среди большой, необразованной и мало подготовленной технически группы людей. Поэтому, когда мы смотрим на наших научных сотрудников, работающих в лаборатории, мы выделяем следующие факторы, которые обеспечивают их уникальность. Во-первых, каждый из этих специалистов является носителем модели _____ (00:06:13), который обеспечивает научный прогресс. Это модели, которые позволяют людям публиковать научные публикации, предлагать патенты, выступать на конференциях, получать гранты и проводить исследования.
В области общего искусственного интеллекта есть такая концепция здравого смысла — это знания, которыми мы все обладаем, поскольку мы эволюционировали в определенной среде. Искусственный интеллект имеет сложности с получением этих знаний. Когда мы говорим об экспертах, есть обратная сторона медали этого здравого смысла. Эксперты приобретают свой здравый смысл, потому что они очень долго работают в определенной области. Это часто не только специализированные области, но очень часто специализированная среда. Допустим, среда, связанная с определенной компанией, с исследовательской деятельностью в этой компании, рыночное положение компании. Это подкрепляется неявным экспертным знанием. Допустим, с теми концепциями, которые мы изучаем и которые не отражены в литературе, не кодифицированы и не сводятся к набору фактоидов. Это создает сложности, например, для систем искусственного интеллекта или машинного обучении с изучением этих концепций, потому что системы искусственного интеллекта, как правило, оперируют фактоидами.
Третий аспект — это талант и креативность. Мы умудрились в XXI веке создать технологически продвинутую цивилизацию фактически без методов машинного обучения. То есть, когда мы говорим, что машинное обучение, глубокое обучение показывает способности, превосходящие человеческие — это так, это правда. Надо отдать себе определенный кредит в том, что ученые очень многого добились за относительно короткий промежуток времени, используя те средства, которые эволюционно у нас есть. Конечно же, мы не можем обойтись без наших когнитивных оценок сдвига. Любой человек является носителем этих сдвигов. У нас есть предпочтения, предубеждения и биологическая или интеллектуальная неэффективность. Соответственно, когда мы говорим о взаимодействии систем искусственного интеллекта с человеческим интеллектом для нас важно улучшить те позитивные аспекты, которые у нас есть, и компенсировать те недостатки, которые у нас есть, с помощью искусственного интеллекта.
Переходя к идее систем «Эксперт-в-Цикле», хочется сказать, что основной фактор для нас — это то, что эксперты — движущая сила научно-технического прогресса сегодня и в обозримом будущем. Это связано с агентностью во всех исследовательских областях или разработческих областях. Решения принимаются человеком в конечном итоге. Основной агент, проявляющий интерес или заинтересованность в последствиях этих разработок — это тоже человек. Это не искусственный интеллект как таковой. Экспертные знания очень часто являются основой обучения систем машинного обучения в форме, которая документирована. Допустим, можно делать data mining, можно смотреть на базы данных, курированные по результатам, опубликованным в статьях.
К сожалению, экспертные знания очень медленно трансформируются в структурированные данные, которые поддаются такому анализу. Написание статьи занимает от нескольких месяцев до года.
(00:10:24)
Для того, чтобы написать статью, надо работать над исследовательской программой в течение какого-то длительного времени. Эту программу надо одобрить, за нее надо бороться. Если сейчас фокус машинного обучения состоит в том, чтобы использовать структурированные данные, которые можно найти в свободном доступе… Эти данные, безусловно, не являются фронтом интеллектуального роста научных или технических доменов. Другая проблема состоит в том, что неявное экспертное знание не переносится в структурированные данные вообще.
Это создает вполне реальные технические сложности, когда мы начинаем генерировать гипотезы с помощью электронных систем. Эти гипотезы выглядят очень хорошо, очень многообещающе. Они не выживают переноса в экспериментальную фазу, потому что вычислительные химики, допустим, очень плохо себе представляют реальность экспериментальной работы. Экспериментальные химики представляют эти реалии очень хорошо. Очень часто они эмоционально реагируют на откровенно наивные предложения со стороны вычислительных химиков. Это вполне реальная проблема. Ее можно классифицировать, и для нас, как для лаборатории полного цикла, это является приоритетом.
Когда мы генерируем гипотезы о новых материалах с какими-то свойствами, для нас важно, чтобы высокий процент этих гипотез перешел в экспериментальную фазу. Фактически мы пытаемся построить мост между, с одной стороны, специалистами разной подготовки — вычислительными или экспериментаторами. С другой стороны, кондиционировать систему искусственного интеллекта так, чтобы она работала на уровне, который приемлем для экспертов, которые затрачивают свое время для разработки гипотез и привнесения их в какую-то практическую плоскость. Мы определяем «Эксперт-в-Цикле», системы искусственного интеллекта такого типа, как персонализированные модели экспертного уровня. На данный момент это дискриминаторы и генераторы, которые пригодны для «клонирования» экспертов в каких-то узких, специализированных задачах.
Если у вас есть вопросы, пожалуйста, задавайте их.
Николай Михайловский: Дмитрий, можно на слайд назад вернуться. Тут фраза, которая лично меня немножечко задевает. Это фраза «Экспертное знание медленно трансформируется в структурированные данные, поддающиеся анализу». С моей точки зрения, знание вообще — это способ сжатия информации, способ сжатия данных. Как знание в принципе устроено? Знание — это некая модель предметной области, зачастую выраженная в виде формулы и так далее. Это первое. Есть некая модель. Вторая вещь — когда мы строим любую модель, мы отбрасываем некие несущественные вещи для модели. У химика один взгляд на предмет, у биолога будет другой взгляд на тот же предмет, у физика третий. Кошка для физика — это просто небольшое тело массой три килограмма. В этом смысле знания не могут трансформироваться в данные. Поскольку знание есть способ сжатия данных, отбрасывания в данных несущественных вещей… Когда мы неким образом думаем, мы отбрасываем лишнее. Поэтому можете как-то пояснить, что значит «знание медленно трансформируется в данные»?
Дмитрий Зубарев: Да, конечно. Я согласен с вашим комментарием. Здесь есть некоторая условность или традиция использования определенных терминов. Я согласен, что знание можно рассматривать, как процесс сжатия чего-то. Здесь есть два аспекта, которые я, может быть, хотел пояснить.
(00:15:22)
В человеческом понимании или в понимании экспертов знание — это не фактоиды, это, как правило, концепции. Мы учим концепции. Мы учим концепции таким образом, что, когда мы видим какой-то фактоид, мы можем оценить этот фактоид с точки зрения концепции. Любой вечный двигатель принадлежит концепции вечного двигателя. Неважно, какой конкретно чертеж перед нами стоит. Данные, которые используются в машинном обучении — это, как правило, фактоиды. Это фактоиды, описанные в статьях, патентах, базах данных. Я провел какое-то время, переводя текст моей стандартной презентации с английского на русский. Естественно, у меня были какие-то альтернативы использования слова knowledge. В общем, я готов поставить слово «знание» в кавычки, понимая, что знание на человеческом или экспертном уровне — это концепция, а знания, которые используются в анализе — это фактоиды.
Второй момент — это, что в каком виде эксперты бы не представляли свои знания, перенос этих знаний в кодифицированную форму статьи, патента, базы данных занимает время. Если я готов сегодня потратить 30 минут на то, чтобы провести какой-то эксперимент в data mining с базой данных патентов, которые у меня есть, я не могу не задать себе вопрос: почему я не занимаюсь майнингом этих знаний непосредственно из экспертов в той форме, в которой эти знания присутствуют у экспертов? В этом проявляется глубокая направленность нашей работы с экспертами. Потому что традиционно «Эксперт-в-Цикле» или «Человек-в-цикле» — это просто система тренировки, система машинного обучения с вовлечением живого интеллекта. Для нас это моделирование интеллекта, системы знаний или модели какого-то домена.
Это проблема, которую я не могу описать достаточно точно, потому что мы не знаем, как ее описывать. Я провел несколько недель, пытаясь, допустим, обсудить, как правильнее всего пытаться описывать явную модель человеческого интеллекта в специализированном домене с людьми, которые занимаются knowledge graphs и прочими вещами. В целом я согласен с вашим комментарием.
Николай Михайловский: Окей, спасибо.
Дмитрий Зубарев: Возвращаясь конкретно к ситуации с поиском полимерных материалов, хочу сказать, что я не химик в экспериментальном смысле. Физические химики занимаются синтезом очень простых систем. С полимерами я познакомился в Almaden, поэтому на всякий случай я включил определение полимерного материала, найденное в Википедии. Это материал, который состоит из повторяющихся звеньев, связанных в какие-то цепи. На самом деле, это очень упрощенное представление полимерного материала. Полимерные материалы — это не только цепи. Это сшитые цепи, цепи, сшитые в сети, которые переплетаются с другими сетями. Синтез полимерного материала — это начало разработки материала. Синтезированная полимерная цепь может превратиться в большем, чем один материал. Это сильно зависит от формулирования, истории обработки, формирования материала.
Несмотря на то, что полимерный материал — это, как правило, органика, логика полимерного домена сильно отличается от логика фармацевтической химии. Структура молекулы известна. Если мы говорим о молекуле, мы подразумеваем какую-то определенную структуру. Структура полимера, как правило, не только недоступна изначально, но и очень часто не нужна изначально. Безусловно, если она известна, это помогает. Однако структура полимера надо устанавливать. Она часто статистическая, имеет какие-то свойства, которые очень сложно в явном виде, компактно выразить. Полимеры не могут стоить столько же, сколько стоит потенциальное лекарство. Синтез компонентов для полимеров не может быть слишком сложным. Если, допустим, один миллиграмм потенциального лекарства от рака может стоить более тысячи долларов и вовлекать десять шагов синтеза, разделения, фильтрования и прочего. Мои химики, коллеги-полимерщики говорят, что полимер должен синтезироваться в ведре при перемешивании лопатой. На самом деле, это очень аккуратная оценка того, что происходит в лабораториях-вендорах.
(00:20:39)
Поэтому поскольку нормы прибыли в полимерной индустрии существенно меньше, чем в фармацевтике, полимеры используются в очень широком наборе технологий: от бытовых до высокотехнологических. Время от синтеза полимера до разработки, масштабирования, внедрения имеет большую роль. Сейчас существует оценка, что это занимает до десяти лет или больше. Целью является ускорение этого процесса. Естественно, как и во всех других областях химии, есть ожидание, что новые вычислительные подходы, как комбинаторный скрининг, генеративные модели, обратно моделирование, помогут находить новые материалы быстрее. Это ожидание справедливо в том смысле, что все эти модели позволяют генерировать большое количество кандидатов с утверждением, что все эти кандидаты являются самой замечательной вещью, которая может произойти с нашей технологией. Проблема в том, что мы не можем проверять всех этих кандидатов ни в ручную, ни в автоматических лабораториях. Любые экспериментальные системы имеют ограниченную пропускную способность. Они связаны с затратами. Поэтому вычислительные гипотезы должны обогащаться кандидатами, которые не только многообещающие, но и практичные.
Здесь появляется этот момент: что мы потеряли, когда трансформировали что-то, что мы знаем с большим уровнем детализации, в те данные, которые используются для тренировки моделей? Оказывается, что мы выбрасываем какое-то количество информации, которая очень критична для принятия решения: стоит ли нам работать с определенными кандидатами или нет? С точки зрения вычислительных химиков — да, стоит. С точки зрения химиков, которые работают в лаборатории — это безумие. Я слышал от достаточно большого количества моих коллег истории о том, как предлагают синтезировать материалы, синтез которых потребует 2000 градусов Кельвина или каких-то совершенно безумных каталитических усилий.
Работая над одним из клиентских проектов, мы вплотную уперлись в эту проблему. Посоветовавшись с коллегами, которые работают в intelligence augmentation (00:23:19) домене, мы перенесли их методологию «Эксперт-в-Цикле» в область материалов. Идея такого прямолинейного применения «Эксперта-в-Цикле» — это ранжировать кандидата в соответствии с какой-то функцией полезности, которая изучается в ходе постоянного взаимодействия с экспертом, который должен проводить экспериментальные исследования материала. Грубо говоря, когда мы показываем кандидата нашим экспертам-химикам, мы задаем им один и тот же вопрос: готовы ли вы инвестировать свое время в то, чтобы этот материал, этого кандидата перенести из гипотетической в практическую реальность?
Немного о роли конкретных экспертных знаний, когда мы говорим о полимерах. Если мы говорим о температуре фазовых переходов полимеров, их молекулярном весе, способности выдерживать механические нагрузки, то эти свойства должны быть воспроизводимы в любой лаборатории. С другой стороны, когда мы обсуждаем вопросы синтетической доступности компонентов, устойчивости полимеризации, стабильности мономеров во время полимеризации, соответствии внутренних и внешних стандартов, допустим, экологических, доступности сырья в терминах цены, то все эти вопросы не существуют в каком-то однозначном виде. Ответы на них зависят от контекста. Как я замечал, в фармацевтике допустимо синтезировать какой-то молекулярный компонент в 10 стадий. Для полимерного материала — это невозможно.
То же самое сводится, допустим, к ценовым вопросам, доступности сырья. Я был очень удивлен в какой-то момент, когда наши клиенты заметили, что они не могут пользоваться определенными категориями мономеров, потому что они поступают к ним в таре большего размера. Когда эта тара открывается, у нее есть определенный срок жизни. Их индустриальная линия не может пропустить более высокий объем.
(00:25:45)
Соответственно, они будут терять деньги на сырье, которое они не переработали. Такие факторы являются решающими, когда речь идет о выборе кандидатов, которые лаборатория будет синтезировать и изучать.
Один из примеров, которые мы рассматриваем в статье, который я обсуждаю — это балл синтетической доступности. Балл синтетической доступности — это достаточно удобная метрика, которая позволяет оценить или угадать, насколько тяжело будет синтезировать ту или иную молекулу. Этот балл связан с частотой нахождения фрагментов молекулы в базах данных. Этот балл очень часто используется для того, чтобы, допустим, ранжировать кандидатов для синтеза. Мы сравнили балл, вычисленный с помощью стандартной методологии. Чем он ниже, чем легче синтезировать молекулу, с ответами наших химиков, которые выбирали, готовы ли они синтезировать или изучать определенные мономеры или нет.
Как оказалось, эксперты часто выбирают синтетически сложные молекулы. Здесь абсолютно не было тренда на то, чтобы они упрощали свою жизнь. Они готовы синтезировать сложные молекулы, если они видят какую-то перспективу в их использовании. Более того, когда мы обсуждали их конкретные ответы, они замечали, что их выбор зависел от многих факторов, не только от синтетической доступности, но и от каких-то желаемых свойств, стоимости материалов, доступности инструментов. Это, например, очень хорошо иллюстрирует проблему того. что если мы будем использовать, допустим, балл синтетической доступности, как сформулирован в хемоинформатике, то мы придем к совершенно другим выводам о том, что эксперты выберут, если этот выбор предоставить экспертам.
Я перехожу к рабочему процессу «Эксперта-в-Цикле». Это общая диаграмма того, как мы тренируем модели. Она состоит из трех фаз: исходная генерация данных, тренировка классификатора и тренировка генератора. Я остановлюсь на каждой стадии более подробно. Если есть какие-то вопросы, пожалуйста, задавайте сейчас.
Первая стадия — это генерация исходных данных. Мы используем метод грубой силы. В этом случае мы составляем набор исторически произведенных мономеров, допустим, если мы рассматриваем синтез какого-то материала. Этот набор строится из содержания баз данных, допустим, патентные базы данных. Те мономеры, которые были исторически запатентованы, разбиваются на фрагменты или строительные блоки. Эти строительные блоки рекомбинируются по комбинаторному принципу для того, чтобы расширить набор данных. Те мономеры, которые были добыты из баз данных, являются положительным классом, потому что мы знаем, что их можно сделать. Новые мономеры в комбинаторном дизайне — какие-то из них мы можем заранее обозначить, как недоступные. Они могут, допустим, иметь неправильные комбинации полимеризуемых групп. В конце концов мы собираемся спросить наших экспертов, что они думают об этих кандидатах.
Вторая стадия — это тренировка классификатора или дискриминативной модели-эксперта. На практике, когда мы работаем с группой, на которой специализируется генерация молекулярных кандидатов, наши эксперты должны были сидеть перед компьютером и прокручивать страницы предложенных кандидатов, выбирая какой-то очень маленький процент, который имел смысл. Это занимает время. Это занимает время на абсолютной шкале, это занимает время тренированных специалистов, которые должны тратить время на какие-то другие задачи, более продуктивные. Основная классификационная задача или задача дискриминативной модели — это разработать суррогат человеческой или экспертной оценки, который может заменить эксперта в этой задаче и освободить время эксперта. Наша группа абсолютно не первая, которая занимается этой работой. Как я упоминал, наши коллеги в области intelligence augmentation разработали этот метод, когда перед ними стоял вопрос: как более эффективно использовать время консультантов?
(00:30:42)
Консультанты стоят дорого. Они очень часто привлекаются для извлечения специализированной информации. Если консультант работает только то время, которое консультант физически может предложить, то это менее эффективно в ценовом контексте, чем использование тренированной модели, которая может заменить консультанта в какой-то момент. Во время тренировки классификатора мы задаем вопрос: является ли этот кандидат, которого эксперт видит, синтетически практичным, и есть ли понимание, что он будет вести себя правильно в полимеризационном процессе? Соответственно, наша цель — изолировать всех хороших кандидатов и не показывать отрицательный класс или класс кандидатов, с которыми эксперты не готовы работать. Модель учится на выборе экспертов каждый раз, когда эксперт взаимодействует с системой. Мы можем постепенно заменить источник данных с нашего комбинатрного дизайна на, допустим, какие-то генеративные модели, которые доступны из других источников. В этом и состоит идея, что тренированная модель классификации кандидатов может быть встроена в какие-то другие, параллельно существующие системы, которые генерируют гипотезы о материалах.
Наконец третья фаза — это генерация или генеративная модель эксперта. Поскольку у нас есть расширяющийся класс положительных примеров тех мономеров или молекулярных компонентов, которые эксперты согласны принести в лабораторию, мы можем использовать этот положительный класс для тренировки генеративных моделей. Идея состоит в том, чтобы генерировать мономеры за пределами комбинаторного дизайна и в то же время генерировать эти мономеры, кондиционированные на каких-то неявных предпочтениях экспертов. По большому счету эта фаза стоит модель креативности эксперта. У нас были вполне реальные случаи, когда эксперты, взаимодействующие с собственными генеративными моделями, говорили, что они видели кандидатов, о которых они думали полгода назад, но не смогли перевести в практическую деятельность по каким-то причинам. То есть у нас есть основание думать, что мы можем таким образом моделировать креативность экспертов.
Я перехожу к описанию вычислительных экспериментов, которые мы провели. Эти эксперименты опубликованы в статье “Expert-In-the-loop AI for Polymer Discovery”. Опубликованы на конференции CIKM в 2020-м году. Данные составляли три группы: полимеризуемые компоненты для полиимидов, мономеры для полимеризации с раскрытием цикла — это кольцевые лактоны. Из этих двух наборов данных мы собрали положительный классы, которые использовали для обучения генеративных моделей. Один из факторов, с которыми мы имеем дело в данном случае — это несбалансированность классов данных. Отрицательный класс на несколько порядков больше, чем положительный класс. Положительный класс не является плотным. Другими словами, если я нарисую разумную молекулу, разумный мономер, ее очень легко испортить неправильным помещением какой-то функциональной группы.
Один из этих наборов данных открыт. Он в открытом доступе, ссылка включена в статью. Мы надеемся, что эта проблема привлечет внимание более широкого круга исследователей, потому что взаимодействие между искусственным интеллектом и интеллектом человека — это очень интересное направление, особенно в науке. Некоторые практические наблюдения: когда мы ранжируем кандидатов, сгенерированных в каких-то посторонних системах или в нашей системе, мы ожидаем, что они перейдут в экспериментальную фазу. Пропускная способность любой экспериментальной фазы ограничена. Поэтому на практике, если мы даже сгенерировали 100 высокоприоритетных кандидатов, то это уже успешная функция системы. Сто приоритетных кандидатов могут занять химиков на год.
(00:35:42)
Из фидбэка наших экспертов мы знаем, что система очень часто генерирует «почти» приемлемых кандидатов. Здесь возникает вопрос, с одной стороны, практический: насколько уверены эксперты в их оценке того, принять или отклонить кандидата? С другой стороны, возникает вопрос: насколько легко можно расширить систему искусственного интеллекта, чтобы эти «почти» приемлемые кандидаты автоматически трансформировались в приемлемые?
Немного чисел. Эта статистика наборов данных иллюстрирует то, что я описал. Это большие наборы данных — мы говорим о десять в пятой, как минимум. Набор данных может быть существенно расширен. Комбинаторный дизайн, генеративные модели могут производить миллионы кандидатов. Одновременно это показывает рабочую нагрузку на экспертов, если ожидается, что эксперты обрабатывают эти данные «вручную». Это невозможная задача. Особенно невозможной она выглядит, если вы сравните объем негативных и позитивных примеров, то есть кандидатов, которых эксперты выбрали, и кандидатов, которых они отклонили. Фактически ручная обработка данных в таком режиме — это упражнение в выбрасывании кандидатов в мусорное ведро. Это абсолютно неэффективный способ использования времени тренированных профессионалов.
В этой таблице вы видите результаты классификации. Это один из классификационных тестов. В основном мы пользовались моделями стандартного машинного обучения — Random Forest (00:37:33), Support Vectors и Logistic Regression с одной конволюционной сетью. В скобках вы видите типы описания молекулярной структуры молекул. Это, как правило, маленькие графы. Для того, чтобы работать с ними в машинном обучении, их надо каким-то образом векторизовать. Соответственно, векторизация делается либо по содержанию фрагментов, либо по структурным отпечаткам пальцев — ECFP, либо по фрагментации на функциональные группы — BRICS. Вы видите, что классификатор достаточно быстро тренируется на высокий уровень качества. На практике две или три итерации тренировки после показа комбинаторного дизайна с участием эксперта будут достаточными для того, чтобы получить метрики в районе 90 и выше процентов.
Краткое описание генеративных моделей, которые мы использовали. LSTM — сети долговременной кратковременной памяти, включая двунаправленный LSTM. SeqGAN — это адверсарная (00:39:02) система, где генератор — это фактически агент в системе обучения с подкреплением, то есть reinforcement learning. Дискриминатор вычисляет вознаграждение для агента, который собирает последовательность, описывающую молекулу из знаков. RankGAN — тоже адверсарная (00:39:24) система, которая состоит из генератора и ранкера. Стандартный GAN — это генератор и дискриминатор. В данном случае молекула не дискриминируется, а им присваивается какой-то вес между нулем и единицей. TextGAN — это простая архитектура адверсарной (00:39:42) сети с генератором LSTM и дискриминатором кумуляционной (00:39:46) сетью. Соответственно, когда мы тренируем модели, мы тренируем несколько моделей и смотрим на их агрегированный ранг для кандидатов.
Это результаты генеративных сетей. В каждом случае мы сгенерировали тысячу кандидатов. Объем классифицированных кандидатов разнится. Когда мы говорим о классифицированных кандидатах, это кандидаты, которые были оценены экспертами. В лучшем случае у нас точность была 25%, то есть 25% из рецензированных кандидатов были приняты. Для генеративной архитектуры и в контексте, который мы описываем, это очень хороший результат. Допустим, 59 принятых кандидатов — этого достаточно на то, чтобы занять лабораторию на длительное время.
(00:40:50)
Система реализована как преиндустриальная система, то есть у нее есть back-end, front-end, серверная сторона. Система построена таким образом, чтобы ей могли пользоваться химики, которые не имеют предварительного опыта работы с системой искусственного интеллекта. Соответственно, это простой, интуитивный интерфейс, который настроен для бинарных оценок. Поэтому, когда мы задаем экспертам вопросы, эти вопросы подразумевают ответ «да» или «нет». Наш вопрос: готовы ли вы перенести этого кандидата в лабораторию? Соответственно, дальше — это динамика левого-правого клика. В среднем, использование этой системы после того, как мы натренировали классификатор, сокращает время работы экспертов на три порядка величины. Это оценка, так как понятно, что никто не может потратить тысячу часов на рецензирование вычислительных, сгенерированных кандидатов. Фактически мы не только сокращаем время малопродуктивной работы экспертов, мы увеличиваем объем, который эта система может пропустить и рецензировать. На данный момент системой пользуются около десятка исследователей, включая химиков-синтетиков.
Один из факторов, о котором мы заботимся — это объяснимость результатов моделирования. Когда мы строим классификатор или генератор, мы их строим на основе структуры молекул. Соответственно, мы хотим объяснить ранг, присвоенный молекуле с точки зрения ее структуры. Для этого мы тренируем отдельную модель Random Forest, которая ранжирует фрагменты, найденные в молекуле. Эти фрагменты доступны пользователю, когда он работает с графическим интерфейсом. Он может открыть панель, увидеть фрагменты и одобрить эти фрагменты в том числе, если эти фрагменты совпадают с причиной, по которой они оценивают молекулу, как приемлемую или неприемлемую.
На данный мы вывели около десяти новых полимеров, которые были перенесены в экспериментальную фазу в лаборатории. Эти десять полимеров живут в разных классах полимерных материалов. Мы работаем с эффективными платформами для полимеризации циклических лактонов, функциональными полиимидными блоко-полимерами, функциональными полиакрилатами и молекулярными компонентами для фотолитографии. Безусловно, сократили время, которое эксперты раньше затрачивали на работу с «шумными» данными. Мы интегрировали в систему несколько генеративных моделей. Сейчас мы работаем в основном над исследованием альтернативных стратегий представления и преобразования химических данных. Я упомянул, что мы описываем молекулы _____ (00:44:19) фрагментов. Это, безусловно, не единственный способ описывать их структуры. Здесь есть масса возможностей с graph kernels, graph embeddings.
Мы также очень сильно заинтересованы в разработке концепций того, как генеративные модели взаимодействуют с экспертами. Те модели, которые мы представили, не позволяют эксперту вмешаться в процесс генерирования. С нашей точки зрения, это сильное ограничение. Для нас важно, чтобы эксперты могли строить кандидатов новых материалов с помощью генеративных моделей. Соответственно, мы работаем над этим.
Еще раз спасибо за возможность представить эту работу. Спасибо за ваше внимание. Пожалуйста, я с удовольствием отвечу на вопросы.
Николай Михайловский: Пожалуйста, коллеги, вопросы. Пока коллеги собираются со своими вопросами, у меня есть такой даже не вопрос, а, наверное, рассуждение. Оно увязывает неожиданным, может быть, образом то, что вы сейчас делаете с вашей предыдущей деятельностью. Есть гипотеза о том, что знание в некотором смысле эквивалентно эволюции.
(00:45:50)
То есть некий базовый механизм, который лежит в основе знания, и некий базовый механизм, который лежит в основе эволюции — это механизм мутации, то есть видоизменения гипотезы, и механизм отбора, то есть критики. В этом смысле интересно было бы ваше мнение по поводу возможности… Такая система, которую вы сейчас строите — система «Эксперт-в-Цикле», где фактически экспертное знание — это знание, которое позволяет произвести критику. Эксперт у вас фактически является критиком. Он держатель некой неявно созданной модели и является в этом смысле механизмом естественного отбора в рамках вашей экосистемы. Про полимеры мне говорить намного труднее, чем про знание или про машинное обучение, поскольку я ничего не понимаю в полимерах.
Соответственно, видится, что такая система, если ее неким образом правильно строить, то есть если ее строить так, как устроена эволюция, должна была бы неким образом эволюционно производить все более и более сложные какие-то полимеры и одновременно иметь… В некотором смысле, необязательно структурно. Вопрос сложности здесь тоже должен быть дополнительно определен. Она неким образом должна из экспертной затравки коэволюционировать система генеративная, которая осуществляет мутации, и критическая, которая осуществляет отбор. Можете что-нибудь по этому поводу сказать?
Дмитрий Зубарев: Да. Та система, которую мы описали в этой статье — это фактически расширение существующих методов, которые, грубо говоря, являются методами тренировки модели. Когда мы стали работать с нашими экспертами, у нас возник честный вопрос. Если система искусственного интеллекта — это система, основанная на интеллектуальном агенте, который может принимать решения… Существует гипотеза, — она может быть немного более специализированной, чем эволюция знания, как таковое — что развитие наших интеллектуальных способностей или способностей мозга решать сложные задачи связано непосредственно с многоагентской структурой нашего взаимодействия со знаниями. Для нас, например, одно из направлений исследований сейчас — это системы, которые основаны на reinforcement learning… Забываю, как переводится.
Николай Михайловский: Пусть будет reinforcement learning. Я думаю, что все здесь понимают, о чем речь. Обучение с подкреплением — так оно на русский язык переводится.
Дмитрий Зубарев: Да, обучение с подкреплением. Когда речь идет о многочисленных агентах, которые взаимодействуют друг с другом, вопрос, который у нас возникает: могут ли эти агенты выработать систему представления данных, систему представления знаний, систему абстракций? Фактически мы смотрим на этот вопрос с двух точек зрения. То, что называется снизу-вверх — допустим, мы идем от системы с множественными агентами. Сверху-вниз — если мы смотрим на существующие исторические знания, допустим, в каком-то домене. Допустим, полимеры, органическая химия, химия лекарств. Можем ли мы определить какие-то признаки, как знание эволюционировали в той или иной области? Я согласен, что это недооцененный вопрос.
(00:50:49)
Потому что, когда мы надеемся, что системы искусственного интеллекта начнут решать проблемы, было бы неплохо понимать, как мы эти проблемы решали в историческом контексте, и по каким, грубо говоря, законам эти решения эволюционировали.
Николай Михайловский: Да, интересно. Здесь, на самом деле, есть для меня две переклички. Одна перекличка — есть такой персонаж Александр Николаевич Горбань. В некотором смысле классик нашей науки в России. Ныне он британский ученый, как водится, но тем не менее. На мой взгляд, сильно недооцененный современным движением в области машинного обучения персонаж, поскольку основные его работы по машинному обучению были сделаны в 90-е годы. Он сейчас тоже активно работает над вопросами человеко-машинного (00:51:52) обучения и reinforcement learning. Поэтому, возможно, было бы интересно посмотреть на то, что он делает с соавторами, или даже пообщаться. Это одна сторона.
Вторая сторона — околобиологическое рассуждение. Оно состоит в том, что на уровне гипотезы в биологии сложность агента определяется сложностью экосистемы. Есть гипотеза о том, что в простой экосистеме агент со сложным поведением вообще не может. Поэтому вполне возможно, что для построения агентов со сложным эффективным поведением нужна среда, в которой имеются агенты с разнородным поведением, то есть агенты, у которых разные поведенческие характеристики и так далее. В такой среде можно надеяться на то, что агент reinforcement learning будет получать более сложное поведение. Потому что в модельных средах, где агенты идентичны или находятся в простой среде, качество и сложность поведения агентов в целом ограничена. В области того же reinforcement learning есть свежие, довольно популярные работы, которые показывают, что более сложное поведение агента достигается последовательным повышением сложности среды.
Это опять же перекликается с идеей эволюции, о которой мы только что говорили и которая с предыдущими вашими работами напрямую связана, как я понимаю.
Дмитрий Зубарев: Да. У меня, допустим, есть коллеги, которые занимаются молекулярной биологией. Они в явном виде рассматривают вопрос появления трансляционной системы, как фактически появление агента в биохимическом смысле. Это безумно интересная тематика. Одна из моих основных дилемм состоит в том, что я вычислительный химик. Слово «полимер» я выучил четыре года назад. На самом деле, я знаю о полимерах ненамного больше, чем вы. Мне гораздо интереснее заниматься вопросами эволюции сложных систем, чем предсказывать температуру фазового перехода полиимида. Поэтому мы и стали заниматься обучением с подкреплением. Это в меньшей степени вопрос разработки материалов. Это в большей степени вопрос разработки будущего науки или интеллектуальной деятельности. Мне приходится время от времени объяснять, почему мы делаем reinforcement learning вместо _____ (00:55:32) оптимизации, когда речь заходит о материалах.
Да, мне этот вопрос очень близок. На самом деле, еще раз могу сказать, что это безумно интересная тематика. Мы стараемся переключиться на нее практически полностью. Сейчас, когда мы, допустим, говорим про «Эксперт-в-Цикле», мы фактически рассматриваем модели, основанные на явном представлении, допустим, системы знаний и в контексте обучения с подкреплением.
(00:56:08)
Николай Михайловский: Окей. Я думаю, мы как-нибудь в другой форме продолжим этот очень интересный диалог. Коллеги, молчащие ныне, вопросы, соображения? Большое спасибо за интересный рассказ. Тема казалась специальной, поэтому, видимо, не так много народу собралось. Хотя мы в процессе диалога пришли к удивительно общим вещам, напрямую граничащим с reinforcement learning, с general AI (00:56:48) и тому подобными вещами. Большое спасибо. Один из самых интересных диалогов, которые у меня за историю этих вебинаров был. Спасибо всем, кто присутствовал.
Дмитрий Зубарев: Спасибо за приглашение. Если появятся вопросы, пожалуйста, пишите. Мой рабочий e-mail, по-моему, я предоставил в описании.
Николай Михайловский: Да, будем вам писать. Спасибо. До свидания.
Дмитрий Зубарев: Спасибо. Всего доброго.
(00:57:20) (Конец записи.)