Спикер о работе:
«Современные методы машинного обучения демонстрируют ограниченную способность к композиционному обобщению (compositional generalization). В то же время отсутствуют реалистичные бенчмарки для полноценной измерения такой способности. Мы представляем новый метод для систематического построения таких тестов, максимизируя составную дивергенцию (compound divergence), гарантируя при этом небольшое расхождение атомов между обучающими и тестовыми наборами, и мы количественно сравниваем этот метод с другими подходами для создания композиционных обобщающих тестов. Мы представляем большой и реалистичный набор данных с ответами на вопросы на естественном языке, построенный в соответствии с этим методом, и используем его для анализа способности к композиционному обобщению трех архитектур машинного обучения. Мы обнаружили, что они не могут обобщать композиционно и что существует сильная отрицательная корреляция между составной дивергенцией и точностью.»
Запись: не будет
Презентация: не будет
Материалы:
Measuring Compositional Generalization: A Comprehensive Method on Realistic Data. Keysers et al, ICLR-2020, https://arxiv.org/abs/1912.09713
*-CFQ: Analyzing the Scalability of Machine Learning on a Compositional Task. Tsarkov et al, ISWC-2021, https://arxiv.org/abs/2012.08266