Спикер о работе: Некоторые задачи обработки естественного языка требуют использования информации из разрозненных мест в тексте. Современные методы на основе модели Transformer могут одновременно обрабатывать ввод только ограниченного размера. Это затрудняет их использование в задачах с большим объемом ввода, такие как ответы на вопросы по книгам или Википедии. Мы решаем эту проблему с помощью полупараметрического метода извлечения и представления информации из текста. Наш метод представляет знания с помощью «Таблицы Упоминаний», которая содержит многомерную кодировку для каждого упоминания именованной сущности в тексте. Мы интегрируем таблицу упоминаний в Transformer модель, что позволяет нам комбинировать и использовать информация из по множества разрозненных источников в тексте. Мы применяем нашу модель на задачах с вопросами по целым книгам (https://aclanthology.org/2021.naacl-main.408) или с вопросами по всей Википедии (https://arxiv.org/abs/2110.06176 )
Дополнительная информация:
Презентация: https://drive.google.com/file/d/1RFMaCdsF0Umo8kjJKQpGVUHBZlKPQlt2/view?usp=sharing
Запись: https://www.youtube.com/watch?v=K3xbr28O3Yg
In English:
Webinar: Semi-parametric Methods for Extracting and Representing Knowledge From a Text Corpus
Description:
Knowledge-intensive NLP tasks such as question answering often require assimilating information from multiple sources in the text. Unfortunately, modern Transformer-based methods can only process the input of a rather limited size. This makes them harder to use on tasks where input is large such as a whole book or Wikipedia. We propose to address this problem by extracting and representing information in text corpus in a semi-parametric manner. Specifically, our method represents knowledge with «Mention Memory,» a table of high-dimensional vector encodings of every entity mentioned in the text. Furthermore, we integrate Mention Memory into a Transformer model allowing the synthesis of and reasoning over many disparate sources of information. Finally, we experiment with a challenging NarrativeQA task, with questions about entire books (
https://aclanthology.org/2021.naacl-main.408), and several open-domain benchmarks with questions about the whole Wikipedia (
https://arxiv.org/abs/2110.06176).
