Научно-технический вебинар «Полупараметрические методы извлечения и представления знаний из текста»

23 ноября 2021, 18:00 MCK

О вебинаре

  • Спикер

    Юрий Землянский, Южно-Калифорнийский университет, Лос-Анджелес, Калифорния, США

  • Тема

    Научно-технический вебинар «Полупараметрические методы извлечения и представления знаний из текста»

  • Подробнее про вебинар

    Спикер о работе: Некоторые задачи обработки естественного языка требуют использования информации из разрозненных мест в тексте. Современные методы на основе модели Transformer могут одновременно обрабатывать ввод только ограниченного размера. Это затрудняет их использование в задачах с большим объемом ввода, такие как ответы на вопросы по книгам или Википедии. Мы решаем эту проблему с помощью полупараметрического метода извлечения и представления информации из текста. Наш метод представляет знания с помощью «Таблицы Упоминаний», которая содержит многомерную кодировку для каждого упоминания именованной сущности в тексте. Мы интегрируем таблицу упоминаний в Transformer модель, что позволяет нам комбинировать и использовать информация из по множества разрозненных источников в тексте. Мы применяем нашу модель на задачах с вопросами по целым книгам (https://aclanthology.org/2021.naacl-main.408) или с вопросами по всей Википедии (https://arxiv.org/abs/2110.06176 )

    Дополнительная информация:
    Личный сайт — https://urikz.github.io
    Статьи по докладу — ReadTwice (https://aclanthology.org/2021.naacl-main.408) и MentionMemory (https://arxiv.org/abs/2110.06176).



    Презентация: https://drive.google.com/file/d/1RFMaCdsF0Umo8kjJKQpGVUHBZlKPQlt2/view?usp=sharing

    Запись: https://www.youtube.com/watch?v=K3xbr28O3Yg

    In English:
    Webinar: Semi-parametric Methods for Extracting and Representing Knowledge From a Text Corpus

     

    Description:
    Knowledge-intensive NLP tasks such as question answering often require assimilating information from multiple sources in the text. Unfortunately, modern Transformer-based methods can only process the input of a rather limited size. This makes them harder to use on tasks where input is large such as a whole book or Wikipedia. We propose to address this problem by extracting and representing information in text corpus in a semi-parametric manner. Specifically, our method represents knowledge with «Mention Memory,» a table of high-dimensional vector encodings of every entity mentioned in the text. Furthermore, we integrate Mention Memory into a Transformer model allowing the synthesis of and reasoning over many disparate sources of information. Finally, we experiment with a challenging NarrativeQA task, with questions about entire books (https://aclanthology.org/2021.naacl-main.408), and several open-domain benchmarks with questions about the whole Wikipedia (https://arxiv.org/abs/2110.06176).
    Personal website: https://urikz.github.io