Научно-технический вебинар “Надежность систем обработки естественного языка”

Спикер о работе: В докладе речь пойдет о необходимости повышения надежности систем обработки естественного языка. Определив надежность и то, как она связана с доверием (пользователей), я приведу примеры  того, как эти определения можно применить в области языковых технологий. После этого я приведу примеры из недавних публикаций моих коллег,  направленных на то, чтобы лучше понять используемые в наши дни модели и их слабые стороны и сделать их менее подверженными разнообразным рискам.

Примечание: Записи и презентации не будет

Материалы:

• Две ссылки из вступительной части:

  • Jacovi et al. Formalizing Trust in Artificial Intelligence: Prerequisites, Causes and Goals of Human Trust in AI.

  • Brundage et al. Toward Trustworthy AI: Mechanisms for Supporting Verifiable Claims
• Robustness:
  • Gorman & Bedrick. We Need to Talk About Standard Splits.
  • Søgaard, Ebert, Bastings, Filippova. We Need to Talk About Random Splits.
• Fairness:
  • Webster et al. Measuring and Reducing Gendered Correlations in Pre-trained Models
• Explainability:
  • The Language Explainability Tool: https://pair-code.github.io/lit
  • «Will you find these shortcuts?» A Protocol for Evaluating the Faithfulness of Input Salience Methods for Text Classification
• Часть о конфиденциальности (privacy)  была посвящена вот этой статье прошлого года: Extracting Training Data from Large Language Models