Доклад является продолжением и углублением рассказа на недавнем DevParty https://www.youtube.com/watch?v=KZ9NXYcXVBY с акцентом на том, как устроены внутри некоторые интересные трансформеры.
Prerequisites: понимание как работает базовый трансформер.
Если ещё не понимаете, прочитайте http://jalammar.github.io/illustrated-transformer/ или посмотрите запись последней лекции (#12) с курса https://github.com/che-shr-cat/deep-learning-for-biology-hse-2019-course
Видео: https://youtu.be/znyvj3ijl7Q
Презентация: https://drive.google.com/file/d/1Y-TiNy9ZS2Bd4DbUD1hfLnLlCT1l9TfB/view?usp=share_link