✅Вариант страницы одобрен авторами курса

<aside> 💡 Курс разработан при поддержке фонда и рекомендован к прослушиванию студентами в рамках Академической программы по искусственному интеллекту.

</aside>

Формат курса:

Курс предлагается как спецкурс для студентов бакалавриата и магистратуры ВМК и читается в весеннем семестре.

Преподаватели:

Арефьев Николай Викторович

Кандидат физ.-мат. наук, младший научный сотрудник кафедры алгоритмических языков, ВМК, МГУ.

Основные научные интересы: вычислительная лексическая семантика, обработка текстов на естественном языке, мультимодальные модели, машинное обучение, нейронные сети.

Аннотация:

В курсе рассматриваются различные современные подходы к обработке текстов на естественном языке с использованием нейронных сетей. На примере таких задач, как анализ тональности и тематики текстов, машинный перевод, генерация текстов, изучаются используемые на практике архитектуры нейронных сетей и блоки, из которых они состоят. Подробно разбираются две доминирующие архитектуры - рекуррентные сети и Трансформер, важные особенности построения и обучения моделей на их основе. Особое внимание уделяется методам регуляризации и предобучения на больших неразмеченных текстовых коллекциях и переноса знаний, позволяющим существенно улучшить качество обработки текстов в условиях недостатка размеченных примеров.

Практикум:

Студентам предлагается выполнить практические задания, направленные на улучшение понимания основных архитектур нейросетей, используемых при решении задач обработки текстов, и методов их обучения. Задания позволяют приобрести навыки использования библиотек и инструментов работы с нейросетями, таких как numpy, Pytorch, Tensorboard. Предлагается построить модели, решающие задачи классификации текстов (на примере анализа тональности), статистического языкового моделирования и генерации текстов, преобразования последовательностей (на примере траслитерации).

Программа курса:

1. Модели векторного представления слов естественного языка семейства word2vec. Методы ускорения обучения: иерархический softmax, негативное сэмплирование. Свойства векторов word2vec.
2. Модели векторного представления документов семейства doc2vec. Использование векторов doc2vec для классификации текстов.
3. Рекуррентные нейронные сети для статистического языкового моделирования. Проблемы затухания и взрыва градиента. Ячейка LSTM и нейронные сети на её основе.
4. Методы обучения и регуляризации рекуррентных языковых моделей.
5. Корпуса для обучения статистических языковых моделей. Способы повышения эффективности вычисления рекуррентной ячейки и softmax.
6. Рекуррентные нейронные сети для классификации текстов. Предобучение сети как статистической языковой модели и автокодировщика.