Методы автоматической обработки текстов (курс лекций, В.В.Китов)/2016

Материал из MachineLearning.

Версия от 13:37, 10 марта 2016; Victor Kitov (Обсуждение | вклад)
(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)
Перейти к: навигация, поиск


В спецкурсе "Методы автоматической обработки текстов" рассматриваются практические задачи работы с текстами используя язык программирования Python, математические библиотеки и библиотеку по работе с текстами NLTK, а также другие средства, нацеленные на работу с русским языком. Целью спецкурса является познакомить слушателей с основными задачами по работе с текстами и дать навыки практической работы.

Курс длится в течение весеннего семестра 2016 года. Оценка за курс выставляется на основе выполнения практического проекта, реализующего согласованную с преподавателем задачу автоматической обработки текстов. Варианты задачи:

  • лингвистическое исследование различий диалекта языка для разного времени, разных авторов и разных источников информации
  • построение классификатора текстов по темам, авторам, жанрам и т.д.
  • эмоциональный анализ отзывов
  • извлечение тем из коллекции текстов
  • автоматическая суммаризация текстов
  • извлечение именованных сущностей из текста и определение отношений между ними

и другие темы, которые использовали бы методы, изучаемые на занятиях, и имеющие элементы научной новизны.


Содержание

Материалы

Natural Language Processing with Python. Stewen Bird et. al. 2-nd edition. 2016.

Speech and Language Processing. Dan Jurafsky and James H. Martin. 2-nd edition. 2009.


Библиотеки

Библиотека морфологической работы с русскими текстами PyMorphy

Морфологический анализатор от Яндекса

Каталог утилит для работы с русскими и английскими текстами


Интересные ссылки

Генератор случайных текстов по заданной тематике

Вопросно-ответная система WolframAlpha

Каталог старых газет на русском

Каталог старых газет от Google


Материалы занятий

Основные объекты библиотеки NLTK

Извлечение коллокаций

Онтология WordNet. Автоматическое определение частей речи.