Участник:Vokov/Некоторые задачи интеллектуального анализа данных (лекция)

Материал из MachineLearning.

Содержание 1 План-конспект лекции 1.1 Задачи обучения по прецедентам 1.2 Задачи и методы классификации 1.3 Прогнозирование временных рядов 1.4 Анализ клиентских сред 1.5 Анализ текстов 2 Темы рефератов

Лекция читается в рамках курса «Современные проблемы прикладной математики» студентам 5 курса ВМиК МГУ. 28 апреля 2008 года.

Файл презентации

План-конспект лекции

Задачи обучения по прецедентам

Общая постановка, основные понятия: объекты, признаки, выборка, алгоритм обучения.

Типы задач: классификация, регрессия, прогнозирование.

Свойства реальных данных: многомерность, разнородность, неполнота, неточность, противоречивость, огромный объём.

Задачи и методы классификации

Примеры прикладных задач: медицинская диагностика, кредитный скоринг (credit scoring), предсказание ухода клиентов (churn prediction).

Методы классификации (минутный обзор).

Дискретно-логические методы классификации. Понятие закономерности. Требование интерпретируемости, конъюнктивные закономерности. Критерии закономерности и неслучайности.

Методы поиска логических закономерностей (rule induction). Локальный поиск, случайный поиск с адаптацией, генетические алгоритмы.

Схожая задача: анализ рыночных корзин. Методы поиска ассоциативных правил.

Проблема 1: как искать закономерности в сверхбольших данных? Самплинг.

Проблема 2: как оценивать вероятности и риски? Контрольная выборка, нечеткие правила.

Ссылки:

Прогнозирование временных рядов

Примеры прикладных задач: прогнозирование цен и объемов потребления электроэнергии; прогнозирование спроса на товары в супермаркетах (sales forecast).

Проблема 1: как прогнозировать каждый день объёмы продаж 40 тысяч товаров в 200 магазинах, не покупая суперкомпьютер?

Проблема 2: как прогнозировать, если функционал потерь неквадратичен, несимметричен?

Ссылки:

Анализ клиентских сред

Примеры прикладных задач: персонализация предложения в интернет-магазинах, видеопрокате, электронных библиотеках. Задача Netflix.

Постановка задачи коллаборативной фильтрации (collaborative filtering, CF). Матрица users–items.

Методы коллаборативной фильтрации. Анализ пользователей (user-based CF). Анализ айтемов (item-based CF). Байесовские генеративные модели и восстановление скрытых интересов пользователей.

Ссылки:

1. Лидеры конкурса Netflix

Анализ текстов

Пример задачи: обнаружение заимствований (плагиата). Система Антиплагиат.

Постановки задач распознавания при обнаружении заимствований: различение плагиата и цитирования.

Ссылки:

1. www.antiplagiat.ru
2. Патент iParadigms
3. Интернет-математика отчёты по конкурсам Яндекс.

Темы рефератов

Рефераты подаются на кафедру ММП в бумажном виде и присылаются лектору в электронном виде для проверки в системе Антиплагиат.

1. Обзор методов классификации, применяемых для решения задачи предсказания ухода клиентов.
2. Оценивание вероятностей классов в логических алгоритмах классификации.
3. Обзор методов, применяемых для прогнозирования объёмов продаж.
4. Внешние факторы, учитываемые при прогнозировании цен и объемов потребления электроэнергии.
5. Обзор методов коллаборативной фильтрации, применяемых лучшими участниками конкурса Netflix.
6. Обзор методов, применяемых для поиска заимствований.
7. Обзор методов, применяемых для оценивания сходства (релевантности) текстов.