Численные методы обучения по прецедентам (практика, В.В. Стрижов)/Группа 674, осень 2011

Материал из MachineLearning.

Основная статья: Прикладной регрессионный анализ (курс лекций, B.В. Стрижов)

Основная задача этого цикла работ — исследовать и проиллюстрировать недостатки и особенности известных алгоритмов машинного обучения. Практика состоит из трех задач-эссе с отчетом, включающим постановку задачи, описание алгоритма и вычислительный эксперимент-иллюстрацию. Перед выполнением заданий рекомендуются прочитать статью «Численные методы обучения по прецедентам», а также все, что там по ссылкам.

Идея практики: проект (вычислительный эксперимент) должен занимать ровно один день и может быть сделан при этом от начала и до конца.

Отчет состоит из следующих разделов.

1. Аннотация:
   • до 600 символов,
2. Постановка задачи,
3. Описание решения:
   • настолько подробно, что по математическому описанию можно было бы восстановить код,
4. Вычислительный эксперимент:
   • описание эксперимента,
   • иллюстрации с комментариями.

Общий объем отчета — 2 страницы в стиле amsmath. Отчет выполняется в TeX и транслируется в Machinelearning.

Статья, прежде всего, предназначена для студентов гр. 674 ФУПМ МФТИ. Она будет наполняться до 7.9.2011.

Задачи

Доклады

• 28 сентября и 7 октября
• 26 октября и 2 ноября
• 23 и 30 ноября

Список задач, черновик

1. Аппроксимация функции ошибки функцией многомерного нормального распределения (пример) (примечание три варианта: скаляр, диагональ, общий вид - симм., неотр. опр.).
2. Устойчивость решений оптимизационного алгоритма при аппроксимации функции ошибки (пример) (примечание идет разделом в предыдущую статью)
3. Аппроксимация функции ошибки с уточнением параметров модели (пример)
4. Нормирование интеграла аппроксимированной функции ошибки (пример)
5. Использование метода Белсли для прореживания признаков линейных моделей (пример)
6. Использование метода Белсли для прореживания признаков обобщенно-линейных моделей (пример)
7. Использование метода Белсли для прореживания признаков нелинейных моделей (пример)
8. Исследование устойчивости оценок ковариационных матриц параметров к случайным признакам (пример)
9. Исследование устойчивости оценок ковариационных матриц параметров к мультиколлинеарным признакам (пример)
10. Исследование устойчивости оценок ковариационных матриц параметров и возмущению выборки при использовании существенно-нелинейных моделей (пример) (можно последние три объединить в одну статью)
11. Оценка ковариационных матриц параметров моделей сэмплирующими методами (пример) (примечание - отозвать эту задачу)
12. Использование методов сэмплирования при оценке правдоподобия регрессионных моделей (пример)
13. Сравнение методов сэмплирования при при оценке правдоподобия регрессионных моделей (пример)
14. Оценка параметров смесей линейных моделей (пример)
15. Оценка параметров смесей обобщенно-линейных моделей (пример)
16. Оценка параметров смесей экспертов (пример)
17. Статистический отчет при создании моделей линейной регрессии (пример)
18. Статистический отчет при создании моделей логистической регрессии (пример)
19. Статистический отчет при создании обобщенно-линейных моделей (пример)
20. Использование функций дискретного аргумента в многомерной регрессии (пример) (примечание: два варианта, с аппроксимацией функции дискретного аргумента и без).
21. Использование метода доверительных регионов при аппроксимации функции ошибки (пример)
22. Модификация метода Левенберга-Макрвардта для оптимизации функции ошибки общего вида (пример)

и еще 15 задач ожидаются.

Оформление

Функция ошибки

Пример оформления работы -- см. ниже по ссылкам в таблице (первый и четвертый столбцы), там можно взять все заготовки.

Дополнение по оформлению графиков:

• шрифт должен быть больше,
• толщина линий равна двум,
• заголовки осей с большой буквы,
• заголовок графика отсутствует (чтобы не дублировать подпись в статье);
• рекомендуется сразу сохранять EPS и PNG (для TeX и для Wiki).

h = figure; hold('on');
plot(xi,y,'r-', 'Linewidth', 2); 
plot(xi,y,'b.', 'MarkerSize', 12);
axis('tight');
xlabel('Time, $\xi$', 'FontSize', 24, 'FontName', 'Times', 'Interpreter','latex');
ylabel('Value, $y$', 'FontSize', 24, 'FontName', 'Times', 'Interpreter','latex');
set(gca, 'FontSize', 24, 'FontName', 'Times')
saveas(h,'ModelOne.eps', 'psc2');
saveas(h,'ModelOne.png', 'png');

MLAlgorithms репозиторий студентов каф. "Интеллектуальные системы" ФУПМ МФТИ сейчас включает более 110 проектов. Тем, кто хочет работать только со своей папкой нужно попросить администратора создать папку Surname2011Title, сделать ее CheckOut с адресом https://mlalgorithms.svn.sourceforge.net/svnroot/mlalgorithms/Surname2011Title.