Материал из MachineLearning.

Содержание 1 Задания по курсу 2 Программа курса 2.1 Лекция 1А. Научный метод и основы машинного обучения 2.1.1 Домашинная история машинного обучения 2.1.2 Базовые определения и обозначения 2.1.3 Примеры прикладных задач 2.2 Лекция 1Б. Эпистемология машинного обучения 2.2.1 Метод научного познания 2.2.2 Математические технологии автоматизации научного метода 2.2.3 Место и роль AI/ML в современном мире 2.3 Лекция 2А. Градиентная оптимизация и линейные модели 2.3.1 Градиентные методы оптимизации 2.3.2 Основные типы задач обучения с учителем 2.3.3 Линейные модели 2.4 Лекция 2Б. Представление знаний 2.4.1 Что такое знания 2.4.2 Интеллект-карты и радиантное мышление 2.4.3 Глобальная карта знаний человечества 2.5 Лекция 3А. Нейронные сети 2.5.1 Многослойные нейронные сети 2.5.2 Метод обратного распространения ошибок 2.5.3 Глубокие нейронные сети 2.6 Лекция 3Б. Искусственный интеллект и пятая парадигма науки 2.6.1 Эволюция систем передачи знаний и технологические уклады 2.6.2 Четыре парадигмы науки 2.6.3 Возможности и риски искусственного интеллекта 2.7 Лекция 4А. Эволюция идей машинного обучения 2.7.1 Вектор → вектор → скаляр 2.7.2 Структура → вектор → скаляр 2.7.3 Структура → вектор → структура 2.8 Лекция 4Б. Конструирование образов будущего 2.8.1 Задача обучения персонального помощника 2.8.2 Сценарий развития технологии персональных помощников 2.8.3 Сценарный анализ 2.9 Лекция 5А. Обучаемая векторизация данных 2.9.1 Матричные разложения 2.9.2 Векторные представления текстов и графов 2.9.3 Трансформеры и большие языковые модели 2.10 Лекция 5Б. Этика искусственного интеллекта 2.10.1 Возможности и угрозы искусственного интеллекта 2.10.2 Кодексы этики ИИ 2.10.3 «Великолепное человечество» 2.11 Лекция 6А. Методология машинного обучения 2.11.1 Методология решения практических задач 2.11.2 Типология задач и моделей машинного обучения 2.11.3 Оценивание качества и выбор моделей 2.12 Лекция 6Б. Цивилизационное мировоззрение 2.12.1 Цивилизационная система ценностей 2.12.2 Желаемые образы будущего как источник постановок задач ИИ 2.12.3 ЦМ в системе философской и общественно-политической мысли 2.13 Лекция 7А. Конструирование моделей: шесть научных школ 2.13.1 Символизм и эволюционизм 2.13.2 Аналогизм и байесионизм 2.13.3 Коннекционизм и композиционизм 2.14 Лекция 8А. Динамические задачи машинного обучения 2.14.1 Инкрементное обучение 2.14.2 Активное обучение 2.14.3 Обучение с подкреплением 3 См. также 4 Литература 5 Задания и отчёты

Курс Философия. Введение в ИИ состоит из двух параллельных веток, которые сомкнутся ближе к концу курса.

Ветка А — математическая, введение в машинное обучение. Цель — изучить основные задачи, подходы, модели и методы, чтобы разобраться, каким образом Искусственный интеллект прошёл путь от Дартмутского семинара 1956 года до больших языковых моделей и интеллектуальных агентов сегодняшнего дня, какие идеи оказались в итоге ключевыми, что ИИ представляет из себя внутри, и почему это работает.

Ветка Б — гуманитарная, на стыке философии и практической работы с большими языковыми моделями. Цель — научиться задавать вопросы, видеть проблемы и искать решения, связанные с влиянием ИИ на человека и общество. Например, ответить самому себе на вопрос, чем заниматься и чем не заниматься в области ИИ — создавать возможности или устранять угрозы? Как превращать кодексы этики ИИ и категорический императив Канта в эффективные промпты, приносящие пользу людям. Как делать визионерские прогнозы про общий искусственный интеллект (AGI, Artificial General Intelligence), возможно ли сделать его человечным, в каком смысле, и что для этого можно делать уже сегодня.

Курс вводный. В качестве заданий НЕ предлагается доказывать теоремы, разрабатывать вычислительные методы, решать контесты или задачи на реальных датасетах. Этого будет достаточно в других курсах. Мы будем писать статьи про искусственный интеллект и машинное обучение на вики MachineLearning.ru, с помощью искусственного интеллекта.

От студентов требуются знания курсов линейной алгебры, математического анализа, теории вероятностей математической статистики, методов оптимизации.

Задания по курсу

Задание 1. Философия. Введение в ИИ (курс лекций, К.В.Воронцов)/Задание 1

Задание 2. Философия. Введение в ИИ (курс лекций, К.В.Воронцов)/Задание 2.

Программа курса

Лекция 1А. Научный метод и основы машинного обучения

Домашинная история машинного обучения

• принцип эмпирической индукции Фрэнсиса Бэкона (1620)
• восстановление зависимостей по эмпирическим данным — основная задача естествознания
• метод наименьших квадратов Гаусса—Лежандра (1795); построение эллипса по точкам; линейные и нелинейные параметрические модели
• принцип регрессии (и не только к посредственности) Фрэнсиса Гальтона (1886)
• принцип классификации (и не только цветков ириса) Рональда Фишера (1936)

Базовые определения и обозначения

• постановка задачи: дано—найти—критерий (ДНК задачи)
• объекты и признаки; преобразование признаков и генерация признаков; типы признаков и типы задач обучения с учителем
• модель, функция потерь, минимизация эмпирического риска
• обучение — это оптимизация параметров модели по выборке данных
• переобучение; эксперимент с полиномиальной регрессией
• эмпирическое оценивание обобщающей способности

Примеры прикладных задач

• задачи на табличных данных: классификация, регрессия, обучение ранжированию
• задачи со сложно структурированным данными, понятие генеративных моделей

Лекция 1Б. Эпистемология машинного обучения

Эпистемология (от греч. ἐπιστήμη — знание и λόγος — учение) — философско-методологическая дисциплина, которая фокусируется на исследовании знания как такового, его строения, структуры, функционирования и развития.

Метод научного познания

• принцип верифицируемости (философ Ф.Бэкон)
• принцип фальсифицируемости (философ К.Поппер)
• принцип погрешимости, фаллибилизма (философ и математик Ч.Пирс)
• принцип соответствия (физик Н.Бор)
• принцип минимальной достаточности (францисканский монах У.Оккам)
• принцип воспроизводимости (химик Р.Бойль)
• принцип научной честности (физик Р.Фейнман)
• машинное обучение как автоматизация метода научного познания

Математические технологии автоматизации научного метода

• формализация принципов научного метода
• проверка статистических гипотез
• восстановление зависимостей по эмпирическим данным

Место и роль AI/ML в современном мире

• отчёты правительства США о роли AI в автоматизации будущего (2016)
• интеллект-карта — тексто-графическое представление области знаний AI/ML
• взаимоотношение областей AI и ML
• определения искусственного интеллекта
• вики-проект MachineLearning.ru

Лекция 2А. Градиентная оптимизация и линейные модели

Градиентные методы оптимизации

• оптимизационная постановка задачи обучения
• метод стохастического градиента
• ускорение сходимости: метод инерции Поляка, ускоренный градиент Нестерова, диагональный метод Левенберга-Марквардта, метод наискорейшего спуска
• другие эвристики: инициализация, перетасовка, мультистарт

Основные типы задач обучения с учителем

• задача регрессии: функции потерь, робастная регрессия
• задача классификации: понятие отступа, функции потерь, многоклассовая классификация
• задача ранжирования: понятие парного отступа, парная функция потерь

Линейные модели

• линейный классификатор, логистическая регрессия
• проблема мультиколлинеарности
• регуляризация L2, L1, L0, Lp; отбор признаков в линейных моделях
• негладкость регуляризатора и негладкость функции потерь
• метод опорных векторов (SVM), ядра, SVM-регрессия

Лекция 2Б. Представление знаний

Что такое знания

• концепция DIKW (данные — информация — знания — мудрость)
• накопление, представление и передача научного знания; связь с научным методом
• формы представления знаний: человеко-ориентированные и машинно-ориентированные
• представление знаний для машины: фреймы, онтологии, продукции, экспертные системы
• представление знаний для человека: гипертекст, вики, интеллект-карты

Интеллект-карты и радиантное мышление

• принцип мышления «от главного к второстепенному»
• иерархическое (радиантное) структурирование знаний и идей
• структурированность как фактор доверия между людьми, между человеком и ИИ
• 16 принципов построения интеллект-карт
• интеллект-карты как инструмент индивидуального и коллективного мышления
• концепции «коллективного разума»

Глобальная карта знаний человечества

• 6 принципов построения карт знаний
• глобальное семантическое ядро: понятийное, естественнонаучное, цивилизационное
• задачи автоматизации построения карт, иерархической суммаризации текстов
• место и роль генеративного ИИ в создании глобальной карты знаний

Лекция 3А. Нейронные сети

Многослойные нейронные сети

• нейрон как линейный классификатор, модель МакКаллока—Питтса (1943)
• первый нейрокомпьютер Mark-1 Фрэнка Розенблатта (1960)
• многослойные нейронные сети
• двух слоёв достаточно!(?) Универсальная теорема аппроксимации
• сеть Колмогорова-Арнольда

Метод обратного распространения ошибок

• постановка задачи оптимизации
• быстрое дифференцирование суперпозиции функций
• метод стохастического градиента
• вывод и псевдокод BackProp
• эвристики для ускорения сходимости: Dropout, ResNet, BatchNorm
• проблема взрыва градиентов

Глубокие нейронные сети

• зимы искусственного интеллекта
• преимущества и обоснования глубоких сетей
• обучаемая векторизация данных

Лекция 3Б. Искусственный интеллект и пятая парадигма науки

Эволюция систем передачи знаний и технологические уклады

• эволюция систем передачи знаний (интеллект-карта)
• технологические уклады, циклы Кондратьева и технологические революции
• закон Мура и технологическая сингулярность по Курцвейлу

Четыре парадигмы науки

• Парадигмы науки (Томас Кун, 1958)
• первая — феноменологическая: наблюдения, эксперименты, измерения, данные
• вторая — теоретическая: объяснения, теории, законы
• третья — вычислительная: компьютерное моделирование, физичные модели
• четвёртая — информационная: извлечение знаний из больших данных, нефизичные модели (Джим Грэй, Microsoft, 2007)

Возможности и риски искусственного интеллекта

• пятая парадигма науки — машинная: автоматизация полного цикла исследований
• AI4Research — автоматизация анализа научной литературы
• AI4Science — автоматизация научных исследований
• архив науки становится объектом непрерывной обработки информации
• человек становится архитектором, отвечая за целеполагание
• ИИ становится генератором гипотез и рутинным исполнителем
• риски генеративного ИИ: галлюцинации у модели, когнитивные искажения у пользователя

Лекция 4А. Эволюция идей машинного обучения

Вектор → вектор → скаляр

• табличные данные — задачи с векторными признаковыми описаниями объектов
• преобразование признаков: ослабление и усиление шкалы измерений, нормализация, стандартизация
• генерация признаков, примеры прикладных задач

Структура → вектор → скаляр

• свёрточные сети для классификации изображений — прорыв векторизации
• конкурс ImageNet, сеть AlexNet — прорыв больших данных
• сеть ResNet — прорыв глубины
• обучаемая векторизация сложно структурированных данных, примеры прикладных задач
• перенос обучения, самостоятельное обучение — прорыв предобучения

Структура → вектор → структура

• автокодировщики, вариационный автокодировщик
• многозадачное обучение
• фундаментальная модель (foundation model)
• генеративная состязательная сеть

Лекция 4Б. Конструирование образов будущего

Задача обучения персонального помощника

• данные — поминутная записная книжка, текстовый поток жизни человека
• найти — персонализированную большую языковую модель, личностный код человека
• критерии — способность качественно замещать человека в профессиональной деятельности, коммуникации

Сценарий развития технологии персональных помощников

• переход от персонального помощника к аватару человека
• концепция цифрового послесмертия
• очеловеченный искусственный интеллект — возможная новая разновидность ИИ
• проблемы этики человеко-машинной цивилизации

Сценарный анализ

• качественный сценарный анализ, его отличие от количественного
• цель — выделить наиболее вероятные этапы будущего развития ИИ-технологии
• литературное творчество как форма качественного сценарного анализа
• аватаристика — проект литературной вселенной фантастики ближнего прицела
• понятие фантастической гипотезы, принцип Айзека Азимова

Лекция 5А. Обучаемая векторизация данных

Матричные разложения

• метод главных компонент
• матричные разложения LFM, ALS, NNMF, PLSA
• вероятностное тематическое моделирование
• рекомендательные системы

Векторные представления текстов и графов

• многомерное шкалирование
• графовое разложение
• обобщённый автокодировщик на графах GraphEDM
• модели дистрибутивной семантики, word2vec, FastText

Трансформеры и большие языковые модели

• модель внимания
• трансформер для машинного перевода
• трансформер-кодировщик BERT, критерии обучения
• генеративный предобученный трансформер GPT
• эмерджентность больших языковых моделей

Лекция 5Б. Этика искусственного интеллекта

Возможности и угрозы искусственного интеллекта

• общий искусственный интеллект, искусственный супер-интеллект, Публикация:DeepMind 2026 From AGI to ASI
• риски искусственного интеллекта
• позитивные и негативные сценарии развития ИИ

Кодексы этики ИИ

• российский кодекс этики в сфере искусственного интеллекта
• кодексы этики ИИ в других странах

«Великолепное человечество»

• Magnifica Humanitas — энциклика папы римского Льва XIV о сохранении человеческой личности в эпоху искусственного интеллекта
• двойственная природа технологий
• фундаментальная ценность человека, категорический императив Канта
• социальная доктрина: принципы достоинства личности, общего блага, всеобщего предназначения благ, справедливости, субсидиарности, солидарности
• проекция социальной доктрины на развитие технологий ИИ
• от анализа рисков к принципам этики ИИ и определению критериев
• задача «построения цивилизации любви» и её проекция на развитие технологий ИИ

Лекция 6А. Методология машинного обучения

Методология решения практических задач

• межотраслевой стандарт CRISP-DM
• свойства реальных данных: сырые, неполные, неточные, неудобные, разнородные, «грязные»
• предварительная обработка данных: обработка пропущенных значений, детекция аномалий, детекция выбросов

Типология задач и моделей машинного обучения

• обучение с учителем: регрессия, классификация, ранжирование
• обучение без учителя: восстановление плотности распределения, разделение смеси распределений, кластеризация, векторизация, понижение размерности
• совместное обучение моделей: частичное обучение, суррогатное обучение и дистилляция, обучение с привилегированной информацией
• шесть школ машинного обучения по Педро Домингосу: символизм, коннекционизм, эволюционизм, байесионизм, аналогизм, композиционизм
• нужно ли искать «мастер-алгоритм»?

Оценивание качества и выбор моделей

• оценивание качества классификации: ROC-кривая, AUROC, точность, полнота и F-мера
• выбор модели, обобщающая способность, внешний критерий, скользящий контроль
• анализ ошибок, эмпирическое распределение потерь
• AutoML — автоматический выбор моделей и гиперпараметров
• мета-обучение (meta-learning, learning to learn)
• A/B тестирование

Лекция 6Б. Цивилизационное мировоззрение

Цивилизационная система ценностей

• понятие цивилизации
• понятие ценности
• экзистенциально опасные технологии
• технологическая сингулярность по Курцвейлу
• биологическая сингулярность уже наступила
• отставание нравственного прогресса от технологического
• закон сохранения цивилизации
• цивилизационное мышление
• пирамида потребностей
• задача «стать человеком цивилизованным»

Желаемые образы будущего как источник постановок задач ИИ

• всеобщее осознание экзистенциальных угроз
• единая система знаний
• формирование единомыслия и коллективный интеллект
• моделирование социально-экономического развития
• изменение качества элит, концептуальная власть
• механизмы общественного консенсуса
• человеко-машинная цивилизация

ЦМ в системе философской и общественно-политической мысли

• глобальный гуманизм / космополитизм
• экосоциализм и устойчивое развитие
• технократия и научный рационализм
• прогрессивизм и этический альтруизм
• социал-демократия / социальный либерализм
• утопический социализм и этический утилитаризм
• постматериализм и антиконсьюмеризм
• концепция «ноосферы» Вернадского
• идеологии-антиподы: неолиберализм, марксизм, консервативный традиционализм, национализм

Лекция 7А. Конструирование моделей: шесть научных школ

Символизм и эволюционизм

• комбинаторная оптимизация для поиска оптимального подмножества в конечном множестве
• логические методы классификации, понятие логической закономерности, индукция правил, решающее дерево
• методы отбора признаков
• метод группового учёта аргументов и эволюционный алгоритм
• символьная регрессия

Аналогизм и байесионизм

• метрические методы классификации, регрессии, восстановления плотности, кластеризации
• вероятностно-статистические методы, оптимальный байесовский классификатор, наивный байесовский классификатор
• байесовское обучение и байесовский вывод

Коннекционизм и композиционизм

• искусственная нейронная сеть
• композиционные методы, бустинг, бэггинг
• смесь экспертов

Лекция 8А. Динамические задачи машинного обучения

Инкрементное обучение

• алгоритм Passive-Aggressive
• прогнозирование временных рядов, экспоненциальное скользящее среднее, адаптивные методы краткосрочного прогнозирования
• адаптивная селекция моделей, адаптивная композиция моделей
• алгоритм Hedge

Активное обучение

• активное обучение, семплирование по неуверенности
• краудсорсинг

Обучение с подкреплением

• обучение с подкреплением, однорукий бандит, UCB, компромисс обучение-применение
• среда с состояниями, Q-обучение
• параметризация стратегии и policy gradient
• модель актёр-критик

См. также

• Введение в машинное обучение (курс лекций, К.В.Воронцов)
• Машинное обучение (курс лекций, К.В.Воронцов)

Литература

Учебники

1. Онлайн-учебник по машинному обучению от ШАД.
2. Николенко С. Машинное обучение: основы, 2025. — 608 c.
3. Николенко С., Кадурин А., Архангельская Е. Глубокое обучение: основы, 2024. — 480 c.
4. Мэрфи К.П. Вероятностное машинное обучение. Введение, 2022. – 940 с.
5. Мэрфи К.П. Вероятностное машинное обучение. Дополнительные темы: основания, вывод, 2024. – 810 с.
6. Дайзенрот М.П., Фейзал А.А., Чен Сунь Он. Математика в машинном обучении, 2024. – 512 с.
7. Уилке К. Основы визуализации данных: пособие по эффективной и убедительной подаче информации, 2024. – 352 с.
8. Шай Шалев-Шварц, Шай Бен-Давид. Идеи машинного обучения. От теории к алгоритмам, 2019. — 436 c.
9. Мерков А.Б. Распознавание образов. Введение в методы статистического обучения. 2011. 256 с.
10. Мерков А.Б. Распознавание образов. Построение и обучение вероятностных моделей. 2014. 238 с.
11. Коэльо Л.П., Ричарт В. Построение систем машинного обучения на языке Python. 2016. 302 с.
12. Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning. Springer, 2014. — 739 p.
13. Bishop C.M. Pattern Recognition and Machine Learning. — Springer, 2006. — 738 p.

Науч-поп

1. Марков С. Охота на электроовец. Большая книга искусственного интеллекта. Том 1. 2024. — 568 с.
2. Марков С. Охота на электроовец. Большая книга искусственного интеллекта. Том 2. 2024. — 784 с.
3. Домингос П. Верховный алгоритм. Как машинное обучение изменит наш мир, 2016. — 336 c.

Задания и отчёты

Философия. Введение в ИИ (курс лекций, К.В.Воронцов)/Задание 1	Философия. Введение в ИИ (курс лекций, К.В.Воронцов)/Задание 1/Выполнение	Философия. Введение в ИИ (курс лекций, К.В.Воронцов)/Задание 2
Философия. Введение в ИИ (курс лекций, К.В.Воронцов)/Задание 2/Выполнение