Обсуждение:Понижение размерности

Материал из MachineLearning.

Использованный промпт:

Напиши энциклопедическую статью для вики-ресурса по теме «Понижение размерности» (Dimensionality reduction). Стиль — академичный, строгий, без воды. Включи блоки: 1. Введение: формальная цель (борьба с проклятием размерности, снижение влияния мультиколлинеарности). 2. Формальная постановка: извлечение признаков (feature extraction) vs отбор. 3. Линейные методы: PCA (через выборочную ковариационную матрицу строго центрированных данных X_c, связь с SVD и ошибку реконструкции), LDA (с указанием предела C-1 измерений), Случайные проекции (лемма Джонсона — Линденштрауса с асимптотической оценкой размерности d). 4. Нелинейные методы: t-SNE (распределение Стьюдента, KL-дивергенция, симметризация гауссовых ядер, предупреждение о локальности метрик), UMAP и Автоэнкодеры (связь линейного автоэнкодера с одним скрытым слоем с подпространством PCA). 5. Выбор целевой размерности: критерии отбора для линейных, визуализационных и прикладных задач. 6. Ограничения: потеря интерпретируемости, вычислительная сложность спектральных методов. Вся математика должна быть строго в тегах , выключные формулы — через двойное двоеточие ::. Добавь классическую литературу (Pearson, Fisher, Johnson & Lindenstrauss, Jolliffe, Hinton, van der Maaten) через шаблоны.

Проверка и вычитка:

В ходе редактуры итогового текста были проверены и скорректированы следующие аспекты:

• Устранение категоричности суждений: Смягчены утверждения о «неспособности» линейных методов находить структуру (заменено на «могут быть недостаточны»). Утверждения о «значительном превосходстве» автоэнкодеров над PCA и абсолютном преимуществе UMAP над t-SNE приведены к научно корректным, сдержанным формулировкам, опирающимся на выводы оригинальных статей.
• Математическая строгость: Возвращена аналитическая запись KL-дивергенции для t-SNE и добавлена асимптотическая оценка размерности из леммы Джонсона — Линденштрауса, а её формулировка строго разделена на утверждение существования вложения и его вероятностную реализацию. На шаге PCA зафиксировано строгое математическое использование центрированной матрицы данных при построении ковариационной матрицы, а также уточнена асимптотика полного SVD. Указано ограничение размерности проекции LDA ().
• Теоретическая полнота: Прояснена связь вероятностей в исходном пространстве t-SNE (симметризация гауссовых ядер с индивидуальными масштабами). Добавлена академическая деталь о том, что линейный автоэнкодер с одним скрытым слоем концептуально восстанавливает то же подпространство, что и классический PCA.
• Практические аспекты: Добавлен отдельный блок, посвященный эвристикам выбора целевой размерности в зависимости от класса решаемой задачи (доля объяснённой дисперсии, фиксированная размерность для визуализации, валидация по качеству down-stream модели). В t-SNE добавлено обязательное предупреждение об осторожной интерпретации расстояний между удаленными кластерами.

Kirill Bazhutov 20:00, 7 июля 2026 (MSD)