Практикум на ЭВМ (317)/Autoencoder

Материал из MachineLearning.

Перейти к: навигация, поиск
Это черновик задания. Не сто́ит приступать к его выполнению до официального релиза.


Содержание

Цели

  1. Познакомиться с задачей сокращения размерности данных (сжатия с потерями).
  2. Понять, какие практические проблемы возникают при обучении искусственных нейронных сетей.
  3. Усвоить принципы глубинного обучения.
  4. Закрепить навыки манипуляции с матрицами.

Бэкграунд

  • когда нужны нейросети? (большие данные, нелинейная разделяющая поверхность)
  • нужно ли искать глобальный оптимум?
  • проблемы использования нейросетей: вычислительно трудная оптимизация (сейчас есть кластеры), проблемы с инициализацией весов и воспроизводимостью (глубинное обучение),
  • автокодировщик, идея feature learning.

Данные

MNIST:

Детали задания

  • использование кросс-энтропии при обучении (бонус — MSE)
  • регуляризация — L2 (weight decay) и gaussian noise

Мои результаты

  • MNIST, only 0, PCA-30: MSE=9.0
  • MNIST, only 01, PCA-30: MSE=7.3
  • MNIST, all-dig, PCA-30: MSE=14.2
  • MNIST, only 0, PCA-18: MSE=13.0
  • MNIST, only 1, PCA-18: MSE=3.7
  • MNIST, only 01, PCA-18: MSE=10.6
  • MNIST, all-dig, PCA-18: MSE=20.0
  • MNIST, only 0, autoenc-st0b5e10: MSE=50.0 (averages everything) // 5 batches, 10 epochs
  • MNIST, only 0, autoenc-stNorm(0,0.3)b5e1000: MSE=12.6 (continues optimizing)
  • MNIST, only 0, autoenc-stNorm(0,0.3)Tie-b5e400: MSE=16.0 // seems no difference from the previous case
  • MNIST, only 0, autoenc-stNorm(0,0.3[*2,4])Tie-b5e400: MSE=23.4
Личные инструменты