Нейросеть

Материал из MachineLearning.

Перейти к: навигация, поиск

Содержание

Нейросеть

Однослойная нейросеть

Модель МакКаллока–Питтса. Пусть X - пространство объектов; Y - множество допустимых ответов; y∗ : X → Y - целевая зависимость, известная только на объектах обучающей выборки  X_l = (x_i, y_i)^l_{n=1}, y_i = y^*(x_i). Требуется построить алгоритм a: X → Y , аппроксимирующий целевую зависимость y∗ на всём множестве X. Будем предполагать, что объекты описываются n числовыми признаками f_j : X -> R, j = 1,\ldots, n. Вектор (f_1(x), . . . , f_n(x))\ge R называется признаковым описанием объекта x.

Модель МакКаллока и Питтса

Алгоритм принимает на вход вектор x=(x^1,\dots,x^n). Для простоты полагаем все признаки бинарными. Каждому нейрону соответствует вектор весов w=(w_1,w_2,\ldots,w_n). вектор признаков скалярно перемножается с вектором весов. Если результат превышает 'порог активации', результат работы нейрона равен 1, иначе 0. Введем дополнительный константный признак x_0=-1

a(x)=\phi(\sum^{n}_{j=0} w_j x^j),где phi(z)=[z\ge 0].

Модель МакКалока-Питтса эквивалентна линейному пороговому классификатору.

Персептрон Розенблатта

Как и моделе МакКаллока-Питтса на вход подается вектор признаков x и мы имеем нейрон с вектором весов w. Идея обучения: Если a(x_i)=y_i, то вектор весов не изменяется. Если a(x_i)=0,  y_i=1, то вектор весов увеличивается, в случае наоборот - уменьшается. Так как пока рассматриваются бинарные признаки, то верна формула:

w:=w-\eta(a(x_i)-y_i)x_i

Многослойная нейросеть

Личные инструменты