Модель МакКаллока-Питтса

Материал из MachineLearning.

(Различия между версиями)

Текущая версия

Статья написана с использованием LLM Gemini 3.1 Pro и проверена участником Osman Osmanov 14:42, 16 июля 2026 (MSD)

Промпт приводится полностью в Обсуждение:Модель МакКаллока-Питтса Однако в статье нет изображений из-за существующего сбоя в системе.

Содержание

1 Нейрон Мак-Каллока—Питтса
2 Содержание статьи
- 2.1 Принцип "всё или ничего"
- 2.2 Термины
3 Архитектура
- 3.1 Оригинальная формулировка
- 3.2 Упрощённая форма
4 Влияние на архитектуру фон Неймана
5 Критика
6 См. также
7 Ссылки

Нейрон Мак-Каллока—Питтса

Нейрон Мак-Каллока—Питтса (англ. McCulloch-Pitts neuron) — это исторически первая математическая модель искусственного нейрона, предложенная нейрофизиологом Уорреном Мак-Каллоком и математиком Уолтером Питтсом в статье A Logical Calculus of the Ideas Immanent in Nervous Activity^[1] в 1943 году. Стремясь имитировать задержки, обусловленные временем на передачу импульса от нейрона к нейрону, в модели Мак-Каллока и Питтса все процессы рассматриваются в контексте дискретных моментов времени, где каждая передача импульса занимает один такт.

Модель была мотивирована стремлением доказать, что биологическая нервная система и процессы мышления могут быть описаны в терминах математической логики. Оригинальная статья написана с использованием логического синтаксиса языка философа и логика Рудольфа Карнапа, а также опирается на строгую логическую систему математиков Альфреда Норта Уайтхеда и Бертрана Рассела из их фундаментального труда Principia Mathematica. Таким образом, нейрон Мак-Каллока—Питтса является прямой формализацией биологического нейрона на строгом языке пропозициональной логики.

Содержание статьи

Идея Мак-Каллока и Питтса была представлена в статье A Logical Calculus of the Ideas Immanent in Nervous Activity^[1] (русский перевод: Логическое исчисление идей, имманентных нервной деятельности)^[1] . Статья начинается с описания работы биологического нейрона человека.

Головной мозг человека является главным образом нейронной сетью. Утверждается, что нейроны – клетки (функциональные единицы) мозга – связываются между собой, передавая электрические импульсы. Нейроны передают импульсы через специальные отростки – аксоны. Между двумя нейронами располагается синапс – место контакта двух связанных нейронов. Он отвечает за преобразование (торможение или усиление) электрического импульса. В зависимости от типа преобразования импульса выделяют тормозящие синапсы и возбуждающие синапсы.

Авторы статьи выделили пять допущений для формализации устройства головного мозга (сохранены оригинальные формулировки перевода на русский язык^[1]):

Активность нейрона удовлетворяет принципу "всё или ничего".
Возбуждению нейрона в какой-либо момент времени должен предшествовать латентный период накопления возбуждений определенного фиксированного числа синапсов. Это число не зависит от предыдущей активности и от расположения синапсов на нейроне.
Единственным запаздыванием в нервной системе, имеющим значение, является синаптическая задержка (время, необходимое для передачи импульса).
Активность какого-либо тормозящего синапса абсолютно исключает возбуждение данного нейрона в рассматриваемый момент времени.
С течением времени структура сети не изменяется.

Заметим, что часто фигурируют формулировки "в момент времени", "задержка". Все рассматриваемые предикаты в статье зависят от некоторого момента времени. Таким образом, $Pr_1(t)$ — некоторое утверждение, зависящее от времени. В качестве примера может выступить утверждение «нейрон 1 активен в момент времени $t$ ».

Модель, построенная на времени, позволяет Мак-Каллоку и Питтсу рассматривать время как расстояние между нейронами.

Принцип "всё или ничего"

Мак-Каллок и Питтс выделили два типа связей между нейронами – тормозящие и возбуждающие. Если нейрон связан с другим нейроном тормозящей связью и по этой тормозящей связи второй нейрон подал импульс первому, то первый нейрон не подаёт импульса. Если же по тормозящим связям импульса нет, то рассматриваются возбуждающие связи. Если совокупность нейронов, передающих импульс по возбуждающим связям создаст достаточный импульс, превышающий некоторый порог, то нейрон подаст импульс. Такой принцип имеет название "всё или ничего".

Термины

В начале статьи вводятся следующие термины для формального описания модели нейрона.

Оператор временного сдвига

В отличие от современных моделей нейронных сетей, где сигнал проходит через слои мгновенно, в модели Мак-Каллока—Питтса, как уже говорилось ранее, каждая передача импульса занимает один такт. Авторы вводят функтор $S$ , устроенный так, что если есть логическое правило $Pr(t)$ , описывающее состояние сети, то применение к нему оператора $S$ принудительно сдвигает его временной аргумент на один шаг назад:

$S(Pr(t)) \equiv Pr(t-1).$

В оригинальной статье^[1] приведена следующая формула:

$S(P)(t) \equiv P(Kx)(t = x'),$

где $x'$ – следующий за $x$ такт (в нотации Пеано), а $(Kx)(t = x')$ – обозначение наименьшего значения $x$ такого, что $t = x'$ .

Также применяется оператор $S^n$ , что является $n$ -кратной композицией $S$ . Например, $S^2(P) \equiv S(S(P))$ .

Действие нейрона

Действием $N_i(t)$ нейрона $c_i$ называется утверждение « $c_i$ возбуждён в момент времени $t$ ».

В статье^[1] часто применяется такая нотация, поскольку она характеризует значение нейрона.

Рецепторы

Рецепторы — это нейроны, у которых нет входящих синапсов от других клеток внутри системы. Их состояние в каждый момент времени определяется исключительно внешними стимулами из окружающей среды. В современных архитектурах это тождественно вектору признаков на входном слое.

Вероятно, получили своё название от биологических рецепторов, которые отдают сигнал головному мозгу при появлении какого-то стимула и не получают никаких сигналов от других органов; только от внешней среды.

Решение сети

Решение сети — это итоговое логическое уравнение (пропозициональная формула), которое полностью описывает условия, при которых главный выходной нейрон перейдет в состояние 1 в текущий момент времени.

Главное требование к решению сети заключается в том, что оно должно зависеть исключительно от истории состояний рецепторов. Получить решение сети — означает свернуть всю архитектуру сети в одну формулу.

Проводя аналогию с современными персептронами, можно утверждать, что в персептронах выход некоторого нейрона из выходного слоя, очевидно, зависит от входа нейронной сети. Поскольку модель Мак-Каллока и Питтса построена на времени, нам необходимо знать значения рецепторов в каждый момент времени до достижения выхода, для того чтобы получить решение сети.

Циклические сети

Сеть называется циклической, если в ней можно выделить петлю – цепочку нейронов, каждый член которой имеет аксоны на следующем по порядку нейроне и начало которой совпадает с концом. Петля является аналогом цикла в теории графов, если построить сеть в виде графа.

Стоит заметить, что в современных нейронных сетях никаких петель нет. Мак-Каллок и Питтс строили более общую модель, в которой нейроны могли соединяться произвольным образом.

Пусть существует минимальный набор нейронов такой, что если каждый нейрон из этого набора удалить из сети (вместе со связями с другими нейронами), то сеть останется без петель. Тогда количество нейронов в таком минимальном наборе называется порядком сети. Порядок сети характеризует её сложность. Если порядок сети положителен, то в этой сети есть хотя бы одна петля. Если же порядок равен 0, то в сети нет петель.

Современные нейронные сети прямого распространения (FFNN) являются частным случаем сети порядка 0, а рекуррентные нейронные сети (RNN) являются частным случаем сети положительного порядка.

Временное пропозициональное выражение

Поскольку Мак-Каллок и Питтс оперируют временными утверждениями (функциями), т.е. зависящими от времени, следует более формало определить эти утверждения как временные пропозициональные выражения (ВПВ).

ВПВ определяются рекурсивно:

$p(z_1)$ есть ВПВ, где $p$ – предикат.
Если $S_1$ и $S_2$ – ВПВ с общей временной шкалой, то каждое из выражений $S(S_1)$ (применение функтора S), $S_1 \vee S_2$ ( $S_1$ ИЛИ $S_2$ ), $S_1 \wedge S_2$ ( $S_1$ И $S_2$ ), $S_1 \wedge \neg S_2$ ( $S_1$ И (НЕ $S_2$ )) – тоже ВПВ.
Никакое другое выражение не является ВПВ.

Реализуемость

Вводится два понятия реализуемости некоторого утверждения: в узком смысле и общий случай – в широком (расширенном – дословный перевод с оригинала) смысле. Стоит рассматривать концепцию утверждения как бинарную функцию.

Реализуемость утверждения в узком смысле — это идеализированная математическая ситуация, когда значение выходного нейрона в текущий момент $z_1$ зависит от значений рецепторов в этот же самый момент $z_1$ . В реальности (из-за задержки синапсов в 1 такт) в узком смысле можно реализовать только тривиальные сети, где выход "припаян" к рецепторам напрямую, без скрытых слоев.
Реализуемость утверждения в широком (расширенном) смысле — это вычисление с задержкой во времени. Поведение называется реализуемым в широком смысле, если сеть выдает ответ спустя $n$ тактов. Иначе говоря, как это приводится в оригинале, утверждение $P$ реализуемо в общем смысле, если существует $n$ такой, что утверждение $S^n(P)$ реализуемо в узком смысле.

Понятие реализуемости позволяет формализовать, возможна ли реализация какого-то утверждения (например, построения функции по таблице истинности) нейронной сетью такой, что за некоторое количество тактов вычисляет значение функции по входным значениям.

В этой статье Мак-Каллок и Питтс доказали, что любое логическое утверждение является реализуемым нейронной сетью порядка 0 (то есть, не содержащая петель).

Теорема 2.

Каждое временное пропозициональное выражение (ВПВ) реализуемо сетью порядка 0.

Архитектура

Одним из центральных результатов статьи^[1] является Теорема 1:

Теорема 1.

Каждая сеть порядка 0 может быть решена в терминах временных пропозициональных выражений

Математически это выражается через конъюнкцию и дизъюнкцию предшествующих состояний. Нейрон $i$ с порогом $\theta$ активируется тогда и только тогда, когда в предыдущий момент нет ни одного активного тормозящего синапса, и количество активных возбуждающих синапсов больше или равно порогу.

Оригинальная формулировка

В оригинальной нотации статьи принцип "всё или ничего" для одного изолированного нейрона записывается в виде следующего логико-темпорального уравнения:

$N_i(z_1) \equiv S \left\{ \prod_{m=1}^{q} \sim N_{j_m}(z_1) \cdot \sum_{\alpha \in \kappa_i} \prod_{s \in \alpha} N_{i_s}(z_1) \right\},$

где:

$\equiv$ — логическая эквивалентность (тождество).
$z_1$ — свободная переменная, обозначающая текущий момент времени (такт вычисления).
$S$ — темпоральный оператор сдвига (рассматриваемый ранее функтор $S$ ).
$\prod_{m=1}^{q} \sim N_{j_m}(z_1)$ — конъюнкция (И) отрицаний состояний всех $q$ тормозящих синапсов, подключенных к данному нейрону. Значок $\sim$ обозначает логическое отрицание. Если хотя бы один тормозящий нейрон активен ( $N_{j_m} = 1$ ), всё произведение зануляется, аппаратно реализуя абсолютное торможение.
$\kappa_i$ — семейство подмножеств возбуждающих синапсов, мощность (количество элементов) каждого из которых строго больше или равна порогу активации $\theta_i$ .
$\sum$ и $\prod$ во второй части формулы выполняют роль дизъюнкции (ИЛИ) и конъюнкции (И).

Данная формула описывает локальный шаг работы одного элемента сети. Теорема 1 использует это уравнение как базис для математической индукции; авторы доказывают, что путём последовательной послойной подстановки (суперпозиции) таких локальных уравнений друг в друга, любая ацикличная сеть (порядка 0) гарантированно сворачивается в одну монолитную формулу, выраженную исключительно через состояния входных рецепторов в прошлом.

Упрощённая форма

Для лучшего понимания логическую запись, в которой каждая переменная является булевой, можно перевести на язык чисел, представив её в виде пороговой функции активации (функции Хевисайда):

$N_i(z_1) = \varphi \left( \sum_{s=1}^{p} N_{i_s}(z_1 - 1) - \theta_i \right) \cdot \prod_{m=1}^{q} \big(1 - N_{j_m}(z_1 - 1)\big),$

где:

$\varphi(x)$ — функция Хевисайда (равна $1$ , если аргумент больше или равен нулю, и $0$ в противном случае).
$\sum_{s=1}^{p} N_{i_s}(z_1 - 1)$ — сумма всех возбуждающих сигналов, пришедших на предыдущем такте.
$\theta_i$ — порог активации нейрона.
$\prod_{m=1}^{q} \big(1 - N_{j_m}(z_1 - 1)\big)$ — мультипликативный тормозной блок. Если хотя бы один тормозной нейрон активен ( $N_{j_m} = 1$ ), выражение в скобках становится равным $0$ , и всё произведение мгновенно зануляет выход нейрона, независимо от суммы возбуждения.

Таким образом, если по тормозящим синапсам импульса нет, то рассматриваются возбуждающие синапсы. Если их количество достигает или превышает установленный порог, то нейрон не подаёт импульс.

Влияние на архитектуру фон Неймана

Идеи, заложенные в статье 1943 года, вышли далеко за пределы нейробиологии. Джон фон Нейман, работая над проектом компьютера EDVAC (1945), использовал нотацию Мак-Каллока — Питтса для описания логической архитектуры вычислительной машины^[1] . Вместо того чтобы чертить электрические схемы с лампами и реле, фон Нейман описывал АЛУ и память с помощью абстрактных сетей формальных нейронов, что заложило основы для отделения архитектуры программного обеспечения от физического оборудования.

Критика

Триумф первых искусственных нейронных сетей столкнулся с непреодолимым на тот момент барьером, который был фундаментально исследован Марвином Минским и Сеймуром Пейпертом в их книге «Перцептроны» (1969)^[1].

Минский математически доказал, что однослойные сети принципиально не способны решать задачи, не являющиеся линейно разделимыми. Классическим примером стала проблема XOR (исключающее ИЛИ). Несмотря на то, что Теорема I Мак-Каллока — Питтса постулировала возможность решения любой логической функции, для функции XOR требовалась сеть как минимум с одним скрытым слоем. Отсутствие в то время алгоритма обучения для многослойных сетей привело к резкому сокращению финансирования исследований в области нейросетей, что ознаменовало начало первой так называемой зимы искусственного интеллекта.

См. также

Ссылки

Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%9C%D0%BE%D0%B4%D0%B5%D0%BB%D1%8C_%D0%9C%D0%B0%D0%BA%D0%9A%D0%B0%D0%BB%D0%BB%D0%BE%D0%BA%D0%B0-%D0%9F%D0%B8%D1%82%D1%82%D1%81%D0%B0»

Категории: Машинное обучение | Нейронные сети | История машинного обучения

@@ Строка 1: / Строка 1: @@
-Первой формальной моделью нейронных сетей (НС) была модель МакКаллока-Питтса, уточненная и развитая Клини. Впервые было установлено, что НС могут выполнять любые логические операции и вообще любые преобразования, реализуемые дискретными устройствами с конечной памятью. Эта модель легла в основу теории логических сетей и конечных автоматов и активно использовалась психологами и нейрофизиологами при моделировании некоторых локальных процессов нервной деятельности. В силу своей дискретности она вполне согласуется с компьютерной парадигмой и, более того, служит её &laquo;нейронным фундаментом&raquo;. Но при этом она содержит существенные возможности своего расширения за счет максимального использования параметрических и пороговых свойств нейрона.
+{{well|Статья написана с использованием LLM '''Gemini 3.1 Pro''' и проверена участником [[Участник:Osman_Osmanov|Osman Osmanov]] 14:42, 16 июля 2026 (MSD)
+Промпт приводится полностью в [[Обсуждение:Модель МакКаллока-Питтса]]
+Однако в статье нет изображений из-за существующего сбоя в системе.
+}}
+{{TOCright}}
-=Устройство модели=
+== Нейрон Мак-Каллока—Питтса ==
-[[Изображение:рис1.png|300px|thumb|Рис.1 модель нейрона МакКалока-Питтса]]
+'''Нейрон Мак-Каллока—Питтса''' ''(англ. McCulloch-Pitts neuron)'' — это исторически первая математическая [[Искусственная нейронная сеть|модель искусственного нейрона]], предложенная [[Нейрофизиология|нейрофизиологом]] Уорреном Мак-Каллоком и математиком Уолтером Питтсом в статье ''A Logical Calculus of the Ideas Immanent in Nervous Activity''<ref name="mp">{{статья |автор=McCulloch W. S., Pitts W. |заглавие=A logical calculus of the ideas immanent in nervous activity |издание=The bulletin of mathematical biophysics |год=1943 |том=5 |номер=4 |страницы=115–133}}</ref> в 1943 году. Стремясь имитировать задержки, обусловленные временем на передачу импульса от нейрона к нейрону, в модели Мак-Каллока и Питтса все процессы рассматриваются в контексте дискретных моментов времени, где каждая передача импульса занимает один такт.
-Пусть имеется <tex>n</tex> входных величин x<sub>1</sub>,&hellip;,x<sub>n</sub> бинарных признаков, описывающих объект <tex>x</tex>.
-Значения этих признаков будем трактовать как величины импульсов, поступающих на вход нейрона через <tex>n</tex> входных синапсов.
-Будем считать, что, попадая в нейрон, импульсы складываются с весами &omega;<sub>1</sub>,&hellip;,&omega;<sub>n</sub>.
-Если вес положительный, то соответствующий синапс возбуждающий, если отрицательный, то тормозящий.
+Модель была мотивирована стремлением доказать, что биологическая нервная система и процессы мышления могут быть описаны в терминах ''[[Математическая логика|математической логики]]''. Оригинальная статья написана с использованием логического синтаксиса языка философа и логика Рудольфа Карнапа, а также опирается на строгую логическую систему математиков Альфреда Норта Уайтхеда и Бертрана Рассела из их фундаментального труда ''Principia Mathematica''. Таким образом, нейрон Мак-Каллока—Питтса является прямой ''[[Нейрон|формализацией биологического нейрона]] на строгом языке пропозициональной логики''.
-Если суммарный импульс превышает заданный порог активации &omega;<sub>0</sub>, то нейрон возбуждается и выдаёт на выходе 1, иначе выдаётся 0.
-Таким образом, нейрон вычисляет n-арную булеву функцию
+== Содержание статьи ==
-<center><tex>a(x) = \varphi(\sum_{j=1}^m \omega_jx^j - \omega_0)</tex></center>
-где <tex>\varphi(z) = [z \ge 0]</tex> - ступенчатая функция Хевисайда.
-В теории нейронных сетей функцию &phi;, преобразующую значение суммарного импульса в выходное значение нейрона, принято называть функцией активации.
-Таким образом, модель МакКаллока-Питтса эквивалентна линейному пороговому
-классификатору.
-=Достижения модели=
+Идея Мак-Каллока и Питтса была представлена в статье ''A Logical Calculus of the Ideas Immanent in Nervous Activity''<ref name="mpRus" /> (русский перевод: ''Логическое исчисление идей, имманентных нервной деятельности'')<ref name="mpRus">{{статья |автор=Мак-Каллок У. С., Питтс В. |заглавие=Логическое исчисление идей, относящихся к нервной активности |издание=Автоматы / под ред. К. Э. Шеннона и Дж. Маккарти |место=М. |издательство=Изд-во иностр. лит. |год=1956 |страницы=363–384 |язык=ru}}</ref>
-Теоретические основы нейроматематики были заложены в начале 40-х годов.
+. Статья начинается с описания работы биологического нейрона человека.
-В 1943 году У. МакКалок и его ученик У. Питтс сформулировали основные положения теории деятельности головного мозга.
+Головной мозг человека является главным образом нейронной сетью. Утверждается, что нейроны – клетки (функциональные единицы) мозга – связываются между собой, передавая электрические импульсы. Нейроны передают импульсы через специальные отростки – [[Аксон|аксоны]]. Между  двумя нейронами располагается [[Синапс|синапс]] – место контакта двух связанных нейронов. Он отвечает за преобразование (торможение или усиление) электрического импульса. В зависимости от типа преобразования импульса выделяют ''тормозящие [[Синапс|синапсы]]'' и ''возбуждающие [[Синапс|синапсы]]''.
-Ими были получены следующие результаты:
+Авторы статьи выделили пять допущений для формализации устройства головного мозга (сохранены оригинальные формулировки перевода на русский язык<ref name="mpRus" />):
-*разработана модель нейрона как простейшего процессорного элемента, выполняющего вычисление переходной функции от скалярного произведения вектора входных сигналов и вектора весовых коэффициентов;
-*предложена конструкция сети таких элементов для выполнения логических и арифметических операций;
-*сделано основополагающее предположение о том, что такая сеть способна обучаться, распознавать образы, обобщать полученную информацию.
-=Недостатки модели=
+# Активность нейрона удовлетворяет принципу ''"всё или ничего"''.
-Недостатком данной модели является сама модель нейрона &laquo;пороговой&raquo; вид переходной функции. В формализме У. Маккалока-Питтса нейроны имеют состояния 0, 1 и пороговую логику перехода из состояния в состояние. Каждый нейрон в сети определяет взвешенную сумму состояний всех других нейронов и сравнивает ее с порогом, чтобы определить свое собственное состояние.
+# Возбуждению нейрона в какой-либо момент времени должен предшествовать латентный период накопления возбуждений определенного фиксированного числа [[Синапс|синапсов]]. Это число не зависит от предыдущей активности и от расположения синапсов на нейроне.
+# Единственным запаздыванием в нервной системе, имеющим значение, является синаптическая задержка (время, необходимое для передачи импульса).
+# Активность какого-либо тормозящего [[Синапс|синапса]] абсолютно исключает возбуждение данного нейрона в рассматриваемый момент времени.
+# С течением времени структура сети не изменяется.
-Пороговый вид функции не предоставляет нейронной сети достаточную гибкость при обучении и настройке на заданную задачу. Если значение вычисленного скалярного произведения, даже незначительно, не достигает до заданного порога, то выходной сигнал не формируется вовсе и нейрон &laquo;не срабатывает&raquo;. Это значит, что теряется интенсивность выходного сигнала (аксона) данного нейрона и, следовательно, формируется невысокое значение уровня на взвешенных входах в следующем слое нейронов.
+Заметим, что часто фигурируют формулировки "в момент времени", "задержка". Все рассматриваемые предикаты в статье зависят от некоторого момента времени. Таким образом, <tex>Pr_1(t)</tex> — некоторое утверждение, зависящее от времени. В качестве примера может выступить утверждение «нейрон 1 активен в момент времени <tex>t</tex>».
+Модель, построенная на времени, позволяет Мак-Каллоку и Питтсу рассматривать время как ''расстояние между нейронами''.
-----
+=== Принцип "всё или ничего" ===
-Несмотря на то, что за прошедшие годы нейроматематика ушла далеко вперед, многие утверждения МакКалока остаются актуальными и поныне. В частности, при большом разнообразии моделей нейронов принцип их действия, заложенный МакКалоком и Питтсом, остается неизменным.
-=Литература=
+Мак-Каллок и Питтс выделили два типа связей между нейронами – '''''тормозящие''''' и '''''возбуждающие'''''. Если нейрон связан с другим нейроном тормозящей связью и по этой тормозящей связи второй нейрон подал импульс первому, то первый нейрон '''не подаёт импульса'''. Если же по тормозящим связям импульса нет, то рассматриваются возбуждающие связи. Если совокупность нейронов, передающих импульс по возбуждающим связям создаст достаточный импульс, превышающий некоторый порог, то '''нейрон подаст импульс'''. Такой принцип имеет название '''''"всё или ничего"'''''.
-{{Задание|Platonova.Elena|Константин Воронцов|8 января 2010}}
+=== Термины ===
+В начале статьи вводятся следующие термины для формального описания [[Нейрон|модели нейрона]].
+==== Оператор временного сдвига ====
+В отличие от современных [[Нейронная сеть|моделей нейронных сетей]], где сигнал проходит через слои мгновенно, в модели Мак-Каллока—Питтса, как уже говорилось ранее, каждая передача импульса занимает один такт. Авторы вводят '''''функтор <tex>S</tex>''''', устроенный так, что если есть логическое правило <tex>Pr(t)</tex>, описывающее состояние сети, то применение к нему оператора <tex>S</tex> принудительно сдвигает его временной аргумент на один шаг назад:
+::<tex>S(Pr(t)) \equiv Pr(t-1).</tex>
+В оригинальной статье<ref name="mp" /> приведена следующая формула:
+::<tex>S(P)(t) \equiv P(Kx)(t = x'),</tex>
+где <tex>x'</tex> – следующий за <tex>x</tex> такт (в нотации Пеано), а <tex>(Kx)(t = x')</tex> – обозначение наименьшего значения <tex>x</tex> такого, что <tex>t = x'</tex>.
+Также применяется оператор <tex>S^n</tex>, что является <tex>n</tex>-кратной композицией <tex>S</tex>. Например, <tex>S^2(P) \equiv S(S(P))</tex>.
+==== Действие нейрона ====
+'''''Действием <tex>N_i(t)</tex> нейрона''''' <tex>c_i</tex> называется утверждение «<tex>c_i</tex> возбуждён в момент времени <tex>t</tex>».
+В статье<ref name="mp" /> часто применяется такая нотация, поскольку она характеризует значение нейрона.
+==== Рецепторы ====
+'''''Рецепторы''''' — это [[Нейрон|нейроны]], у которых ''нет входящих [[Синапс|синапсов]] от других клеток внутри системы''. Их состояние в каждый момент времени определяется ''исключительно внешними стимулами из окружающей среды''. В современных архитектурах это ''тождественно вектору признаков на входном слое''.
+Вероятно, получили своё название от биологических рецепторов, которые отдают сигнал головному мозгу при появлении какого-то стимула и не получают никаких сигналов от других органов; только от внешней среды.
+==== Решение сети ====
+'''''Решение сети''''' — это итоговое логическое уравнение (пропозициональная формула), которое полностью описывает условия, при которых главный выходной [[Нейрон|нейрон]] перейдет в состояние 1 в текущий момент времени.
+Главное требование к решению сети заключается в том, что ''оно должно зависеть исключительно от истории состояний рецепторов''. Получить решение сети — означает ''свернуть всю архитектуру сети в одну формулу''.
+Проводя аналогию с современными персептронами, можно утверждать, что в персептронах выход некоторого [[Нейрон|нейрона]] из выходного слоя, очевидно, зависит от входа нейронной сети. Поскольку модель Мак-Каллока и Питтса построена на времени, нам необходимо знать значения рецепторов в каждый момент времени до достижения выхода, для того чтобы получить решение сети.
+==== Циклические сети ====
+Сеть называется '''''циклической''''', если в ней можно выделить '''''петлю''''' – цепочку [[Нейрон|нейронов]], каждый член которой имеет [[Аксон|аксоны]] на следующем по порядку нейроне и начало которой совпадает с концом. Петля является аналогом цикла в теории графов, если построить сеть в виде графа.
+Стоит заметить, что в современных нейронных сетях никаких петель нет. Мак-Каллок и Питтс строили более общую модель, в которой [[Нейрон|нейроны]] могли соединяться произвольным образом.
+Пусть существует минимальный набор [[Нейрон|нейронов]] такой, что если каждый [[Нейрон|нейрон]] из этого набора удалить из сети (вместе со связями с другими нейронами), то сеть останется без петель. Тогда количество [[Нейрон|нейронов]] в таком минимальном наборе называется '''''порядком сети'''''. Порядок сети характеризует её сложность. ''Если порядок сети положителен, то в этой сети есть хотя бы одна петля. Если же порядок равен 0, то в сети нет петель.''
+Современные [[Многослойный персептрон|нейронные сети прямого распространения]] (FFNN) являются частным случаем сети порядка 0, а [[Рекуррентная нейронная сеть|рекуррентные нейронные сети]] (RNN) являются частным случаем сети положительного порядка.
+==== Временное пропозициональное выражение ====
+Поскольку Мак-Каллок и Питтс оперируют временными утверждениями (функциями), т.е. зависящими от времени, следует более формало определить эти утверждения как '''''временные пропозициональные выражения (ВПВ)'''''.
+ВПВ определяются рекурсивно:
+# <tex>p(z_1)</tex> есть ВПВ, где <tex>p</tex> – предикат.
+# Если <tex>S_1</tex> и <tex>S_2</tex> – ВПВ с общей временной шкалой, то каждое из выражений <tex>S(S_1)</tex> (применение функтора S), <tex>S_1 \vee S_2</tex> (<tex>S_1</tex> ИЛИ <tex>S_2</tex>), <tex>S_1 \wedge S_2</tex> (<tex>S_1</tex> И <tex>S_2</tex>), <tex>S_1 \wedge \neg S_2</tex> (<tex>S_1</tex> И (НЕ <tex>S_2</tex>)) – тоже ВПВ.
+# Никакое другое выражение не является ВПВ.
+==== Реализуемость ====
+Вводится два понятия реализуемости некоторого утверждения: ''в узком смысле'' и общий случай – ''в широком'' (расширенном – дословный перевод с оригинала) смысле. Стоит рассматривать концепцию утверждения как бинарную функцию.
+* '''''Реализуемость утверждения в узком смысле''''' — это идеализированная математическая ситуация, когда значение выходного нейрона в текущий момент <tex>z_1</tex> зависит от значений рецепторов в этот же самый момент <tex>z_1</tex>. В реальности (из-за задержки [[Синапс|синапсов]] в 1 такт) в узком смысле можно реализовать только тривиальные сети, где выход "припаян" к рецепторам напрямую, без скрытых слоев.
+* '''''Реализуемость утверждения в широком (расширенном) смысле''''' — это вычисление с задержкой во времени. Поведение называется реализуемым в широком смысле, если сеть выдает ответ спустя <tex>n</tex> тактов. Иначе говоря, как это приводится в оригинале, утверждение <tex>P</tex> реализуемо в общем смысле, если существует <tex>n</tex> такой, что утверждение <tex>S^n(P)</tex> реализуемо в узком смысле.
+Понятие реализуемости позволяет формализовать, возможна ли реализация какого-то утверждения (например, построения функции по таблице истинности) нейронной сетью такой, что за некоторое количество тактов вычисляет значение функции по входным значениям.
+В этой статье Мак-Каллок и Питтс доказали, что любое логическое утверждение является реализуемым нейронной сетью порядка 0 (то есть, не содержащая петель).
+ Теорема 2.
+ Каждое временное пропозициональное выражение (ВПВ) реализуемо сетью порядка 0.
+== Архитектура ==
+Одним из центральных результатов статьи<ref name="mp" /> является Теорема 1:
+ Теорема 1.
+ Каждая сеть порядка 0 может быть решена в терминах временных пропозициональных выражений
+Математически это выражается через конъюнкцию и дизъюнкцию предшествующих состояний. Нейрон <tex>i</tex> с порогом <tex>\theta</tex> активируется тогда и только тогда, когда в предыдущий момент нет ни одного активного тормозящего [[Синапс|синапса]], и количество активных возбуждающих [[Синапс|синапсов]] больше или равно порогу.
+=== Оригинальная формулировка ===
+В оригинальной нотации статьи принцип "всё или ничего" для одного изолированного нейрона записывается в виде следующего логико-темпорального уравнения:
+<tex>N_i(z_1) \equiv S \left\{ \prod_{m=1}^{q} \sim N_{j_m}(z_1) \cdot \sum_{\alpha \in \kappa_i} \prod_{s \in \alpha} N_{i_s}(z_1) \right\},</tex>
+где:
+* <tex>\equiv</tex> — логическая эквивалентность (тождество).
+* <tex>z_1</tex> — свободная переменная, обозначающая текущий момент времени (такт вычисления).
+* <tex>S</tex> — темпоральный оператор сдвига (рассматриваемый ранее функтор <tex>S</tex>).
+* <tex>\prod_{m=1}^{q} \sim N_{j_m}(z_1)</tex> — конъюнкция (И) отрицаний состояний всех <tex>q</tex> тормозящих [[Синапс|синапсов]], подключенных к данному [[Нейрон|нейрону]]. Значок <tex>\sim</tex> обозначает логическое отрицание. Если хотя бы один тормозящий нейрон активен (<tex>N_{j_m} = 1</tex>), всё произведение зануляется, аппаратно реализуя абсолютное торможение.
+* <tex>\kappa_i</tex> — семейство подмножеств возбуждающих [[Синапс|синапсов]], мощность (количество элементов) каждого из которых строго больше или равна порогу активации <tex>\theta_i</tex>.
+* <tex>\sum</tex> и <tex>\prod</tex> во второй части формулы выполняют роль дизъюнкции (ИЛИ) и конъюнкции (И).
+Данная формула описывает локальный шаг работы одного элемента сети. Теорема 1 использует это уравнение как базис для математической индукции; авторы доказывают, что путём последовательной послойной подстановки (суперпозиции) таких локальных уравнений друг в друга, любая ацикличная сеть (порядка 0) гарантированно сворачивается в одну монолитную формулу, выраженную исключительно через состояния входных рецепторов в прошлом.
+=== Упрощённая форма ===
+Для лучшего понимания логическую запись, в которой каждая переменная является булевой, можно перевести на язык чисел, представив её в виде пороговой функции активации (функции Хевисайда):
+::<tex>N_i(z_1) = \varphi \left( \sum_{s=1}^{p} N_{i_s}(z_1 - 1) - \theta_i \right) \cdot \prod_{m=1}^{q} \big(1 - N_{j_m}(z_1 - 1)\big),</tex>
+где:
+* <tex>\varphi(x)</tex> — ''функция Хевисайда'' (равна <tex>1</tex>, если аргумент больше или равен нулю, и <tex>0</tex> в противном случае).
+* <tex>\sum_{s=1}^{p} N_{i_s}(z_1 - 1)</tex> — сумма всех возбуждающих сигналов, пришедших на предыдущем такте.
+* <tex>\theta_i</tex> — порог активации [[Нейрон|нейрона]].
+* <tex>\prod_{m=1}^{q} \big(1 - N_{j_m}(z_1 - 1)\big)</tex> — мультипликативный тормозной блок. Если хотя бы один тормозной [[Нейрон|нейрон]] активен (<tex>N_{j_m} = 1</tex>), выражение в скобках становится равным <tex>0</tex>, и всё произведение мгновенно зануляет выход [[Нейрон|нейрона]], независимо от суммы возбуждения.
+Таким образом, если по тормозящим [[Синапс|синапсам]] импульса нет, то рассматриваются возбуждающие [[Синапс|синапсы]]. Если их количество достигает или превышает установленный порог, то нейрон не подаёт импульс.
+== Влияние на архитектуру фон Неймана ==
+Идеи, заложенные в статье 1943 года, вышли далеко за пределы нейробиологии. ''Джон фон Нейман'', работая над проектом компьютера EDVAC (1945), использовал нотацию Мак-Каллока — Питтса для описания логической архитектуры вычислительной машины<ref>{{статья |автор=Von Neumann J. |заглавие=First Draft of a Report on the EDVAC |издание=Moore School of Electrical Engineering, University of Pennsylvania |год=1945}}</ref>
+. Вместо того чтобы чертить электрические схемы с лампами и реле, фон Нейман описывал АЛУ и память с помощью абстрактных сетей [[Нейрон|формальных нейронов]], что заложило основы для отделения архитектуры программного обеспечения от физического оборудования.
+== Критика ==
+Триумф первых искусственных нейронных сетей столкнулся с непреодолимым на тот момент барьером, который был фундаментально исследован Марвином Минским и Сеймуром Пейпертом в их книге ''«Перцептроны»'' (1969)<ref>{{книга |автор=Minsky M., Papert S. A. |заглавие=Perceptrons: An Introduction to Computational Geometry |место=Cambridge, MA |издательство=MIT Press |год=1969 |страниц=258}}</ref>.
+Минский математически доказал, что однослойные сети принципиально ''не способны решать задачи, не являющиеся линейно разделимыми''. Классическим примером стала '''''проблема XOR''''' (исключающее ИЛИ). Несмотря на то, что Теорема I Мак-Каллока — Питтса постулировала возможность решения любой логической функции, для функции XOR требовалась сеть как минимум с одним скрытым слоем. Отсутствие в то время алгоритма обучения для [[Многослойная нейронная сеть|многослойных сетей]] привело к резкому сокращению финансирования исследований в области нейросетей, что ознаменовало начало первой так называемой [[Зима искусственного интеллекта|зимы искусственного интеллекта]].
+== См. также ==
+* [[Персептрон]]
+* [[Нейрон]]
+* [[Искусственная нейронная сеть]]
+* [[Перcептрон Розенблатта]]
+* [[Зима искусственного интеллекта]]
+== Ссылки ==
+<references/>
+[[Категория:Машинное обучение]]
+[[Категория:Нейронные сети]]
+[[Категория:История машинного обучения]]