Оценка обобщающей способности (японская притча)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(викификация, орфография, пунктуация, мораль)
Строка 1: Строка 1:
-
Нижеприведенная Притча должна послужить предостережением, как Заказчику, так и Исполнителю работ по созданию распознающих алгоритмов. В Притче наглядно продемонстрировано, что, несмотря на отличные результаты, которые может показать на представленных Заказчиком данных решающее правило, Исполнителя, иногда, подстерегает буквально смертельная опасность уже на этапе подписания Акта приемки работ (даже до процедуры проверки на тестовой последовательности).
+
{{TOCright}}
-
 
+
== Притча ==
-
Процедуры же проверки на тестовой последовательности Исполнитель всячески должен избегать, для этого Исполнителю следует получить ВСЕ прецеденты, которыми Заказчик обладает, чтобы проверочного материала вообще не осталось. Однако, и это иногда не спасает. Видимо, человеческий интеллект обладает скрытыми от сознания способностями по оценке [[обобщающая способность| обобщающей способности]], это надо учитывать!
+
[[Изображение:Segun05.jpg|left|thumb]]
-
 
+
-
Итак притча:
+
-
 
+
-
 
+
Жил-был давно в Японии очень злой сягун.
Жил-был давно в Японии очень злой сягун.
-
Сягун - это такой самовластный правитель небольшого района в Японии. [[Изображение:Segun05.jpg|thumb]]
+
Сягун это такой самовластный правитель небольшого района в Японии.
Если надо было решить казнить или миловать, то у сягуна уже и не спрашивали, а сразу казнили, ибо все равно сягун так бы велел. Это был самый кровожадный сягун в истории тех мест Японии.
Если надо было решить казнить или миловать, то у сягуна уже и не спрашивали, а сразу казнили, ибо все равно сягун так бы велел. Это был самый кровожадный сягун в истории тех мест Японии.
-
И стало сягуну скучно, все прячутся, боятся, ни кто не заходит, ни о чем не спрашивает. Захотелось сягуну что-нибудь новенького, каких-нибудь свежих ощущений.
+
И стало сягуну скучно, все прячутся, боятся, никто не заходит, ни о чём не спрашивает.
 +
Захотелось сягуну чего-нибудь новенького, каких-нибудь свежих ощущений.
-
Позвал сягун повара и велел приготовить то, чего он ещё не ел. Повар сказал, что не может этого сделать, ибо великий сягун уже все ел.
+
Позвал сягун повара и велел приготовить то, чего он ещё не ел. Повар сказал, что не может этого сделать, ибо великий сягун уже всё ел.
Повара сягун казнил собственоручно.
Повара сягун казнил собственоручно.
-
Позвали другого повара, сягун сказал, что если тот не приготовит что ни будь необычного, то обязательно он, сягун, лично придумает для него новую жестокую казнь.
+
Позвали другого повара, сягун сказал, что если тот не приготовит что-нибудь необычное, то обязательно он, сягун, лично придумает для него новую жестокую казнь.
-
Ещё живой повар спросил, ел ли сягун рыбу Боо-Бо. Сягун сказал, что не ел такой рыбы. Повар стал рассказывать, что многие кто ел рыбу Боо-Бо - умерли, однако многие и выжили. Значит, продолжал повар, не всякая рыба Боо-Бо ядовита, так в глубокой древности люди знали способ определить, какая рыба Боо-Бо съедобна, а какая нет. И хорошо бы мудрые советники сягуна подумали, и указали бы способ отделять съедобную рыбу от несъедобной. Если такой способ будет найден, то сягун будет очень доволен, ведь все кто пробовал Боо-Бо и выжил, очень хвалят вкус этой рыбы, люди говорят, что она ароматна, нежна и очень сытная.[[Изображение:Segun02.jpg|thumb|left]]
+
[[Изображение:Segun02.jpg|thumb|right]]
 +
Ещё живой, повар спросил, ел ли сягун рыбу Боо-Бо. Сягун сказал, что не ел такой рыбы. Повар стал рассказывать, что многие кто ел рыбу Боо-Бо умерли, однако многие и выжили. Значит, продолжал повар, не всякая рыба Боо-Бо ядовита, так в глубокой древности люди знали способ определить, какая рыба Боо-Бо съедобна, а какая нет. И хорошо бы мудрые советники сягуна подумали, и указали бы способ отделять съедобную рыбу от несъедобной. Если такой способ будет найден, то сягун будет очень доволен, ведь все кто пробовал Боо-Бо и выжил, очень хвалят вкус этой рыбы; люди говорят, что она ароматна, нежна и очень сытная.
-
Сягун обрадовался, ибо повар указал хороший способ наказать войско, которое недавно вернулось из бесславного похода он приказал каждому солдату раздать по одной рыбе Боо-Бо и чтобы каждый «подлый трус» под строгим надзором съел кусочек от выданной рыбы. И какой солдат умрет от такой еды, то привязать к хвосту его рыбы белую ленточку, а если выживет, то красную ленточку. Сягун лично пошел глядеть как будут корчиться в муках умирающие солдаты. [[Изображение:Segun03.jpg|thumb]]
+
[[Изображение:Segun03.jpg|thumb|left]]
 +
Сягун обрадовался, ибо повар указал хороший способ наказать войско, которое недавно вернулось из бесславного похода он приказал каждому солдату раздать по одной рыбе Боо-Бо и чтобы каждый «подлый трус» под строгим надзором съел кусочек от выданной рыбы. И какой солдат умрет от такой еды, то привязать к хвосту его рыбы белую ленточку, а если выживет, то красную ленточку. Сягун лично пошел глядеть как будут корчиться в муках умирающие солдаты.
Надкусанную рыбу отдали на изучение советникам, чтобы те осмотрели каждую рыбину и выяснили способ отделять ядовитую Боо-Бо от неядовитой. Назначено было советникам думать до конца праздника собачьих боев.
Надкусанную рыбу отдали на изучение советникам, чтобы те осмотрели каждую рыбину и выяснили способ отделять ядовитую Боо-Бо от неядовитой. Назначено было советникам думать до конца праздника собачьих боев.
-
Кровавые собачьи бои прошли и сягуну стало совсем скучно. Опять сягун возжелал свежих впечатлений. Спросил сягун своих советников - выполнено ли поручение, узнали ли они способ различать седобную рыбу из вида Боо-Бо? Все советники кроме двух сказали, что способа распознавания им найти не удалось. Сягун не справившимся советникам придумал казнь - приказал каждому съесть все книги из собственной библиотеки. Советники были очень образованы и имели большие библиотеки, они неплохо развлекли сягуна, некоторым, для продления праздника даже было позволено запивать еду керосином. В конце концов, все нерадивые советники умерли.
+
Кровавые собачьи бои прошли, и сягуну стало совсем скучно. Опять сягун возжелал свежих впечатлений. Спросил сягун своих советников выполнено ли поручение, узнали ли они способ различать съедобную рыбу из вида Боо-Бо? Все советники кроме двух сказали, что способа распознавания им найти не удалось. Сягун не справившимся советникам придумал казнь приказал каждому съесть все книги из собственной библиотеки. Советники были очень образованы и имели большие библиотеки, они неплохо развлекли сягуна, некоторым для продления праздника даже было позволено запивать еду керосином. В конце концов все нерадивые советники умерли.
Двоим советникам, кто сказал, что способ распознать съедобную Боо-Бо найден, дозволено было доложить.
Двоим советникам, кто сказал, что способ распознать съедобную Боо-Бо найден, дозволено было доложить.
-
Первый с важным видом стал говорить - у съедобной Боо-Бо должны быть:
+
[[Изображение:Segun04.jpg|thumb|left]]
 +
Первый с важным видом стал говорить у съедобной Боо-Бо должны быть:
плавники на расстоянии пальца и глаза вытаращены,
плавники на расстоянии пальца и глаза вытаращены,
-
а некоторых съедобных Боо-Бо можно отличить если
+
а некоторых съедобных Боо-Бо можно отличить, если чешуя синеватая и хвост веером;
-
чешуя синеватая и хвост веером,
+
рыба Боо-Бо также съедобна, когда у неё живот вспучен и пахнет она миндалем, а цвет губ при этом очень черный;
-
рыба Боо-Бо также съедобна, когда у неё
+
также можно кушать ту рыбу, которая прожила без воды три дня, а когда её пустили в воду стала плавать кругами.
-
живот вспучен и пахнет она миндалем, а цвет губ при этом очень черный
+
-
также можно кушать ту рыбу, которая
+
-
прожила без воды три дня, а когда её пустили в воду - стала плавать кругами
+
-
Сягун понял что ему морочат голову и дальше слушать не стал, а велел принести корзину рыбы Боо-Бо и приказал советнику откусить от каждой, которую он определит как съедобную. Советник был тоже не полный дурак и не захотел корчится в муках как солдаты, а попросил чтобы его быстро и безболезненно удавили. [[Изображение:Segun04.jpg|thumb]]
+
Сягун понял, что ему морочат голову, и дальше слушать не стал, а велел принести корзину рыбы Боо-Бо и приказал советнику откусить от каждой, которую он определит как съедобную. Советник был тоже не полный дурак и не захотел корчится в муках как солдаты, а попросил чтобы его быстро и безболезненно удавили.
-
 
+
-
Второй советник, рассказал, что чтобы определить, съедобна ли Боо-Бо, нужно сделать разрез на спине и кусочком чеснока провести по разрезу, если чеснок не почернеет, то рыба съедобна, а если почернеет, то не съедобна.[[Изображение:Segun06.jpg|thumb|left]]
+
-
 
+
-
Сягун выслушал советника вынул меч (он всегда так делал, когда быстро не мог придумать как наказать человека, который закончил говорить и при этом в его словах не прозвучало достаточно похвал достоинствам сягуна), но резать сягун советника передумал, а вдруг такой умный советник пригодится, когда станет скучно.
+
-
Вопросы для медитации: Почему сягун решил, что первый советник врет и выкручивается, а его способ распознавания бесполезен? Почему сягун оказал доверие способу второго советника?
+
[[Изображение:Segun06.jpg|thumb|right]]
 +
Второй советник, рассказал, что для определения, съедобна ли Боо-Бо, нужно сделать разрез на спине и кусочком чеснока провести по разрезу, если чеснок не почернеет, то рыба съедобна, а если почернеет, то не съедобна.
-
З.Ы. А советник действительно пригодился, он придумал 12 способов наказания неугодных и пленных, 3 кровавых зрелища с участием диких зверей и 20567 способов избавится от самого сягуна. Но, к сожалению, сягун быстро умер от первого.
+
Сягун выслушал советника, вынул меч (он всегда так делал, когда быстро не мог придумать, как наказать человека, который закончил говорить, и при этом в его словах не прозвучало достаточно похвал достоинствам сягуна), но резать сягун советника передумал. А вдруг такой умный советник пригодится, когда станет скучно.
 +
'''Вопросы для медитации:'''
 +
* Почему сягун решил, что первый советник врёт и выкручивается, а его способ распознавания бесполезен?
 +
* Почему сягун оказал доверие способу второго советника?
 +
'''Эпилог.''' А советник действительно пригодился, он придумал 12 способов наказания неугодных и пленных, 3 кровавых зрелища с участием диких зверей и 20567 способов избавится от самого сягуна. Но, к сожалению, сягун быстро умер от первого.
 +
== Мораль ==
 +
Этот текст служит иллюстрацией к термину «[[предрассудок]]», который ввел [[Бонгард, Михаил Моисеевич |Михаил Моисеевич Бонгард]], впервые исследовавший проблему [[переобучение|переобучения]].
 +
При обучении, порождении понятий, переборе путей формирования цепочки «правильных» преобразований [[Признаковое пространство|признакового пространства]], невозможно обойтись без оценки качества решающих правил, иначе можно наплодить предрассудков.
-
Этот текст писался как иллюстрация термина «предрассудок», который ввел Бонгард М.М., впервые исследовавший проблему [[переобучение| переобучения ]] (см. Книгу Бонгарда «Проблема узнавания», ссылки на книгу в статье [[Бонгард, Михаил Моисеевич | Бонгард, Михаил Моисеевич]]).
+
Сягун произвел оценку [[обобщающая способность|обобщающей способности]] двух представленных «алгоритмов», сравнив объём перебора решающих правил, сделанный первым и вторым советниками. Первый советник привёл несколько правил, причём некоторые из них достаточно сложны. Можно догадаться, что советник перебрал слишком много правил в процессе поиска, и некоторые из них сработали чисто случайно. Сягун пришел к заключению о том, что первый советник явил предрассудок, и с Сягуном трудно не согласится!
-
При обучении, порождении понятий, переборе путей формирования цепочки «правильных» преобразований признакового пространства, невозможно обойтись без оценки качества решающих правил, иначе можно наплодить предрассудков.
+
Второй советник был мудрее и, скорее всего, перебирал правила, похожие на типичные проверки ядовитости пищевых продуктов. Грамотно выбранная [[модель]], хорошо подходящая к данной задаче — это такая модель, которая, по-возможности, опирается на знания предметной области.
-
Сягун произвел оценку «обобщающей способности» двух представленных «алгоритмов», в процессе которой, он сравнил объем перебора решающих правил сделанный первым и вторым советниками. Сягун, также, учел количество прецедентов. Сягун пришел к заключению о том, что первый советник явил предрассудок. И с Сягуном трудно не согласится!
+
Эта притча должна также послужить предостережением как Заказчику, так и Исполнителю работ по созданию распознающих алгоритмов. Разработанное Исполнителем решающее правило может показать отличные результаты на представленных Заказчиком данных; тем не менее, Исполнителя подстерегает буквально смертельная опасность уже на этапе подписания Акта приемки работ (даже до процедуры проверки на тестовой последовательности). Заказчик может думать, что он способен оценить обобщающую способность решающего правила «в уме», как это сделал Сягун.
-
Желающим продолжить медитации на более высоком уровне следует принять участие в семинаре - [[Расслоение и сходство алгоритмов (виртуальный семинар)| Расслоение и сходство алгоритмов]]
+
== Ссылки ==
 +
[[Расслоение и сходство алгоритмов (виртуальный семинар)]]
 +
== Литература ==
 +
# ''Бонгард М.М.'' Проблема узнавания. М.: Физматгиз, 1967. 320 с. http://rapidshare.com/files/47485435/Bongard.djvu http://www.leftinmsu.narod.ru/library_files/books/Bongard.rar
[[Категория:Искусство и культура]]
[[Категория:Искусство и культура]]

Версия 16:57, 20 сентября 2008

Содержание

Притча

Жил-был давно в Японии очень злой сягун. Сягун — это такой самовластный правитель небольшого района в Японии. Если надо было решить казнить или миловать, то у сягуна уже и не спрашивали, а сразу казнили, ибо все равно сягун так бы велел. Это был самый кровожадный сягун в истории тех мест Японии.

И стало сягуну скучно, все прячутся, боятся, никто не заходит, ни о чём не спрашивает. Захотелось сягуну чего-нибудь новенького, каких-нибудь свежих ощущений.

Позвал сягун повара и велел приготовить то, чего он ещё не ел. Повар сказал, что не может этого сделать, ибо великий сягун уже всё ел.

Повара сягун казнил собственоручно.

Позвали другого повара, сягун сказал, что если тот не приготовит что-нибудь необычное, то обязательно он, сягун, лично придумает для него новую жестокую казнь.

Ещё живой, повар спросил, ел ли сягун рыбу Боо-Бо. Сягун сказал, что не ел такой рыбы. Повар стал рассказывать, что многие кто ел рыбу Боо-Бо умерли, однако многие и выжили. Значит, продолжал повар, не всякая рыба Боо-Бо ядовита, так в глубокой древности люди знали способ определить, какая рыба Боо-Бо съедобна, а какая нет. И хорошо бы мудрые советники сягуна подумали, и указали бы способ отделять съедобную рыбу от несъедобной. Если такой способ будет найден, то сягун будет очень доволен, ведь все кто пробовал Боо-Бо и выжил, очень хвалят вкус этой рыбы; люди говорят, что она ароматна, нежна и очень сытная.

Сягун обрадовался, ибо повар указал хороший способ наказать войско, которое недавно вернулось из бесславного похода — он приказал каждому солдату раздать по одной рыбе Боо-Бо и чтобы каждый «подлый трус» под строгим надзором съел кусочек от выданной рыбы. И какой солдат умрет от такой еды, то привязать к хвосту его рыбы белую ленточку, а если выживет, то красную ленточку. Сягун лично пошел глядеть как будут корчиться в муках умирающие солдаты.

Надкусанную рыбу отдали на изучение советникам, чтобы те осмотрели каждую рыбину и выяснили способ отделять ядовитую Боо-Бо от неядовитой. Назначено было советникам думать до конца праздника собачьих боев.

Кровавые собачьи бои прошли, и сягуну стало совсем скучно. Опять сягун возжелал свежих впечатлений. Спросил сягун своих советников — выполнено ли поручение, узнали ли они способ различать съедобную рыбу из вида Боо-Бо? Все советники кроме двух сказали, что способа распознавания им найти не удалось. Сягун не справившимся советникам придумал казнь — приказал каждому съесть все книги из собственной библиотеки. Советники были очень образованы и имели большие библиотеки, они неплохо развлекли сягуна, некоторым для продления праздника даже было позволено запивать еду керосином. В конце концов все нерадивые советники умерли.

Двоим советникам, кто сказал, что способ распознать съедобную Боо-Бо найден, дозволено было доложить.

Первый с важным видом стал говорить — у съедобной Боо-Бо должны быть: плавники на расстоянии пальца и глаза вытаращены, а некоторых съедобных Боо-Бо можно отличить, если чешуя синеватая и хвост веером; рыба Боо-Бо также съедобна, когда у неё живот вспучен и пахнет она миндалем, а цвет губ при этом очень черный; также можно кушать ту рыбу, которая прожила без воды три дня, а когда её пустили в воду — стала плавать кругами.

Сягун понял, что ему морочат голову, и дальше слушать не стал, а велел принести корзину рыбы Боо-Бо и приказал советнику откусить от каждой, которую он определит как съедобную. Советник был тоже не полный дурак и не захотел корчится в муках как солдаты, а попросил чтобы его быстро и безболезненно удавили.

Второй советник, рассказал, что для определения, съедобна ли Боо-Бо, нужно сделать разрез на спине и кусочком чеснока провести по разрезу, если чеснок не почернеет, то рыба съедобна, а если почернеет, то не съедобна.

Сягун выслушал советника, вынул меч (он всегда так делал, когда быстро не мог придумать, как наказать человека, который закончил говорить, и при этом в его словах не прозвучало достаточно похвал достоинствам сягуна), но резать сягун советника передумал. А вдруг такой умный советник пригодится, когда станет скучно.

Вопросы для медитации:

  • Почему сягун решил, что первый советник врёт и выкручивается, а его способ распознавания бесполезен?
  • Почему сягун оказал доверие способу второго советника?

Эпилог. А советник действительно пригодился, он придумал 12 способов наказания неугодных и пленных, 3 кровавых зрелища с участием диких зверей и 20567 способов избавится от самого сягуна. Но, к сожалению, сягун быстро умер от первого.

Мораль

Этот текст служит иллюстрацией к термину «предрассудок», который ввел Михаил Моисеевич Бонгард, впервые исследовавший проблему переобучения. При обучении, порождении понятий, переборе путей формирования цепочки «правильных» преобразований признакового пространства, невозможно обойтись без оценки качества решающих правил, иначе можно наплодить предрассудков.

Сягун произвел оценку обобщающей способности двух представленных «алгоритмов», сравнив объём перебора решающих правил, сделанный первым и вторым советниками. Первый советник привёл несколько правил, причём некоторые из них достаточно сложны. Можно догадаться, что советник перебрал слишком много правил в процессе поиска, и некоторые из них сработали чисто случайно. Сягун пришел к заключению о том, что первый советник явил предрассудок, и с Сягуном трудно не согласится!

Второй советник был мудрее и, скорее всего, перебирал правила, похожие на типичные проверки ядовитости пищевых продуктов. Грамотно выбранная модель, хорошо подходящая к данной задаче — это такая модель, которая, по-возможности, опирается на знания предметной области.

Эта притча должна также послужить предостережением как Заказчику, так и Исполнителю работ по созданию распознающих алгоритмов. Разработанное Исполнителем решающее правило может показать отличные результаты на представленных Заказчиком данных; тем не менее, Исполнителя подстерегает буквально смертельная опасность уже на этапе подписания Акта приемки работ (даже до процедуры проверки на тестовой последовательности). Заказчик может думать, что он способен оценить обобщающую способность решающего правила «в уме», как это сделал Сягун.

Ссылки

Расслоение и сходство алгоритмов (виртуальный семинар)

Литература

  1. Бонгард М.М. Проблема узнавания. М.: Физматгиз, 1967. 320 с. http://rapidshare.com/files/47485435/Bongard.djvu http://www.leftinmsu.narod.ru/library_files/books/Bongard.rar
Личные инструменты