MachineLearning:Вниманию участников

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Проблема тупиковых страниц: Новая тема)
(==Задача классификации объектов==)
 
(9 промежуточных версий не показаны.)
Строка 1: Строка 1:
{{MachineLearning:Вниманию участников/Шапка}}
{{MachineLearning:Вниманию участников/Шапка}}
<!--не трогайте все что выше этой строки, пишите новую тему НИЖЕ в соответствии с инструкцией-->
<!--не трогайте все что выше этой строки, пишите новую тему НИЖЕ в соответствии с инструкцией-->
 +
==Задача классификации объектов==
 +
Доброго все времени суток.
 +
Хочу спросить совета, как подступиться к задаче. Имеется набор объектов с числовыми аттрибутами (a1 ... a6..an), которые могут немного изменяться. И некий черный ящик.
 +
В который приходит эталонный объект и еще к.л. объект(ы). Задача черного ящика понять эти два объекта являются дубликатами или нет.
 +
Хотелось бы построить некую модель которая смогла бы распознавать дубликаты.
 +
Хранить данные о прошлых экспериментах нет возможности, т.к. объектов оч. много и в памяти все постоянно держать не получиться + потребуется постоянная синхронизация с БД.
 +
 +
== Задача подборов товарных сетов в интернет системе ==
 +
 +
Добрый день всем кто интересуется сложными интеллектуальными задачами.
 +
На данный момент создается большой интернет ресурс в котором будут представлены различные товары (интерьер, архитектура,мебель...), и стоит задача максимально точно подобрать мебель между собой для пользователя.
 +
Трудность задачи в поиске товаров и их подборе, если этих товаров около 1 миллиона. Создать некую базу знаний нереально, так как мы не можем сказать что красный стол стиля Людовика14 подходит к красному креслу стиля барокко. На данном этапе мы сошлись на варианте нейро-сети, которая будет запоминать все выбранные товары пользователей и использовать эти данные для последующих подборов. Это обычный персептрон, но трудность состоит в том что это веб приложение, и его работа имеет ограниченный ресурс, пользователь не будет ждать минуты пока нейро-сеть выдаст результат.
 +
Хотелось бы услышать различные мнения и надеюсь найти оптимальный вариант.[[Участник:Opak|Opak]] 21:08, 14 декабря 2011 (MSK)
 +
 +
== Комментарий по улучшению ресурса ==
 +
Здравствуйте! Хотел бы обратить Ваше внимание на то, что в [[Машинное_обучение#Общая_постановка_задачи_обучения_по_прецедентам | Общей постановке задачи обучения по прецедентам]] сказано, что:
 +
* [[Алгоритм обучения]] (learning algorithm) ищет такой набор параметров модели, при котором функционал качества на заданной обучающей выборке принимает оптимальное значение.
 +
 +
Однако в определении [[Алгоритм_обучения | Алгоритма обучения]] и в [[Обучение_с_учителем#Обучение_с_учителем:_формальная_постановка | формальной постановке задачи Обучения с учителем]] сказано, что:
 +
 +
* [[Алгоритм]]&nbsp;<tex>\mu</tex> принимает на входе [[обучающая выборка|обучающую выборку]] данных&nbsp;<tex>D</tex>, строит и выдаёт на выходе функцию&nbsp;<tex>f</tex> из заданной модели <tex>F</tex>, реализующую отображение из множества объектов&nbsp;<tex>X</tex> во множество ответов&nbsp;<tex>Y</tex>.
 +
 +
* Требуется построить [[алгоритм]]&nbsp;<tex>a: X\to Y</tex>, который приближал бы неизвестную целевую зависимость как на элементах выборки, так и на всём множестве <tex>X</tex>.
 +
 +
Т.е. в одном случае говорится о поиске набора <b>параметров модели</b>, а в других — о построении <b>решающего правила классификации</b>.
 +
 +
Один из путей устранения данного противоречия предложен в разделах 2 и 3 препринта Клещев А.С., Смагин С.В. [http://iacp.dvo.ru/is/publications/2011-Kleschev,Smagin-ExperThree.pdf Алгоритм формирования баз знаний по обучающим выборкам для онтологии медицинской диагностики, приближенной к реальной].
 +
 +
[[Участник:Smagin|Sergey Smagin]] 09:51, 16 ноября 2011 (MSK)
 +
 +
== Проблема тупиковых страниц ==
 +
 +
Коллеги! Хочу обратить ваше внимание на большое количество [[Special:Deadendpages|тупиковых страниц]] в нашем проекте. Важным условием полноценного существования каждой статьи (в том, числе и её доступность поисковикам) является наличие хотя бы одной ссылки на страницу в пространстве статей. Пожалуйста, в меру сил помогите разгрести этот список. --[[Участник:Yury Chekhovich|Yury Chekhovich]] 13:54, 15 января 2010 (MSK)
 +
:Что и говорить, статья про Российскую академию наук в разделе тупиковых страниц выглядит забавно :) — [[Участник:Kropotov|Д.А. Кропотов]] 01:13, 16 января 2010 (MSK)
 +
:: Давайте не делать из этого обощающих выводов. :) Уже некоторое время ломаю голову на тему, что бы туда добавить, чтобы с этого можно было сослаться. --[[Участник:Yury Chekhovich|Yury Chekhovich]] 14:54, 17 января 2010 (MSK)
 +
::: Честно говоря, я не очень хорошо понимаю, что эта статья делает на нашем Ресурсе, и кому от неё здесь польза. Ей место в Большой Вики. Что касается тупиковых страниц, то Диме, вместо чтобы ёрничать, взять бы и тихо-спокойно хотя бы с [[Аппроксимация Лапласа|аппроксимацией Лапласа]] разобраться... :) —&nbsp;''[[Участник:Vokov|К.В.Воронцов]] 16:01, 17 января 2010 (MSK)''
 +
:::: Коллеги, призываю вас к спокойствию. Статья — не голова — можно легко удалить. Я, кстати, предложил бы еще несколько кандидатов на удаление, с содержанием куда менее информативным. Но здесь речь не об удалениях, а о приведении того, что есть в божеский вид. Давайте каждый созданные им статьи лишит статуса тупиковым (или сирот). С тем же, что останется решим вместе. --[[Участник:Yury Chekhovich|Yury Chekhovich]] 19:39, 17 января 2010 (MSK)
== Перенос статей в Википедию ==
== Перенос статей в Википедию ==
Строка 7: Строка 44:
(см. [http://ru.wikipedia.org/wiki/%D0%92%D0%B8%D0%BA%D0%B8%D0%BF%D0%B5%D0%B4%D0%B8%D1%8F:%D0%90%D0%B2%D1%82%D0%BE%D1%80%D1%81%D0%BA%D0%B8%D0%B5_%D0%BF%D1%80%D0%B0%D0%B2%D0%B0#.D0.98.D1.81.D0.BF.D0.BE.D0.BB.D1.8C.D0.B7.D0.BE.D0.B2.D0.B0.D0.BD.D0.B8.D0.B5_.D1.81.D1.82.D0.BE.D1.80.D0.BE.D0.BD.D0.BD.D0.B8.D1.85_.D1.82.D0.B5.D0.BA.D1.81.D1.82.D0.BE.D0.B2_.D0.BF.D1.80.D0.B8_.D0.BD.D0.B0.D0.BF.D0.B8.D1.81.D0.B0.D0.BD.D0.B8.D0.B8_.D1.81.D1.82.D0.B0.D1.82.D0.B5.D0.B9]). -- [[Участник:Ivank|Ivank]] 15:48, 8 января 2010 (MSK)
(см. [http://ru.wikipedia.org/wiki/%D0%92%D0%B8%D0%BA%D0%B8%D0%BF%D0%B5%D0%B4%D0%B8%D1%8F:%D0%90%D0%B2%D1%82%D0%BE%D1%80%D1%81%D0%BA%D0%B8%D0%B5_%D0%BF%D1%80%D0%B0%D0%B2%D0%B0#.D0.98.D1.81.D0.BF.D0.BE.D0.BB.D1.8C.D0.B7.D0.BE.D0.B2.D0.B0.D0.BD.D0.B8.D0.B5_.D1.81.D1.82.D0.BE.D1.80.D0.BE.D0.BD.D0.BD.D0.B8.D1.85_.D1.82.D0.B5.D0.BA.D1.81.D1.82.D0.BE.D0.B2_.D0.BF.D1.80.D0.B8_.D0.BD.D0.B0.D0.BF.D0.B8.D1.81.D0.B0.D0.BD.D0.B8.D0.B8_.D1.81.D1.82.D0.B0.D1.82.D0.B5.D0.B9]). -- [[Участник:Ivank|Ivank]] 15:48, 8 января 2010 (MSK)
* Добрый день. Да, все правильно, за время работы MachineLearning Википедия успела поменять свою лицензию. Постараюсь в течение ближайших нескольких дней сделать замену и у нас. Тогда перенос будет возможен. --[[Участник:Yury Chekhovich|Yury Chekhovich]] 13:48, 15 января 2010 (MSK)
* Добрый день. Да, все правильно, за время работы MachineLearning Википедия успела поменять свою лицензию. Постараюсь в течение ближайших нескольких дней сделать замену и у нас. Тогда перенос будет возможен. --[[Участник:Yury Chekhovich|Yury Chekhovich]] 13:48, 15 января 2010 (MSK)
 +
: Теперь, благодаря участнику [[Участник:Andrew|Andrew]], лицензия проекта совместима с лицензией Википедии. --[[Участник:Yury Chekhovich|Yury Chekhovich]] 19:23, 12 февраля 2010 (MSK)
== Англоязычная версия ресурса ==
== Англоязычная версия ресурса ==
Строка 66: Строка 104:
== Начало работы ==
== Начало работы ==
Появилась страница '''Вниманию участников''', предназначенная для общения участников. — ''[[Участник:Yury Chekhovich|Yury Chekhovich]] 13:18, 29 февраля 2008 (MSK)''
Появилась страница '''Вниманию участников''', предназначенная для общения участников. — ''[[Участник:Yury Chekhovich|Yury Chekhovich]] 13:18, 29 февраля 2008 (MSK)''
-
 
-
== Проблема тупиковых страниц ==
 
-
 
-
Коллеги! Хочу обратить ваше внимание на большое количество [[Special:Deadendpages|тупиковых страниц]] в нашем проекте. Важным условием полноценного существования каждой статьи (в том, числе и её доступность поисковикам) является наличие хотя бы одной ссылки на страницу в пространстве статей. Пожалуйста, в меру сил помогите разгрести этот список. --[[Участник:Yury Chekhovich|Yury Chekhovich]] 13:54, 15 января 2010 (MSK)
 

Текущая версия

ML:ВУ

На этой странице любой участник может оставить сообщение с целью привлечения внимания других участников проекта к любым вопросам связанным с развитием, наполнением, структурой Ресурса.

Страница предназначена для обсуждения вопросов, касающихся всего проекта или его крупных частей, либо привлечения внимания участников к какой-то важной проблеме.

Вопросы, касающиеся предметов конкретных статей следует обсуждать на страницах обсуждения этих статей.


Добавить новое обсуждение.


Содержание

Задача классификации объектов

Доброго все времени суток. Хочу спросить совета, как подступиться к задаче. Имеется набор объектов с числовыми аттрибутами (a1 ... a6..an), которые могут немного изменяться. И некий черный ящик. В который приходит эталонный объект и еще к.л. объект(ы). Задача черного ящика понять эти два объекта являются дубликатами или нет. Хотелось бы построить некую модель которая смогла бы распознавать дубликаты. Хранить данные о прошлых экспериментах нет возможности, т.к. объектов оч. много и в памяти все постоянно держать не получиться + потребуется постоянная синхронизация с БД.

Задача подборов товарных сетов в интернет системе

Добрый день всем кто интересуется сложными интеллектуальными задачами. На данный момент создается большой интернет ресурс в котором будут представлены различные товары (интерьер, архитектура,мебель...), и стоит задача максимально точно подобрать мебель между собой для пользователя. Трудность задачи в поиске товаров и их подборе, если этих товаров около 1 миллиона. Создать некую базу знаний нереально, так как мы не можем сказать что красный стол стиля Людовика14 подходит к красному креслу стиля барокко. На данном этапе мы сошлись на варианте нейро-сети, которая будет запоминать все выбранные товары пользователей и использовать эти данные для последующих подборов. Это обычный персептрон, но трудность состоит в том что это веб приложение, и его работа имеет ограниченный ресурс, пользователь не будет ждать минуты пока нейро-сеть выдаст результат. Хотелось бы услышать различные мнения и надеюсь найти оптимальный вариант.Opak 21:08, 14 декабря 2011 (MSK)

Комментарий по улучшению ресурса

Здравствуйте! Хотел бы обратить Ваше внимание на то, что в Общей постановке задачи обучения по прецедентам сказано, что:

  • Алгоритм обучения (learning algorithm) ищет такой набор параметров модели, при котором функционал качества на заданной обучающей выборке принимает оптимальное значение.

Однако в определении Алгоритма обучения и в формальной постановке задачи Обучения с учителем сказано, что:

  • Алгоритм \mu принимает на входе обучающую выборку данных D, строит и выдаёт на выходе функцию f из заданной модели F, реализующую отображение из множества объектов X во множество ответов Y.
  • Требуется построить алгоритм a: X\to Y, который приближал бы неизвестную целевую зависимость как на элементах выборки, так и на всём множестве X.

Т.е. в одном случае говорится о поиске набора параметров модели, а в других — о построении решающего правила классификации.

Один из путей устранения данного противоречия предложен в разделах 2 и 3 препринта Клещев А.С., Смагин С.В. Алгоритм формирования баз знаний по обучающим выборкам для онтологии медицинской диагностики, приближенной к реальной.

Sergey Smagin 09:51, 16 ноября 2011 (MSK)

Проблема тупиковых страниц

Коллеги! Хочу обратить ваше внимание на большое количество тупиковых страниц в нашем проекте. Важным условием полноценного существования каждой статьи (в том, числе и её доступность поисковикам) является наличие хотя бы одной ссылки на страницу в пространстве статей. Пожалуйста, в меру сил помогите разгрести этот список. --Yury Chekhovich 13:54, 15 января 2010 (MSK)

Что и говорить, статья про Российскую академию наук в разделе тупиковых страниц выглядит забавно :) — Д.А. Кропотов 01:13, 16 января 2010 (MSK)
Давайте не делать из этого обощающих выводов. :) Уже некоторое время ломаю голову на тему, что бы туда добавить, чтобы с этого можно было сослаться. --Yury Chekhovich 14:54, 17 января 2010 (MSK)
Честно говоря, я не очень хорошо понимаю, что эта статья делает на нашем Ресурсе, и кому от неё здесь польза. Ей место в Большой Вики. Что касается тупиковых страниц, то Диме, вместо чтобы ёрничать, взять бы и тихо-спокойно хотя бы с аппроксимацией Лапласа разобраться... :) — К.В.Воронцов 16:01, 17 января 2010 (MSK)
Коллеги, призываю вас к спокойствию. Статья — не голова — можно легко удалить. Я, кстати, предложил бы еще несколько кандидатов на удаление, с содержанием куда менее информативным. Но здесь речь не об удалениях, а о приведении того, что есть в божеский вид. Давайте каждый созданные им статьи лишит статуса тупиковым (или сирот). С тем же, что останется решим вместе. --Yury Chekhovich 19:39, 17 января 2010 (MSK)

Перенос статей в Википедию

Привет всем. Хотел было перенести несколько статей отсюда в Википедию, но выяснил, что в настоящее время это невозможно, на что хочу обратить внимание администраторов ресурса. Статьи лицензированы под GFDL 1.2 (согласно дисклеймеру внизу страниц), но для их переноса в Википедию необходимо, чтобы они распространялись именно под лицензией CC-BY-SA (см. [2]). -- Ivank 15:48, 8 января 2010 (MSK)

  • Добрый день. Да, все правильно, за время работы MachineLearning Википедия успела поменять свою лицензию. Постараюсь в течение ближайших нескольких дней сделать замену и у нас. Тогда перенос будет возможен. --Yury Chekhovich 13:48, 15 января 2010 (MSK)
Теперь, благодаря участнику Andrew, лицензия проекта совместима с лицензией Википедии. --Yury Chekhovich 19:23, 12 февраля 2010 (MSK)

Англоязычная версия ресурса

Предлагаю к обсуждению вопрос о введении англоязычной версии ресурса. Грубо говоря, весь функционал не меняется, просто добавляется возможность переключить язык на Английский, как в Википедии. Кросс-ссылки пользователь будет ставить сам. Если идея заработает, то затем можно добавлять другие языки и превратить machinelearning в глобальное профессиональное сообщество.

Сейчас объективно каждый ученый должен иметь свою страницу в Интернете, откуда, например, можно было бы скачать его публикации. Текущий функционал ресурса позволяет каждому довольно быстро и легко сделать свою страницу. Кроме того, англоязычная аудитория сможет легко подключиться к обсуждению каких-то вопросов. С учетом того, что страницы ресурса индексируются основными поисковиками, проблем с поиском личных страниц из Интернета здесь не будет. Ограничение ресурса по русскому языку ставит перед участниками проблему создания и поддержки собственной страницы где-то на стороне, причем ссылки на свои публикации с machinelearning будут также вести на внешний ресурс. Происходит размывание информационных потоков, а также некоторая изоляция русскоязычного сообщества от мирового. В идеале подобный ресурс должен существовать на всех основных языках мира, чтобы общение могло идти сразу на двух уровнях — на локальном (своем родном языке) и глобальном (на английском).

Kropotov Dmitry, 17 сентября 2009.

Лично я обеими руками ЗА! Сейчас проблема упирается в некоторые технические ограничения, вопрос надо переадресовать Главному Вики-Мастеру. Неплохо бы всё-таки разузнать, почему закрылся ресурс MLpedia.org — не потому ли, что англоязычное профессиональное сообщество сочло идею вики бесперспективной? — К.В.Воронцов 00:59, 3 октября 2009 (MSD).
Я думаю, что английская версия нужна в первую очередь нам самим, чтобы иметь возможность показать свои результаты и рассказать о себе на английском, т.е. показать себя миру. Если кто-то из англоязычной аудитории подключится к ресурсу и будет активно участвовать в обсуждениях, то это, конечно, будет высший пилотаж. Но и без этого сайт будет жить, потому что он нужен нам. Что касается неперспективности MLpedia. Дело в том, что на западе различные интернет-ресурсы очень развиты. В частности, очень развиты интернет-порталы университетов. Каждый студент, только что поступивший в университет, автоматически регистрируется на специальном интернет-сайте, в котором реализованы все коммуникационные возможности, начиная от простейших информационных потоков (расписание занятий, литература, страницы курсов и т.д.) до серьезных социальных коммуникаций (построение общения с друзьями и преподавателями по принципу социальной сети, группы по интересам, коллективные блоги и т.д.). Больше того, все накопленные студентом за время обучения социальные связи после его выпуска автоматически переходят вместе с ним на сайт сообщества выпускников, которое в свою очередь оказывает поддержку университету в дальнейшем. Соответственно, в отличие от нас, у них нет необходимости придумывать что-то дополнительное для эффективной организации учебного процесса + построения профессионального сообщества. Видимо, MLpedia не сумела найти своей ниши и предложить что-то принципиально новое по отношению к Википедии. В нашем же случае есть много задач, решить которые пока в состоянии только machinelearning.ru — D.A. Kropotov 02:23, 4 октября 2009 (MSD)

Минимизация больших булевых функций

Здравствуйте. Я занимаюсь данной проблемой в применении к задачи классификации. В некоторых публикациях Ю.И. Журавлева доступных в интернете я нашел упоминания об этой проблеме. Знает ли кто нибудь хорошие статьи по приближенным методам минимизации больших булевых функций? В данный момент мой основной вариант стохастическая конкуренция импликант. Sandys 09:26, 19 июля 2009 (MSD)

Другие вопросы

Это временное место вопросов, для которых еще нет своего места

ИНС

Добрый день, я только что зарегистрировался, и меня интересует следующий вопрос: считаете ли Вы тему Нейронных сетей частью Машиного обучения, и соответственно являются ли ИНС подтемой данного проекта ? SergeyJ 03:58, 20 апреля 2008 (MSD)

Нашел, что вроде интересует, закинул к Вам свою статью написанную в Википедии Персептрон ... SergeyJ 04:15, 20 апреля 2008 (MSD)

Да, конечно, считаем! Пока Ресурс в стадии становления, и ещё не всё категории созданы. За статью спасибо! — теперь нам есть, что дорабатывать ;) Кстати, рекомендую поскорее обзавестись личной страничкой — всегда приятно знакомиться с коллегами по ФИО, а не по нику — К.В.Воронцов 02:33, 21 апреля 2008 (MSD)

Комментарии по улучшению ресурса

  1. Большое значение имели бы введения в предмет для людей, не знакомых с MachineLearning (например, для людей с математическим образованием).
  2. Хорошо было бы разделять возможности и варианты использования MachineLearning алгоритмов от их «внутренней кухни». Это важно для того, чтобы как можно большее число людей смогли бы воспользоваться современными результатами в этой области.
  3. Хорошо было бы включить еще ссылки на ключевые разделы мат.статистики, поскольку многие выводы из MachineLearning должны следовать от туда :) (это даже не призыв к действию, это просто мысли в слух… Матстатистика дает фундамент для построения объективных оценок, с понятными свойствами. Статистическое интерпретация полученных результатов помогает людям, плохо знакомым с MachineLearning, понять суть получаемых результатов). — ADY 16:56, 18 апреля 2008 (MSD)

ОтветыК.В.Воронцов 23:06, 17 апреля 2008 (MSD):

  1. Да, конечно.
  2. Да, хорошо бы. Статьи, выполняющие эту функцию, будем складывать в категорию Категория:Популярные и обзорные статьи. Есть идея написать большую общую популярную статью, фактически обзор по всему сайту, в которую (по мере создания подробных статей) добавлять краткие ссылки, с указанием, какие методы и подходы, для каких задач нужны, и что важно, а что нет на практике. Большие тематические категории тоже должны сопровождаться такими статьями, пример:
  3. Да, хорошо бы. Для этого заготовлена категория Категория:Прикладная статистика.

Контент создаётся всем сообществом, и не сразу. Чем скорее сообщество MachineLearning.ru воспримет девиз «разобрался сам — объясни всем!», тем скорее появятся хорошие статьи, в том числе популярные.

Требования к системе управления библиографическими данными

Перенес в обсуждение страницы по библиографиямYury Chekhovich 17:24, 24 марта 2008 (MSK)

Изменение переменной Название проекта

По решению участников изменена переменная Название проекта с Распознавание, классификация, прогноз на MachineLearning. Часть ссылок исправилась автоматически. Часть переделываем руками. Возможно что-то упустили. Обо всех найденных «битых» ссылках в пространтсво имён «Распознавание, классификация, прогноз» пишите сюда. — Yury Chekhovich 23:41, 2 марта 2008 (MSK)

Начало работы

Появилась страница Вниманию участников, предназначенная для общения участников. — Yury Chekhovich 13:18, 29 февраля 2008 (MSK)

Личные инструменты