Обсуждение участника:ADY
Материал из MachineLearning.
Вниманию участников
Появилась страница Вниманию участников предназначенная для общения участников по проекту. Предлагаю все идеи и проблемы вносить туда. --Yury Chekhovich 13:56, 29 февраля 2008 (MSK)
О правилах хорошего тона и некоторых отличиях машинного обучения от философии
Уважаемый участник! 1. На персональной странице неплохо бы первым делом представиться. Нам нечего скрывать друг от друга. 2. А вот за этими словами про машинное обучение стоит ли конкретное знание, опыт, десятки раздавленных граблей? Если это просто философствования, то я не рекомендовал бы это держать даже на личной страничке. Пока этот текст абсолютно непонятен. — К.В.Воронцов 13:45, 5 апреля 2008 (MSD)
Статья RapidMiner
Правильнее будет дать описание системы на русском языке и своими словами.
В качестве примера описания системы рекомендую использовать статью WEKA.
Andrew 15:35, 15 апреля 2008 (MSD)
Статья про RapidMiner уже приведена в божеский вид
Андрей, не зевай — я за тебя доделал RapidMiner! Но остальные три статьи за тобой! ;) Давай будем стараться не плодить столь неотёсанных заготовок. Признаться, я и сам грешен, но стараюсь хотя бы наметить структуру, поставить шаблончик {{stub}}) или {{UnderConstruction|Подпись=~~~~}}. Ещё рекомендую заглядывать в англоязычную Википедию и другие непредвзятые источники. На страницах производителей некоторые высказывания носят рекламный характер. Ещё, по RapidMiner-у проверь пож-ста факты: я не слишком глубоко в нём разбираюсь. Например, он все или только многие операторы WEKA поддерживает? — К.В.Воронцов 23:40, 15 апреля 2008 (MSD)
>он все или только многие операторы WEKA поддерживает
Я два года назад его изучал... Тогда в документации было написано, что по счастливому совпадению WEKA оказалась полностью совместима с YALE(RapidMiner) :). | ADY 23:55, 21 апреля 2008 (MSD)
Возник вот форумный вопрос...
Допустим требуется выбрать одну лучшую из двух дискретных функций распределения вероятностей и согласно функционалу качества: , где — истинные значения вероятностей.
Насколько я понимаю, если верно соотношение: (для всех i), при уровне справедливости , где — оценка вероятностей на конкретных данных (то есть, другими словами, есть доверительный интервал для оценок вероятностей), то: и , а значит: P1 лучше P2 в смысле функционала V на уровне справедливости , если . И, аналогично, P2 лучше P1 в смысле функционала V на уровне справедливости , если . Верно ли такое утверждение и как построить доверительные интервалы для вероятности для частотной оценки вероятностей? | ADY 14:45, 23 мая 2008 (MSD)
- Ответ
- Понять вопрос затруднительно: не ясно, что такое , , , , .
- Уровень значимости, а не справедливости.
- Почему именно такая функция качества, а не какая-либо стандартная: Колмогорова-Смирнова, Кульбака-Лейблера, хи-квадрат?
- Кажется, в формуле имелось в виду ?
- Этому вопросу здесь не место (см. шапку этой страницы). Лучше написать мне письмо — К.В.Воронцов 15:43, 25 мая 2008 (MSD).
- Ответ[2]
- - функция V, в которую входят значения с *; - множество допустимых значений вероятностей на уровне ; - максимальное допустимое отклонение от оценки вероятности на уровне ; , - максимальное допустимое отклонение функционалов на уровне .
- Всегда путаю, что обзывается этим уровнем - мощность критического множества или дополнительного к критическому - посему использовал "уровень справедливости" (мощность множества: множество = все_множество - критическое_множество).
- Такая функция напрямую следует из задачи.
- Да, там действительно была очепятка (должна быть такая же формула, что и для ).
- А где место?... :) — Сейчас веду работы по подключению к ресурсу ML форума. Одно из предназначений — вопросы/ответы. Пока лучше обращаться к конкретному участнику по почте или в обсуждении, или кратко задавать вопрос на странице Вниманию участников (Другие вопросы) и давать ссылку на свою страницу обсуждения с полной постановкой. Andrew 17:05, 26 мая 2008 (MSD)
- Спасибо за комментарий. | ADY 13:41, 26 мая 2008 (MSD)
Статьи GATE, Joone и LinguaStream
Андрей, созданные Вами страницы (см. заголовок) уже полтора месяца висят без изменений, хотя очень в них нуждаются. Необходимо привести их в порядок (переписать на русском языке в рекомендованном виде). Иначе придется их удалить, чего делать не хотелось бы. Если в чем то могу помочь, обращайтесь. --Yury Chekhovich 16:33, 30 мая 2008 (MSD)
- Ответ
Есть несколько причин, из-за которых я не могу выполнить Вашу просьбу: 1) в ближайшем месяце - нет времени на то, чтобы выполнить эти работы; 2) z не работал с этими системами и знаю о них только то, что написано в документации; 3) плохо знаю теги для оформления вики-страниц. На самом деле, я просто хотел поделиться ссылками на бесплатные системы, которые считаю интересными и актуальными. В итоге, я не возражаю против удаления недоделанных статей о них. -- ADY 13:39, 7 июня 2008 (MSD)
Обсуждение задачи о восстановлении дискретной функции плотности вероятности
Ищу литературу (покупаю и готов покупать дальше необходимые книжки на английском), но еще не совсем уверен в точной постановке задачи, которую решаю.
Задача состоит в восстановлении дискретной функции плотности вероятности.
Есть большой набор данных:
{ Real: x, Real: y, X(x,y) }, где X - точка-множество в дискретном вероятностном пространстве (например, {{0,0},{1,2}). x, y - экспертные оценки на некоторые общие вероятностные характеристики события, реализация которого есть X(x,y) (в первом приближении это можно не учитывать).
Стоит задача для заданных (x0, y0) найти лучшую оценку фпв Pr*{ X(x,y) }(x0, y0) в смысле функционала качества: , где - истинные значения вероятностей.
Первое, что приходит в голову - это разбить данные на группы по интервалам для x и y, и построить фпв для каждой группы - частотные функции. Но возникают как минимум две проблемы: 1) Как сглаживать фпв для малых выборок? 2) Как комбинировать функционалы от частотные функции фпв, чтобы результаты оставались в рамках выбранного уровня значимости?
Может ли кто-нибудь что-нибудь подсказать/посоветовать?
Как оценить качество эмпирической ф.п.в.?
Не до конца понимаю, как оценить качество эмпирической функции плотности вероятностей , для выборки *конечного* объема N, для заданного функционала качества: , где - истинные значения вероятностей. Хочется иметь строгую оценку в терминах уровня значимости. Пока в голову приходит лишь мысль разбить выборку на случайные подвыборки одинакового объема (K1 ~ 10) и попробовать что-то сделать с последовательностью функционалов q(...) для этих подвыборок, считая за истинные вероятности эмпирические вероятности от оставшихся данных...
Вообще, про выборки конечного объема почему-то нигде не пишут :(...
Где можно почитать об оценивании с функцией штрафа?
Где можно почитать об оценивании параметров известного распределения Pr*( {t} ), c функцией штрафа: , - эмпирические частоты, n - число исходов ), для конечной выборки объема N (то есть нужна состоятельная оценка параметров {t'}, у которой E{W({t'})} минимально)? Похоже нужно как-то "исправить" оценку методом , чтобы она осталась состоятельной и при этом удовлетворяла условию задачи.
- Ответ на всё скопом. По поводу последних трёх разделов. Что-то я опять не могу продраться сквозь твои обозначения и самовыдуманные термины. Что такое «точка-множество»? Чем не устраивают стандартные методы непараметрического оценивания плотности? Чем не устраивает критерий Колмогорова-Смирнова и иже с ними? Видимо, пора встречаться ;). — К.В.Воронцов 00:38, 12 июля 2008 (MSD)
- >Что такое «точка-множество»?
- Вектор значений (пример данных указан в условии) из множества значений векторов.
- >Чем не устраивают стандартные методы непараметрического оценивания плотности?
- Может и устраивают, тока, с своему стыду, я не смог продраться через обозначения и как-то введенные объекты. К счастью, из самой задачи удалось построить вполне хорошую апроксимация плотности (практически с любой точностью).
- >Чем не устраивает критерий Колмогорова-Смирнова и иже с ними?
- Критерий тоже следует из задачи.