Прогнозирование объемов грузовых железнодорожных перевозок

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
м (Анализ и сравнение моделей прогнозирования)
(Презентации)
 
(14 промежуточных версий не показаны.)
Строка 1: Строка 1:
Страница посвящена описанию проекта по разработке и исследованию свойств системы прогнозирования объемов грузовых железнодорожных перевозок с учетом экзогенных факторов.
Страница посвящена описанию проекта по разработке и исследованию свойств системы прогнозирования объемов грузовых железнодорожных перевозок с учетом экзогенных факторов.
 +
Короткий адрес: [http://bit.ly/2ujH3eE http://bit.ly/2ujH3eE]
== Цели и задачи проекта ==
== Цели и задачи проекта ==
Проект направлен на решение задачи повышения эффективности бизнес-процессов индустриального партнера — ОАО «РЖД». Целью проекта является разработка и адаптация математических методов и алгоритмов прогнозирования с учетом специфики задач, решаемых в интересах ОАО «РЖД», и создание системы прогнозирования на их основе. Применение разработанных методов и алгоритмов, проектирование и внедрение подсистемы прогнозирования, позволят повысить обоснованность, объективность и эффективность принятия решений в бизнес-процессах, связанных с заключением контрактов и планированием грузовых железнодорожных перевозок.
Проект направлен на решение задачи повышения эффективности бизнес-процессов индустриального партнера — ОАО «РЖД». Целью проекта является разработка и адаптация математических методов и алгоритмов прогнозирования с учетом специфики задач, решаемых в интересах ОАО «РЖД», и создание системы прогнозирования на их основе. Применение разработанных методов и алгоритмов, проектирование и внедрение подсистемы прогнозирования, позволят повысить обоснованность, объективность и эффективность принятия решений в бизнес-процессах, связанных с заключением контрактов и планированием грузовых железнодорожных перевозок.
-
* Статьи, посвященные описанию системы: [http://svn.code.sf.net/p/mlalgorithms/code/RailRoads/RZDproject/ScopusPaper/RudakovA&T/Rudakov2015RZD.pdf], [http://svn.code.sf.net/p/mlalgorithms/code/RailRoads/RZDproject/ScopusPaper/ZhuravlevVestnikRAN/RZD2015RAS.pdf]
+
* Статьи, посвященные описанию системы: [http://svn.code.sf.net/p/mlalgorithms/code/RailRoads/RZDproject/ScopusPaper/RudakovA&T/Rudakov2015RZD_RV2.pdf Rudakov2015RZD.pdf], [http://svn.code.sf.net/p/mlalgorithms/code/RailRoads/RZDproject/ScopusPaper/ZhuravlevVestnikRAN/RZD2015RAS.pdf Zhuravlev2015VestnikRAN.pdf]
-
* Запускаемые модули прогнозирования, генерации тестовых данных и тестирования системы [http://svn.code.sf.net/p/mlalgorithms/code/Users/KuznetsovMikhail/RailRoads2015/code [code]].
+
* Запускаемые модули прогнозирования, генерации тестовых данных и тестирования системы [http://svn.code.sf.net/p/mlalgorithms/code/Users/KuznetsovMikhail/RailRoads2015/code [code]] (Май 2016: код временно не доступен).
-
* Функциональные диаграммы системы прогнозирования и генерации тестовых данных: [http://svn.code.sf.net/p/mlalgorithms/code/Users/KuznetsovMikhail/RailRoads2015/doc/IDEF [IDEF]].
+
* Функциональные диаграммы системы прогнозирования и генерации тестовых данных: [http://svn.code.sf.net/p/mlalgorithms/code/Users/KuznetsovMikhail/RailRoads2015/doc/IDEF IDEF].
 +
* Постановочная презентация [[Media:RZD2015MinObrFull.pdf|RZD2015MinObrFull.pdf‎]]
== Компоненты системы ==
== Компоненты системы ==
Строка 44: Строка 46:
* Стенина М.М. Прогнозирование иерархических временных рядов (черновик), [http://svn.code.sf.net/p/mlalgorithms/code/PhDThesis/Stenina/full/SteninaThesis.pdf SteninaThesis.pdf].
* Стенина М.М. Прогнозирование иерархических временных рядов (черновик), [http://svn.code.sf.net/p/mlalgorithms/code/PhDThesis/Stenina/full/SteninaThesis.pdf SteninaThesis.pdf].
!-->
!-->
 +
 +
Решается задача определения оптимального уровня агрегирования временных рядов. Предлагается выполнять прогноз временных рядов, агрегированных по кластерам. Кластеры определяются путем сравнения распределений временных рядов с помощью дивергенции Кульбака-Лейблера.
 +
* Мотренко А.П., Стрижов В.В. Построение агрегированных прогнозов объемов железнодорожных грузоперевозок c использованием расстояния Кульбака-Лейблера // Информатика и ее применения, 2014, 8(2) — 86-97.
 +
* Ссылки на [http://svn.code.sf.net/p/mlalgorithms/code/Group874/Motrenko2014KL/doc/MotrenkoStrojov2014.pdf текст] и [http://svn.code.sf.net/p/mlalgorithms/code/Group874/Motrenko2014KL/code код].
 +
 +
== Отчеты по проекту ==
 +
* Этап 1, обоснование и выбор направления исследований: [[Media:RND_Report_CCAS_RZD_Part1.pdf|RND_Report_CCAS_RZD_Part1.pdf]].
 +
* Этап 2, исследование и разработка математической модели прогнозирования: [[Media:RND_Report_CCAS_RZD_Part2.pdf|RND_Report_CCAS_RZD_Part2.pdf]].
 +
* Этап 3, проведение вычислительных экспериментов, обобщение результатов: [[Media:RND_Report_CCAS_RZD_Part3.pdf|RND_Report_CCAS_RZD_Part3.pdf]]; приложение - отчет о дополнительных исследованиях: [[Media:RND_Report_CCAS_RZD_Part3apx.pdf|RND_Report_CCAS_RZD_Part3apx.pdf]].
 +
* Свидетельство о регистрации ПО: [[Media:SR2016617271.pdf|71]], [[Media:SR2016617272.pdf|72]].
== Презентации ==
== Презентации ==
* Разработка и исследование свойств системы прогнозирования объемов грузовых железнодорожных перевозок // ММРО-17, 2015. [http://svn.code.sf.net/p/mlalgorithms/code/RailRoads/RZDSlides/Strijov2015mmpr.pdf Strijov2015mmpr.pdf].
* Разработка и исследование свойств системы прогнозирования объемов грузовых железнодорожных перевозок // ММРО-17, 2015. [http://svn.code.sf.net/p/mlalgorithms/code/RailRoads/RZDSlides/Strijov2015mmpr.pdf Strijov2015mmpr.pdf].
* Короткая версия презентации: [http://svn.code.sf.net/p/mlalgorithms/code/RailRoads/RZDSlides/CCAS2015Forecasting.pdf rus], [http://svn.code.sf.net/p/mlalgorithms/code/RailRoads/RZDSlides/CCAS2014Forecasting.pdf eng].
* Короткая версия презентации: [http://svn.code.sf.net/p/mlalgorithms/code/RailRoads/RZDSlides/CCAS2015Forecasting.pdf rus], [http://svn.code.sf.net/p/mlalgorithms/code/RailRoads/RZDSlides/CCAS2014Forecasting.pdf eng].
 +
* Алгоритмы иерархического прогнозирования, отчет 2018 [[Media:2018_June_RZD_presentation.pdf|PDF]].
 +
 +
== Презентации (рабочие версии) ==
 +
* [http://svn.code.sf.net/p/mlalgorithms/code/RailRoads/RZDslides/Strijov2015mmpr.pdf Разработка и исследование свойств системы прогнозировани объемов грузовых железнодорожных перевозок, 2015.]
 +
* [http://svn.code.sf.net/p/mlalgorithms/code/RailRoads/RZDslides/RZD2015MinObrFull.pdf Обоснование и выбор направлений исследований, исследование экзогенных факторов и их влияния на обхемы спроса на грузовые железнодорожные перевозки, 2015.]
 +
* [http://svn.code.sf.net/p/mlalgorithms/code/RailRoads/RZDslides/Motrenko2014isuzht.pdf Повышение качества прогнозирования загруженности ЖД узла путем учета внешних факторов, 2014.]
 +
* [http://svn.code.sf.net/p/mlalgorithms/code/RailRoads/RZDslides/Motrenko2014RZD_eng.pdf Improving the quality of forecasting railway stations occupancy by accounting for exogenous factors, 2014.]
 +
* [http://svn.code.sf.net/p/mlalgorithms/code/RailRoads/RZDslides/Strijov2014IOI.pdf Прогнозирование объемов грузоперевозок с учетом экзогенных факторов, 2014.]
 +
* [http://svn.code.sf.net/p/mlalgorithms/code/RailRoads/RZDslides/Strijov2014IOI_eng.pdf Improving the quality of forecasting railway stations occupancy by accounting for exogenous factors, 2014.]
 +
* [http://svn.code.sf.net/p/mlalgorithms/code/RailRoads/ThesisConferenceMIPT/Presentation/Stenina2014Reconciliation.pdf Согласование прогнозов иерархических временных рядов как поиск равновесия Нэша в антагонистической игре, 2014.]
=== Анализ и сравнение моделей прогнозирования ===
=== Анализ и сравнение моделей прогнозирования ===
Строка 53: Строка 75:
* Заметки об оценке длины предыстории ряда [http://svn.code.sf.net/p/mlalgorithms/code/RailRoads/Medvednikova2014RailRoads/doc/Medvednikova2014RailRoads.pdf Medvednikova2014RailRoads.pdf].
* Заметки об оценке длины предыстории ряда [http://svn.code.sf.net/p/mlalgorithms/code/RailRoads/Medvednikova2014RailRoads/doc/Medvednikova2014RailRoads.pdf Medvednikova2014RailRoads.pdf].
* Подход Ю.Н. Орлова к анализу нестационарных временных рядов: описание [http://svn.code.sf.net/p/mlalgorithms/code/PhDThesis/Motrenko/doc/SampleSizeTS.pdf SampleSizeTS.pdf], [http://svn.code.sf.net/p/mlalgorithms/code/PhDThesis/Motrenko/code/TimeSeries код].
* Подход Ю.Н. Орлова к анализу нестационарных временных рядов: описание [http://svn.code.sf.net/p/mlalgorithms/code/PhDThesis/Motrenko/doc/SampleSizeTS.pdf SampleSizeTS.pdf], [http://svn.code.sf.net/p/mlalgorithms/code/PhDThesis/Motrenko/code/TimeSeries код].
-
 
+
* Исследование свойств прогнозируемого ряда и анализ остатков модели: [http://svn.code.sf.net/p/mlalgorithms/code/RailRoads/RZDproject/TSAnalysis.pdf TSAnalysis.pdf]
-
Решается задача определения оптимального уровня агрегирования временных рядов. Предлагается выполнять прогноз временных рядов, агрегированных по кластерам. Кластеры определяются путем сравнения распределений временных рядов с помощью дивергенции Кульбака-Лейблера.
+
-
* Мотренко А.П., Стрижов В.В. Построение агрегированных прогнозов объемов железнодорожных грузоперевозок c использованием расстояния Кульбака-Лейблера // Информатика и ее применения, 2014, 8(2) — 86-97.
+
-
* Ссылки на [http://svn.code.sf.net/p/mlalgorithms/code/Group874/Motrenko2014KL/doc/MotrenkoStrojov2014.pdf текст] и [http://svn.code.sf.net/p/mlalgorithms/code/Group874/Motrenko2014KL/code код].
+

Текущая версия

Страница посвящена описанию проекта по разработке и исследованию свойств системы прогнозирования объемов грузовых железнодорожных перевозок с учетом экзогенных факторов.

Короткий адрес: http://bit.ly/2ujH3eE

Содержание

Цели и задачи проекта

Проект направлен на решение задачи повышения эффективности бизнес-процессов индустриального партнера — ОАО «РЖД». Целью проекта является разработка и адаптация математических методов и алгоритмов прогнозирования с учетом специфики задач, решаемых в интересах ОАО «РЖД», и создание системы прогнозирования на их основе. Применение разработанных методов и алгоритмов, проектирование и внедрение подсистемы прогнозирования, позволят повысить обоснованность, объективность и эффективность принятия решений в бизнес-процессах, связанных с заключением контрактов и планированием грузовых железнодорожных перевозок.

  • Статьи, посвященные описанию системы: Rudakov2015RZD.pdf, Zhuravlev2015VestnikRAN.pdf
  • Запускаемые модули прогнозирования, генерации тестовых данных и тестирования системы [code] (Май 2016: код временно не доступен).
  • Функциональные диаграммы системы прогнозирования и генерации тестовых данных: IDEF.
  • Постановочная презентация RZD2015MinObrFull.pdf‎

Компоненты системы

Задача прогнозирования спроса на грузовые перевозки была поставлена для оперативного планирования перевозок по историческим данным с временным интервалом от суток до года. Для решения задачи необходимо решить ряд подзадач, связанных со спецификой прикладной области.

Исследования по разработке модели прогнозирования

Предложен алгоритм hist непараметрического прогнозирования загруженности железнодорожных узлов РЖД по историческим данным. Алгоритм основан на свертке эмпирической плотности распределения значений временного ряда с функцией потерь. Исследованы свойства алгоритма при гистограммной и ядерной оценке плотности распределения нестационарного временного ряда.

  • Вальков А.С., Кожанов Е.М., Медведникова М.М., Хусаинов Ф.И. Непараметрическое прогнозирование загруженности системы железнодорожных узлов по историческим данным // Машинное обучение и анализ данных. 2012. T. 1, № 4. C. 448-465
  • Ссылка на код.
  • Описание экспериментов по исследованию свойств алгоритма hist: [Stenina2014HistProperties].

Для прогнозирования нестационарных временных рядов с произвольной функцией потерь предлагается двухэтапный алгоритм прогнозирования ARIMA+Hist. На первом этапе используется авторегирессионное интегрированное скользящее среднее ARIMA с сезонной компонентой в случае необходимости. На втором этапе проводится анализ регрессионных остатков и находится оптимальная добавка к прогнозу, полученному на первом шаге, минимизирующая математическое ожидание потерь.

Учет влияния экзогенных факторов

В качестве методов выявления связи между временными рядами рассмотрены тест Грейнджера и метод сходящегося перекрестного отображения. Исследованы экономические факторы, связанные с объектами перевозок: цены на нефть и нефтепродукты, газ, металлы, сахар.

  • Публикации: Вальков А.С., Кожанов Е.М., Мотренко А.П., Хусаинов Ф.И. Построение кросс-корреляционных зависимостей при прогнозе загруженности железнодорожного узла // Машинное обучение и анализ данных. 2013. № 5. С.503-517. Код и текст статьи в папке [1]
  • Мотренко А.П. Использование теста Грейнджера при прогнозировании временных рядов // Машинное обучение и анализ данных. 2011. № 1. С. 51-60. Материалы.

Для учета экзогенных факторов в модели гистограммного прогнозирования предлагается уточнить гистограмму прогнозируемого (эндогенного) временного ряда, используя информацию о реализации значений экзогенных временных рядов. Рассматриваются методы уточнения гистограммы: условные гистограммы, смеси гистограмм.

Прогноз с учетом топологии

Предлагается повысить качество прогноза за счет учета топологии сети: выполняется прогнозирование отправлений по парам станций вместо прогнозирования отправления всех вагонов с заданной станции. Поставлен вычислительный эксперимент, который подтвердил предположение о том, что прогноз по парам станций точнее, чем прогноз суммарного количества отправленных с заданной станции вагонов.

  • Газизуллина Р.К., Стенина М.М., Стрижов В.В. Прогнозирование объемов железнодорожных грузоперевозок по парам веток // Системы и средства информатики. — 2015, 25(1) — 144-157.
  • Ссылки на код и текст статьи.

Согласование прогнозов

Исследуются задача согласования прогнозов временных рядов, образующих иерархическую структуру. К прогнозам таких рядов как правило предъявляется требование согласованности прогнозов по уровням иерархии. Предлагается алгоритм согласования прогнозов иерархических временных рядов, основанный на решении задачи оптимизации с ограничениями. Предлагаемый алгоритм позволяет проводить согласование прогнозов в случае иерархической структуры, а также учитывать физические ограничения на прогнозируемые величины, такие как неотрицательность или максимальное значение.

  • Обзор методов согласования прогнозов Stenina2014ReconciliationSurvey.pdf
  • Стенина М., Стрижов В. Согласование агрегированных и детализированных прогнозов при решении задач непараметрического прогнозирования // Системы и средства информатики, 2014, 24(2) — 21-34. текст, код.

Предлагается алгоритм согласования прогнозов иерархических временных рядов GTOp (Game-theoretically optimal reconciliation), гарантирующий неухудшение качества прогнозов после проведения процедуры согласования по сравнению с качеством прогнозов, полученных для каждого временного ряда независимо. Подход базируется на поиске равновесия Нэша в антагонистической игре заданного вида и сводит задачу согласования прогнозов к задаче оптимизации с ограничениями типа равенства и неравенства.

  • Стенина М.М., Стрижов В.В. Согласование прогнозов при решении задач прогнозирования иерархических временных рядов // Информатика и ее применения, 2015. текст, код.
  • Стенина М.М. Согласование прогнозов в задачах прогнозирования иерархических временных рядов (квалификационная работа магистра), SteninaMSThesis.pdf.

Решается задача определения оптимального уровня агрегирования временных рядов. Предлагается выполнять прогноз временных рядов, агрегированных по кластерам. Кластеры определяются путем сравнения распределений временных рядов с помощью дивергенции Кульбака-Лейблера.

  • Мотренко А.П., Стрижов В.В. Построение агрегированных прогнозов объемов железнодорожных грузоперевозок c использованием расстояния Кульбака-Лейблера // Информатика и ее применения, 2014, 8(2) — 86-97.
  • Ссылки на текст и код.

Отчеты по проекту

  • Этап 1, обоснование и выбор направления исследований: RND_Report_CCAS_RZD_Part1.pdf.
  • Этап 2, исследование и разработка математической модели прогнозирования: RND_Report_CCAS_RZD_Part2.pdf.
  • Этап 3, проведение вычислительных экспериментов, обобщение результатов: RND_Report_CCAS_RZD_Part3.pdf; приложение - отчет о дополнительных исследованиях: RND_Report_CCAS_RZD_Part3apx.pdf.
  • Свидетельство о регистрации ПО: 71, 72.

Презентации

  • Разработка и исследование свойств системы прогнозирования объемов грузовых железнодорожных перевозок // ММРО-17, 2015. Strijov2015mmpr.pdf.
  • Короткая версия презентации: rus, eng.
  • Алгоритмы иерархического прогнозирования, отчет 2018 PDF.

Презентации (рабочие версии)

Анализ и сравнение моделей прогнозирования

  • Визуальный отчет о тестировании системы (набор рисунков и таблиц, MK), report.pdf
  • Заметки об оценке длины предыстории ряда Medvednikova2014RailRoads.pdf.
  • Подход Ю.Н. Орлова к анализу нестационарных временных рядов: описание SampleSizeTS.pdf, код.
  • Исследование свойств прогнозируемого ряда и анализ остатков модели: TSAnalysis.pdf
Личные инструменты