Нейронные карты занятости в робототехнике

Материал из MachineLearning.

Версия от 12:04, 19 июля 2026; Kirill Solovev (Обсуждение | вклад)
(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)
Перейти к: навигация, поиск
Статья написана с использованием LLM GPT-5.6 Sol и проверена участником Kirill Solovev 16:04, 19 июля 2026 (MSD)


Содержание

Карта занятости в робототехнике описывает, какие области окружающего пространства свободны, заняты препятствиями или ещё не исследованы. Нейронные карты занятости (neural occupancy maps) — семейство методов, в которых для построения, обновления или хранения такой карты используются нейронные сети.

Нейронная модель может непосредственно предсказывать вероятности занятости ячеек двумерной или трёхмерной сетки либо задавать непрерывную функцию, которую можно вычислить в произвольной точке пространства. Во втором случае говорят о нейронном неявном представлении (neural implicit representation) или нейронном поле (neural field).

Карты занятости применяются для навигации, планирования движения, обнаружения столкновений, исследования неизвестной среды и одновременной локализации и построения карты. Важное требование к робототехнической карте состоит в том, что предсказанное нейросетью пространство нельзя автоматически считать исследованным: правдоподобное восстановление скрытой области не является доказательством того, что она свободна.

Основные понятия

Пусть рабочая область робота задана множеством \Omega\subseteq\mathbb{R}^d, где d=2 для плоской карты и d=3 для объёмной карты. Каждой точке или небольшой области пространства сопоставляется состояние:

  • свободно — робот или его часть могут занимать эту область;
  • занято — область содержит препятствие;
  • не исследовано — имеющихся измерений недостаточно для вывода о занятости.

В вероятностной постановке вводится случайная величина M(\mathbf{x})\in\{0,1\}, где единица обозначает занятость точки \mathbf{x}. После получения измерений \mathbf{z}_{1:t} при положениях робота или датчика \mathbf{q}_{1:t} карта задаёт апостериорную вероятность

p_t(\mathbf{x})=P\left(M(\mathbf{x})=1\mid\mathbf{z}_{1:t},\mathbf{q}_{1:t}\right).

Малая вероятность соответствует свободному пространству, а большая — препятствию. Однако значение, близкое к 0{,}5, может означать как недостаток данных, так и неопределённость около границы объекта. Поэтому в практических системах вместе с вероятностью занятости желательно хранить маску наблюдений, число измерений или отдельную оценку уверенности.

Классические карты занятости

Основой нейронных методов служит вероятностная сетка занятости (occupancy grid), предложенная в работах Альберто Эльфеса[1]. Пространство разбивается на ячейки, а в каждой ячейке хранится вероятность наличия препятствия.

Для удобного последовательного объединения измерений часто используются логарифмические шансы

\ell_{t,i}=\log\frac{p_{t,i}}{1-p_{t,i}},

где p_{t,i} — вероятность занятости ячейки i. При стандартных предположениях обновление имеет вид

\ell_{t,i}=\ell_{t-1,i}+\log\frac{P(m_i=1\mid\mathbf{z}_t,\mathbf{q}_t)}{1-P(m_i=1\mid\mathbf{z}_t,\mathbf{q}_t)}-\ell_{0,i}.

Распределение P(m_i\mid\mathbf{z}_t,\mathbf{q}_t) называется обратной моделью датчика (inverse sensor model). Для дальномерного датчика ячейки вдоль луча до измеренной поверхности обычно обновляются как свободные, а ячейки около конца луча — как занятые.

Классическая сетка предоставляет быстрый доступ к ячейкам и явно отделяет неизвестное пространство от свободного. Её недостатками являются зависимость точности от размера ячейки и рост памяти с увеличением разрешения. Для трёхмерных карт число элементов полной сетки растёт кубически. В системе OctoMap однородные области объединяются с помощью октодерева, что позволяет компактно хранить занятые, свободные и неизвестные объёмы[1].

Что делает карту нейронной

Термин «нейронная карта занятости» не обозначает один конкретный алгоритм. Нейронная сеть может участвовать в построении карты несколькими способами.

Явное предсказание сетки

В явном представлении нейронная сеть получает изображение, облако точек, последовательность лидарных измерений или предварительно построенную измерительную сетку и выдаёт массив вероятностей занятости. Выход сети остаётся обычной двумерной сеткой или трёхмерным массивом вокселей.

Для такого предсказания применяются свёрточные сети, архитектуры типа кодировщик—декодировщик и рекуррентные сети. Модель может использовать пространственные зависимости между соседними ячейками, восстанавливать частично скрытые поверхности и объединять несколько последовательных наблюдений.

В динамических картах дополнительно оцениваются скорости занятых ячеек. Например, в работе Dynamic Occupancy Grid Mapping with Recurrent Neural Networks свёрточно-рекуррентная модель обрабатывала последовательности лидарных измерений и предсказывала вероятность занятости и скорость в каждой ячейке[1].

Непрерывная функция занятости

В неявном представлении карта не хранит готовое значение для каждой точки. Вместо этого нейронная сеть вычисляет вероятность занятости по координате:

p_\theta(\mathbf{x}\mid\mathbf{c})=\sigma\left(g_\theta(\gamma(\mathbf{x}),\mathbf{c})\right).

Здесь g_\theta — нейронная сеть с параметрами \theta, \sigma — сигмоидальная функция, \gamma(\mathbf{x}) — координата или её позиционное кодирование, а \mathbf{c} — описание наблюдений или локальный вектор признаков.

Поверхность препятствия можно определить как множество точек, в которых вероятность равна выбранному порогу:

\mathcal{S}_\tau=\{\mathbf{x}\in\Omega:p_\theta(\mathbf{x}\mid\mathbf{c})=\tau\}.

Такую функцию можно вычислять в произвольных координатах, поэтому геометрия формально не привязана к разрешению выходной сетки. Это не означает бесконечной фактической точности: она ограничена разрешением датчиков, ошибками положения камеры, ёмкостью модели и качеством обучения.

Работа Occupancy Networks 2019 года показала, что поверхность трёхмерного объекта можно представить как границу решений нейронного классификатора[1]. Исходный метод был разработан прежде всего для реконструкции отдельных объектов по изображениям, облакам точек и воксельным данным, а не как готовая система картографирования мобильного робота. Тем не менее он стал одной из основ нейронных неявных представлений геометрии.

Гибридные представления

Одна общая многослойная сеть может плохо запоминать большую сцену и медленно обновляться при появлении новых наблюдений. Поэтому многие системы сочетают:

  • разреженную сетку, хеш-таблицу или октодерево;
  • обучаемые локальные векторы признаков;
  • небольшой общий многослойный перцептрон, преобразующий локальные признаки в занятость или расстояние до поверхности.

Такое представление остаётся непрерывным при запросе, но использует пространственную структуру для локального обновления и масштабирования на большие сцены. Фактическая память при этом расходуется не только на параметры нейросети, но и на локальные признаки.

Поля расстояний

В робототехнике вместо прямой вероятности занятости часто обучается знаковое поле расстояний (signed distance field, SDF). Его значение равно расстоянию до ближайшей поверхности, взятому со знаком. Обычно принимается, что внутри препятствия расстояние отрицательно, а в свободном пространстве положительно.

Из поля расстояний можно получить сглаженную оценку занятости:

p_\theta(\mathbf{x})=\sigma\left(-\frac{s_\theta(\mathbf{x})}{\beta}\right),

где s_\theta(\mathbf{x}) — предсказанное знаковое расстояние, а \beta>0 управляет шириной переходной области около поверхности.

Градиент поля указывает направление изменения расстояния. Это удобно для оптимизации траектории и вычисления штрафа за приближение к препятствию. Чтобы нейронная функция была похожа на настоящее поле расстояний, может использоваться эйкональный штраф

\mathcal{L}_{\mathrm{eik}}=\frac{1}{N}\sum_{i=1}^{N}\left(\|\nabla_{\mathbf{x}}s_\theta(\mathbf{x}_i)\|_2-1\right)^2.

Нейронное поле расстояний само по себе не является вероятностной картой занятости. Для безопасной навигации к нему по-прежнему требуется добавить сведения о том, какие области действительно наблюдались, и учесть неопределённость измерений.

Построение карты по данным датчиков

Исходные данные

Для построения карты могут использоваться:

  • двумерный или трёхмерный лидар;
  • камера глубины;
  • стереокамера;
  • обычные камеры совместно с методом оценки глубины;
  • ультразвуковые и радиолокационные датчики;
  • объединение нескольких типов датчиков.

Для переноса измерений в общую систему координат необходимо знать положение датчика. Оно может поступать от внешней системы локализации, одометрии или оцениваться одновременно с картой в задаче SLAM.

Пусть луч дальномерного датчика задаётся выражением

\mathbf{r}(s)=\mathbf{o}+s\mathbf{d},\quad s\geq 0,

где \mathbf{o} — начало луча, а \mathbf{d} — его направление. Если измеренная глубина равна s^\ast, точки до поверхности дают сведения о свободном пространстве. Точки около s^\ast дают сведения о поверхности препятствия. Область за первой обнаруженной поверхностью остаётся неизвестной, поскольку датчик её не наблюдал.

Это различие особенно важно для непрерывных моделей. При реконструкции замкнутого трёхмерного объекта обучающая выборка может содержать правильные метки для его внутренней области. При картографировании по отдельному изображению глубины внутренность объекта и пространство за ним непосредственно не наблюдаются.

Функция потерь

Для обучения вероятности занятости обычно применяется бинарная кросс-энтропия:

\mathcal{L}_{\mathrm{occ}}=-\frac{1}{N}\sum_{i=1}^{N}\left[w_1y_i\log p_\theta(\mathbf{x}_i)+w_0(1-y_i)\log\left(1-p_\theta(\mathbf{x}_i)\right)\right].

Здесь y_i\in\{0,1\} — целевая метка, а коэффициенты w_0 и w_1 позволяют компенсировать различие числа свободных и занятых примеров.

Большая часть точек на дальномерном луче относится к свободному пространству, а занятые точки сосредоточены около поверхностей. Поэтому равномерная выборка может привести к сильному дисбалансу классов. На практике отдельно выбирают точки около поверхностей, в свободном пространстве и в других информативных областях.

Для поля расстояний используются ошибки между предсказанным и целевым расстояниями, эйкональный штраф, а иногда фотометрические и глубинные функции потерь. Конкретный набор слагаемых зависит от типа датчика и способа представления сцены.

Предварительное и онлайновое обучение

Различают два режима построения карты.

  • При предварительном обучении сеть обучается на множестве сцен или объектов. Во время работы она быстро строит карту нового пространства по входным наблюдениям. Полученные из обучающей выборки геометрические закономерности помогают заполнять пропуски, но могут вызывать ошибки при встрече с необычной средой.
  • При онлайновом обучении параметры сети или локальные признаки оптимизируются непосредственно по измерениям текущей сцены. Такой подход не требует готовой карты, но расходует вычислительные ресурсы во время движения робота.
  • В комбинированном режиме общий декодер предварительно обучается, а локальные признаки или часть параметров уточняются в новой среде.

При последовательном обучении возможна катастрофическая забывчивость: обновления по новым кадрам ухудшают ранее восстановленные области. Для её уменьшения применяются повторное использование ключевых кадров, локальные параметры и регуляризация изменений карты.

Совместное картографирование и локализация

Если положения датчика известны неточно, ошибки траектории переходят в геометрию карты. В нейронном SLAM положения кадров и представление сцены могут оптимизироваться совместно. Из текущей карты синтезируется глубина или цвет, после чего положение камеры изменяется так, чтобы предсказанные наблюдения согласовались с реальными.

Система iMAP показала возможность использовать многослойный перцептрон как единственное представление геометрии и цвета сцены в онлайновом RGB-D SLAM[1]. Авторы сообщали о слежении с частотой 10 Гц и глобальном обновлении карты с частотой 2 Гц. Ограничениями одного глобального перцептрона оказались сглаживание деталей и трудность масштабирования на большие помещения.

NICE-SLAM использовал иерархические сетки локальных признаков и предварительно обученные геометрические априорные знания, чтобы повысить детализацию и масштабируемость нейронного SLAM в помещениях[1].

Ошибки карты и положения камеры в совместной оптимизации взаимосвязаны. Неточная геометрия может сместить оценку положения, а ошибочное положение, в свою очередь, создаёт двойные поверхности и размывает карту. Поэтому качество нейронного представления нельзя оценивать независимо от качества локализации.

Неизвестное пространство и неопределённость

Для классической карты занятости неизвестная ячейка — это ячейка, в которую ещё не поступали измерения. Нейронная сеть, напротив, способна вернуть число для любой координаты, даже если рядом никогда не было наблюдений. Такое число является экстраполяцией модели.

Следует различать:

  • неопределённость измерений — шум дальномера, ошибки оценки глубины и положения датчика;
  • неопределённость модели — недостаток обучающих данных или выход за пределы обучающего распределения;
  • неизвестность области — отсутствие прямых наблюдений данного участка пространства;
  • неоднозначность геометрии — несколько сцен, одинаково согласующихся с имеющимися изображениями.

Обычный выход сигмоидального слоя не обеспечивает надёжной оценки всех этих видов неопределённости. Высокая вероятность может быть плохо откалибрована, а уверенное предсказание скрытой стены не превращает её в измеренный объект.

Для сохранения неизвестного пространства применяются:

  • отдельная маска наблюдений или поле покрытия лучами;
  • хранение числа и давности измерений;
  • объединение нейронной геометрии с классической вероятностной картой;
  • ансамбли моделей или приближённые байесовские оценки;
  • консервативные пороги и увеличение препятствий на величину запаса безопасности;
  • раздельное хранение наблюдённой и предсказанной геометрии.

Для безопасного планирования область следует считать свободной только при наличии достаточных наблюдений и малой вероятности занятости. Неисследованную область робот может либо избегать, либо целенаправленно исследовать с ограниченной скоростью.

Динамические среды

Большинство ранних нейронных неявных карт предполагает неподвижную сцену. Люди, транспорт, двери и перемещаемые предметы нарушают это предположение. Последовательное объединение наблюдений динамического объекта может оставить в карте следы в нескольких положениях.

Для динамического картографирования используют:

  • рекуррентные модели, обрабатывающие последовательность сеток;
  • оценку скорости или потока занятости;
  • временную координату в нейронной функции;
  • выделение и отдельное отслеживание движущихся объектов;
  • уменьшение веса старых наблюдений;
  • локальное обновление изменившихся областей.

Время само по себе не решает задачу: системе необходимо отличать движение объекта от ошибки локализации и изменения показаний датчика. Для планирования также важно предсказывать не только текущее, но и возможное будущее положение препятствия.

Использование карты роботом

Навигация и планирование движения

Планировщик проверяет точки или объёмы вдоль предполагаемого пути. Для мобильного робота препятствия обычно расширяются с учётом размеров корпуса и запаса безопасности. Для манипулятора запросы выполняются для звеньев робота во множестве конфигураций.

Нейронное поле занятости обеспечивает непрерывные запросы, а поле расстояний дополнительно даёт расстояние и его градиент. В работе iSDF было показано онлайновое обучение нейронного поля расстояний по потоку изображений глубины и получение стоимостей столкновения и градиентов для задач от навигации до манипулирования[1].

Для критичных к безопасности систем одного нейронного предсказания обычно недостаточно. Планировщику необходимы сведения о наблюдаемости, погрешности локализации и максимальной допустимой задержке обновления карты.

Исследование среды

Граница между известным свободным и неизвестным пространством называется фронтиром (frontier). Робот может выбирать движения, которые одновременно ведут к цели и увеличивают объём исследованного пространства. Нейронные априорные знания позволяют предположить форму скрытой части сцены, но исследовательское поведение должно быть направлено на проверку таких предположений.

Локализация

Наблюдение лидара или камеры можно сопоставлять с картой, минимизируя расстояние измеренных точек до поверхности или ошибку между реальной и синтезированной глубиной. Дифференцируемое нейронное поле позволяет вычислять производные этой ошибки по положению датчика.

Семантическое картографирование

Кроме занятости, модель может предсказывать распределение классов объектов, проходимость поверхности, скорость или другие свойства. Семантическая карта отвечает на вопрос, что находится в данной области, а карта занятости — можно ли считать эту область свободной. Семантический класс не должен заменять непосредственную оценку столкновения: неизвестный объект всё равно может быть препятствием.

Связь с другими представлениями

Представление Хранимая или предсказываемая величина Основные достоинства Основные ограничения
Классическая сетка занятости Вероятность занятости каждой ячейки Быстрые запросы, явное неизвестное пространство, простое вероятностное обновление Зависимость от разрешения, большой объём плотной трёхмерной сетки
Нейронная явная сетка Массив вероятностей, иногда классов и скоростей Использование пространственного и временного контекста, быстрое получение всей локальной карты Фиксированные границы и разрешение выходного массива
Нейронная функция занятости Вероятность занятости в произвольной координате Непрерывные запросы, гладкие поверхности, возможность использовать обученные геометрические закономерности Стоимость большого числа запросов, сложность калибровки и отделения неизвестного пространства
Нейронное поле расстояний Знаковое или незнаковое расстояние до поверхности Расстояния, нормали и градиенты для планирования Не является вероятностью занятости и требует отдельного учёта наблюдаемости
Нейронное поле излучения Объёмная плотность и цвет, зависящий от направления Синтез изображений и фотореалистичное представление внешнего вида Плотность NeRF не равна непосредственно вероятности столкновения

Нейронное поле излучения (Neural Radiance Field, NeRF) было первоначально предложено для синтеза изображений с новых точек зрения. Оно предсказывает объёмную плотность и цвет вдоль лучей камеры[1]. Геометрию из такого поля можно извлекать или преобразовывать в карту, но исходное поле плотности нельзя без дополнительной модели интерпретировать как откалиброванную вероятность занятости.

Развитие методов

Развитие нейронных карт занятости связано с несколькими направлениями исследований.

  • В 1980-х годах вероятностные сетки занятости сформировали общий подход к объединению неопределённых измерений и представлению свободного, занятого и неизвестного пространства.
  • OctoMap перенёс вероятностную занятость в компактное трёхмерное представление на основе октодерева.
  • Occupancy Networks представили поверхность как границу решений непрерывного нейронного классификатора и продемонстрировали реконструкцию трёхмерных объектов без фиксированной выходной воксельной сетки.
  • iMAP продемонстрировал онлайновый RGB-D SLAM, в котором геометрия и цвет сцены хранятся в параметрах многослойного перцептрона.
  • Dynamic Occupancy Grid Mapping with Recurrent Neural Networks показал явное нейронное предсказание динамической сетки занятости со скоростями ячеек.
  • NICE-SLAM ввёл иерархические локальные признаки для более детального и масштабируемого нейронного картографирования помещений.
  • iSDF связал онлайновое нейронное поле расстояний с вычислением стоимостей столкновения и градиентов для планировщика.
  • SHINE-Mapping применил разреженные иерархические признаки в октодереве и общий декодер поля расстояний для крупномасштабного инкрементального картографирования по лидару[1]. В работе была продемонстрирована последовательная реконструкция на маршруте KITTI длиной около четырёх километров.

Эти системы решают разные задачи и не образуют последовательность версий одного алгоритма. Occupancy Networks относятся прежде всего к обучаемой реконструкции формы, iMAP и NICE-SLAM — к плотному визуальному SLAM, iSDF — к полям расстояний для восприятия робота, а SHINE-Mapping — к крупномасштабному лидарному картографированию.

Преимущества

К возможным преимуществам нейронных карт относятся:

  • непрерывное представление геометрии;
  • восстановление деталей без очень плотной выходной сетки;
  • использование пространственного контекста и нескольких типов датчиков;
  • подавление части шума измерений;
  • дифференцируемые запросы для локализации и оптимизации траектории;
  • возможность совместного предсказания занятости, семантики и движения;
  • использование локальных признаков и общих декодеров для сжатия повторяющейся геометрии.

Эти свойства зависят от архитектуры. Например, гибридная карта с плотными обучаемыми признаками может занимать больше памяти, чем разреженная классическая карта, а глобальный перцептрон может оказаться компактным, но медленным при большом числе запросов.

Ограничения

К основным ограничениям относятся:

  • ошибки в неизвестных областях: сеть может правдоподобно, но неверно восстановить невидимое препятствие или свободное пространство;
  • сдвиг распределения: модель, обученная на помещениях одного типа, может ненадёжно работать в другой среде;
  • некалиброванная уверенность: числовой выход сети не обязательно соответствует реальной частоте ошибок;
  • вычислительная стоимость: онлайновое обучение и многократные запросы требуют графического ускорителя или специальных оптимизаций;
  • ошибки локализации: неточные положения кадров искажают обучаемую геометрию;
  • катастрофическая забывчивость: новые наблюдения могут ухудшать старые части карты;
  • динамические препятствия: статическая модель сохраняет устаревшую геометрию;
  • отсутствие строгих гарантий: непрерывность нейронной функции не гарантирует отсутствие пропущенных тонких препятствий между проверенными точками;
  • сложность редактирования и объединения: параметры сети труднее исправлять и объединять вручную, чем отдельные ячейки;
  • зависимость от обучающих данных: геометрические априорные знания могут отражать смещения набора данных.

В системах, где столкновение может причинить вред, нейронную карту следует дополнять консервативной обработкой неизвестного пространства, контролем свежести измерений, независимыми средствами обнаружения препятствий и аварийной остановкой.

Оценка качества

Оценивать нейронную карту только по внешнему виду восстановленной поверхности недостаточно. Используются несколько групп показателей.

Занятость и калибровка

Для вероятностей занятости применяются:

  • точность, полнота и F-мера;
  • пересечение над объединением (intersection over union, IoU);
  • бинарная кросс-энтропия;
  • оценка Брайера;
  • диаграммы надёжности и ошибка калибровки.

Показатели следует вычислять отдельно для наблюдённых областей, границ препятствий и областей, которые были скрыты от датчика.

Геометрия

Качество поверхности оценивают по расстоянию между реконструкцией и эталонным облаком точек или полигональной моделью. Применяются расстояние Шамфера, точность и полнота поверхности, ошибка знакового расстояния и качество нормалей.

Робототехническая пригодность

Практическая оценка включает:

  • долю успешно построенных траекторий;
  • число столкновений и ложных запретов движения;
  • минимальное расстояние до препятствий;
  • качество градиентов стоимости столкновения;
  • ошибку локализации;
  • частоту и задержку обновления;
  • время одного запроса;
  • потребление оперативной и видеопамяти;
  • устойчивость к шуму, пропускам данных и движущимся объектам.

Сравнение методов должно проводиться при одинаковых данных датчиков, траекториях, доступных вычислительных ресурсах и правилах обработки неизвестного пространства. Иначе улучшение реконструкции может быть следствием более сильного априорного знания или использования дополнительной информации, а не более качественной модели занятости.

См. также

Примечания


Литература

  • Elfes A. Using Occupancy Grids for Mobile Robot Perception and Navigation // Computer. — 1989. — Т. 22. — № 6. — С. 46—57.
  • Hornung A., Wurm K. M., Bennewitz M., Stachniss C., Burgard W. OctoMap: An Efficient Probabilistic 3D Mapping Framework Based on Octrees // Autonomous Robots. — 2013. — Т. 34. — № 3. — С. 189—206.
  • Mildenhall B., Srinivasan P. P., Tancik M., Barron J. T., Ramamoorthi R., Ng R. NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis // Computer Vision — ECCV 2020. — 2020. — С. 405—421.
Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%9D%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5_%D0%BA%D0%B0%D1%80%D1%82%D1%8B_%D0%B7%D0%B0%D0%BD%D1%8F%D1%82%D0%BE%D1%81%D1%82%D0%B8_%D0%B2_%D1%80%D0%BE%D0%B1%D0%BE%D1%82%D0%BE%D1%82%D0%B5%D1%85%D0%BD%D0%B8%D0%BA%D0%B5»
Личные инструменты