DETERMINATION OF THE POSITION OF THE ROBOT MANIPULATOR TOOL USING A CAMERA AND MACHINE VISION

Для решения различных задач движения робототехнических комплексов и определения координат предметов в пространстве в современных информационных науках наиболее эффективно применяются алгоритмы машинного зрения и алгоритмы глубокого машинного обучения. Они дают возможность распознать текущее положение предмета в пространстве, предсказать его дальнейшее движение и оптимальную траекторию перемещения. В исследовании алгоритмы машинного зрения применяются для решения практической задачи определения текущего положения рабочего инструмента робота-манипулятора после завершения роботом движения и возврата в исходную позицию. В случае наличия несоответствия рассчитывается отклонение по осям x, y, z для перемещения рабочего органа в правильное положение. Проблема возможного расхождения между фактическим положением рабочего органа и планируемым актуальна для проверки точности работы любого робота-манипулятора, не имеющего альтернативных механизмов, реализующих обратную связь (например, энкодеров на двигателях).

2.1. Цели и задачи исследования

Целью исследования является разработка системы корректировки положения рабочего инструмента робота-манипулятора с использованием камеры и алгоритмов машинного зрения. Конструкция робота представляет собой разомкнутую кинематическую цепь с параллельным механизмом. Для перемещения звеньев в пространстве используются шаговые двигатели стандарта NEMA17 с планетарным редуктором.

Для определения фактического положения рабочего инструмента робота-манипулятора и вычисления отклонения текущего положения от исходного на основе полученных координат необходимо:

Установить и подключить камеру, с которой будет считываться изображение;

Обработать изображение с камеры;

Исследовать библиотеку машинного зрения OpenCV

Разработать методику определения положения рабочего инструмента робота-манипулятора с помощью OpenCV;

Выполнить расчеты и вывести результаты в пользовательский интерфейс;

Протестировать написанное программное обеспечение.

Исследование проводилось на модели робота-манипулятора (рисунок 1). Для написания программного обеспечения использовался фреймворк Robot Operating System (ROS)

[3]

,

[6]

.

Рисунок 1 - Симуляция модели

Примечание: а – в визуализаторе rViz, б – в симуляторе Gazebo [1]

DOI:10.60797/IRJ.2024.143.156.1

2.2. Кинематическая схема модели робота-манипулятора

Кинематическая схема модели робота-манипулятора представлена на рисунке 2

[7]

. Все звенья модели являются вращательными. За счет привязки координат к звеньям манипулятора используются параметры Денавита-Хартенберга: то есть вместо 6 координат (3 по положению и 3 по ориентации) нужны только 4 (таблица 1).

Рисунок 2 - Кинематическая схема модели робота-манипулятора

DOI:10.60797/IRJ.2024.143.156.2

Глобальная система координат модели изображена на рисунке 3.

Рисунок 3 - Кинематическая схема модели робота-манипулятора

DOI:10.60797/IRJ.2024.143.156.4

Смещение конечной системы координат относительно базовой произведено с помощью матричных однородных преобразований.

Рисунок 4 - Геометрическая схема робота

DOI:10.60797/IRJ.2024.143.156.5

Решение задачи обратной кинематики можно разделить на 2 части:

решение задачи обратной кинематики по положению;

решение задачи обратной кинематики по ориентации

В рамках исследования была решена только одна задача обратной кинематики по положению – задача поиска обобщенных координат при известных координатах положения рабочего инструмента с помощью геометрической схемы модели робота (рисунок 4). Это позволило вычислить углы между звеньями каждой кинематической пары

2.3. Техническое зрение

В проекте используется функциональная схема аппаратной части робототехнического комплекса с сервером данных и системой технического зрения

Для работы с изображением была произведена бинаризация исходного изображения: уменьшено количество информации, полученной с камеры. Исходное изображение с камеры до преобразований по умолчанию сохраняется в формате RGB, неудобном для последующего использования и обработки. Для очищения изображения от фона производится его преобразование в формат HSV (Hue, Saturation, Value – тон, насыщенность, значение) и определяются верхний и нижний пределы заданного цвета. На основе полученных значений проводится последующая обработка изображения.

В качестве идентификатора положения рабочего инструмента робота-манипулятора служит специальный маркер, установленный на верхний сервопривод. Он позволяет после обработки изображения по цвету определять местоположение отслеживаемого объекта.

Для получения информации о текущем положении фиксируемого объекта в модель были добавлены датчики камеры. Пример получаемых с камер изображений представлен на рисунке 5.

Рисунок 5 - Изображения с камер в симуляторе

DOI:10.60797/IRJ.2024.143.156.6

Обработка исходных изображений с датчиков камер происходит поэтапно и включает в себя следующие фазы (рисунок 6):

1. Получение оригинального изображения;

2. Конвертация полученного изображения в формат в HSV;

3. Наложение маски на маркер, установленный на месте крепления рабочего инструмента;

4. Наложение линии, соединяющей начальное и конечное положение рабочего инструмента.

Основной датчик камеры, с помощью которого происходит фиксация, расположен сверху над центром основания модели робота. Данные о размерах основных предметов внешней среды и самого робота-манипулятора (размеры робота, стола, высоту крепления камеры и т.д.) позволяют найти отклонение точки по оси x, y.

Рисунок 6 - Поэтапная обработка изображения

DOI:10.60797/IRJ.2024.143.156.7

При расчете отклонения по оси Z используется изображение с камеры, которая закреплена фронтально перед роботом. Для этого используется алгоритм детектирования объекта по цвету, описанный в предыдущем разделе (рисунок 6). Неотъемлемой частью решения задачи определения координат рабочего инструмента являются правила формирования изображения с камеры с геометрической точки зрения.

На рисунке 7 на схеме справа изображена мировая система координат комнаты (показана оранжевым цветом) и система координат камеры (показана красным цветом). Системы координат связаны 6 параметрами: 3-мя для перемещения и 3-мя для вращения. На снимке камеры необходимо найти координаты точки P (нас интересует только Z – высота). Зная местоположение камеры и местоположение рабочего инструмента, которое найдено по камере сверху, рассчитывается высота точки.

Рисунок 7 - Геометрическое решение задачи нахождения местоположения рабочего инструмента

DOI:10.60797/IRJ.2024.143.156.8

Изображения с камеры используются для построения карты глубины. Эта информация необходима для определения расстояния до объекта.

Чтобы построить карту глубины, в модели необходимо разместить еще одну камеру, т.к. нужно получать изображение с 2-х ракурсов. При трансляции картинки с камеры трехмерный объект на изображении проецируется из трехмерного пространства в двухмерное плоское пространство. Это называется  планарной проекцией. Проблема в том, что при этой операции теряется информация о глубине. И для восстановления этих данных недостаточно использовать одно изображение. Двух снимков вполне достаточно, потому что лучи, исходящие из точки C1 и C2 пересекаются в одной единственной точке X (см. рисунок 9b)

На рисунке 9a показана связь между глубиной Z и диспарантностью, то есть разностью точки на изображениях, представленных с разных ракурсов

[2]

.

Рисунок 8 - Симуляция модели

Примечание: слева – диспарантность изображения; справа – геометрия диспарантности

DOI:10.60797/IRJ.2024.143.156.9

Чтобы получить изображение, с которым можно было бы работать, необходимо найти взаимосвязь между значениями глубины и диспарантности для настройки стереокамеры.

Рисунок 9 - Построение карты глубины

Примечание: слева – карта глубины; по центру – изображение с первой камеры; справа – изображение со второй камеры

DOI:10.60797/IRJ.2024.143.156.10

Пример полученной карты глубины представлен на рисунке 10а. Изображения, полученные с разных ракурсов, и на основании которых построена карта глубины, представлены на рисунках 10б и 10в.

В качестве альтернативного решения задачи рассматривается разработка сверхточной нейронной сети. Первая задача, которая ставится для нейросети – это задача классификации. Необходимо определить по снимку с камеры – находится ли инструмент робота-манипулятора в исходном положении или нет. Это – задача будущих исследований.

Подводя итоги проведенного исследования, можно кратко описать промежуточные этапы и достигнутые результаты:

1. Подготовлена модель для симуляции;

2. Найдено оптимальное положение камер для получения информации о положении рабочего инструмента робота-манипулятора;

3. Подготовлен алгоритм для идентификации текущего положения рабочего инструмента робота манипулятора;

4. Разработан алгоритм возвращения модели в исходную позицию;

5. Построена карта глубины;

6. Информация выведена в пользовательский интерфейс.

Полученные результаты можно использовать на практике. Для этого необходимо откалибровать камеру, т.к. картинка с камеры может быть с искажениями, а также нужно учитывать уровень освещения в помещении.