1. Введение
Для решения различных задач движения робототехнических комплексов и определения координат предметов в пространстве в современных информационных науках наиболее эффективно применяются алгоритмы машинного зрения и алгоритмы глубокого машинного обучения. Они дают возможность распознать текущее положение предмета в пространстве, предсказать его дальнейшее движение и оптимальную траекторию перемещения. В исследовании алгоритмы машинного зрения применяются для решения практической задачи определения текущего положения рабочего инструмента робота-манипулятора после завершения роботом движения и возврата в исходную позицию. В случае наличия несоответствия рассчитывается отклонение по осям x, y, z для перемещения рабочего органа в правильное положение. Проблема возможного расхождения между фактическим положением рабочего органа и планируемым актуальна для проверки точности работы любого робота-манипулятора, не имеющего альтернативных механизмов, реализующих обратную связь (например, энкодеров на двигателях).
2. Методы исследования
2.1. Цели и задачи исследования
Целью исследования является разработка системы корректировки положения рабочего инструмента робота-манипулятора с использованием камеры и алгоритмов машинного зрения. Конструкция робота представляет собой разомкнутую кинематическую цепь с параллельным механизмом. Для перемещения звеньев в пространстве используются шаговые двигатели стандарта NEMA17 с планетарным редуктором.
Для определения фактического положения рабочего инструмента робота-манипулятора и вычисления отклонения текущего положения от исходного на основе полученных координат необходимо:
Установить и подключить камеру, с которой будет считываться изображение;
Обработать изображение с камеры;
Исследовать библиотеку машинного зрения OpenCV [4];
Разработать методику определения положения рабочего инструмента робота-манипулятора с помощью OpenCV;
Выполнить расчеты и вывести результаты в пользовательский интерфейс;
Протестировать написанное программное обеспечение.
Симуляция модели
Исследование проводилось на модели робота-манипулятора (рисунок 1). Для написания программного обеспечения использовался фреймворк Robot Operating System (ROS) [3], [6].
Кинематическая схема модели робота-манипулятора
Кинематическая схема модели робота-манипулятора
Кинематическая схема модели робота-манипулятора представлена на рисунке 2 [7]. Все звенья модели являются вращательными. За счет привязки координат к звеньям манипулятора используются параметры Денавита-Хартенберга: то есть вместо 6 координат (3 по положению и 3 по ориентации) нужны только 4 (таблица 1).
Параметры Денавита-Хартенберга
| Link, i | i | i | i | i |
| 1 | 0 | π/2 | 1 | 1 |
| 2 | a2 | 0 | 0 | 2 |
| 3 | a3 | 0 | 0 | 3 |
| 4 | 0 | π/2 | 0 | + π/2 |
| 5 | 0 | 0 | 5 | 5 |
Кинематическая схема модели робота-манипулятора
Геометрическая схема робота
Глобальная система координат модели изображена на рисунке 3.Смещение конечной системы координат относительно базовой произведено с помощью матричных однородных преобразований.Решение задачи обратной кинематики можно разделить на 2 части:
решение задачи обратной кинематики по положению;
решение задачи обратной кинематики по ориентации [10].
В рамках исследования была решена только одна задача обратной кинематики по положению – задача поиска обобщенных координат при известных координатах положения рабочего инструмента с помощью геометрической схемы модели робота (рисунок 4). Это позволило вычислить углы между звеньями каждой кинематической пары [5], [8].
Техническое зрение
В проекте используется функциональная схема аппаратной части робототехнического комплекса с сервером данных и системой технического зрения [11].
Для работы с изображением была произведена бинаризация исходного изображения: уменьшено количество информации, полученной с камеры. Исходное изображение с камеры до преобразований по умолчанию сохраняется в формате RGB, неудобном для последующего использования и обработки. Для очищения изображения от фона производится его преобразование в формат HSV (Hue, Saturation, Value – тон, насыщенность, значение) и определяются верхний и нижний пределы заданного цвета. На основе полученных значений проводится последующая обработка изображения.
3. Основные результаты
В качестве идентификатора положения рабочего инструмента робота-манипулятора служит специальный маркер, установленный на верхний сервопривод. Он позволяет после обработки изображения по цвету определять местоположение отслеживаемого объекта.
Для получения информации о текущем положении фиксируемого объекта в модель были добавлены датчики камеры. Пример получаемых с камер изображений представлен на рисунке 5.
Изображения с камер в симуляторе
1. Получение оригинального изображения;
2. Конвертация полученного изображения в формат в HSV;
3. Наложение маски на маркер, установленный на месте крепления рабочего инструмента;
4. Наложение линии, соединяющей начальное и конечное положение рабочего инструмента.
Основной датчик камеры, с помощью которого происходит фиксация, расположен сверху над центром основания модели робота. Данные о размерах основных предметов внешней среды и самого робота-манипулятора (размеры робота, стола, высоту крепления камеры и т.д.) позволяют найти отклонение точки по оси x, y.
Поэтапная обработка изображения
На рисунке 7 на схеме справа изображена мировая система координат комнаты (показана оранжевым цветом) и система координат камеры (показана красным цветом). Системы координат связаны 6 параметрами: 3-мя для перемещения и 3-мя для вращения. На снимке камеры необходимо найти координаты точки P (нас интересует только Z – высота). Зная местоположение камеры и местоположение рабочего инструмента, которое найдено по камере сверху, рассчитывается высота точки.
Геометрическое решение задачи нахождения местоположения рабочего инструмента
Чтобы построить карту глубины, в модели необходимо разместить еще одну камеру, т.к. нужно получать изображение с 2-х ракурсов. При трансляции картинки с камеры трехмерный объект на изображении проецируется из трехмерного пространства в двухмерное плоское пространство. Это называется планарной проекцией. Проблема в том, что при этой операции теряется информация о глубине. И для восстановления этих данных недостаточно использовать одно изображение. Двух снимков вполне достаточно, потому что лучи, исходящие из точки C1 и C2 пересекаются в одной единственной точке X (см. рисунок 9b)
[9]
На рисунке 9a показана связь между глубиной Z и диспарантностью, то есть разностью точки на изображениях, представленных с разных ракурсов
Симуляция модели
Построение карты глубины
[2]
В качестве альтернативного решения задачи рассматривается разработка сверхточной нейронной сети. Первая задача, которая ставится для нейросети – это задача классификации. Необходимо определить по снимку с камеры – находится ли инструмент робота-манипулятора в исходном положении или нет. Это – задача будущих исследований.
4. Заключение
Подводя итоги проведенного исследования, можно кратко описать промежуточные этапы и достигнутые результаты:
1. Подготовлена модель для симуляции;
2. Найдено оптимальное положение камер для получения информации о положении рабочего инструмента робота-манипулятора;
3. Подготовлен алгоритм для идентификации текущего положения рабочего инструмента робота манипулятора;
4. Разработан алгоритм возвращения модели в исходную позицию;
5. Построена карта глубины;
6. Информация выведена в пользовательский интерфейс.
Полученные результаты можно использовать на практике. Для этого необходимо откалибровать камеру, т.к. картинка с камеры может быть с искажениями, а также нужно учитывать уровень освещения в помещении.