1. Введение
В современном мире возрастает потребность в точной локализации в закрытом пространстве. Данное исследование предлагает способ аудиоидентификации, который повышает эффективность системы локализации внутри помещений. Путем использования сигналов, излучаемых близкими к пользователю громкоговорителями, предлагаемый способ преодолевает шумы в различных условиях и помогает определять местоположение и ориентацию пользователя в пространствах разного масштаба. Это имеет практическое значение для развития быстрых и надежных систем навигации внутри помещений, что может быть полезно для создания локационно-ориентированных сервисов на мобильных устройствах в торговых центрах, музеях, аэропортах и подобных местах.
Цель данной работы заключается в разработке и апробации способа аудиоидентификации, способного повысить точность внутренней локализации внутри помещений. В работе описано несколько методов исследования, включая применение разделения звука на разные планы, создание бинарных ИМ, а также анализ результатов экспериментов в помещениях.
В рамках данной работы разработаны способы аудио-разделения на
«»«»
Современные мобильные коммуникационные устройства со встроенными возможностями для распознавания и анализа звуковых сигналов предлагают новые возможности для разработки новаторских способов локализации внутри помещений. Именно поэтому предложенная в данном исследовании аудиоидентификация является перспективным способом к решению этой проблемы.
2. Обзор существующих решений по теме исследования
В настоящее время достижение точной локализации внутри помещений является большой проблемой в исследованиях и технологическом развитии. Тем не менее существуют различные методы и подходы, которые используются для решения этой задачи.
GPS позиционирование в пространстве
GPS (Global Positioning System, или система глобального позиционирования) – это система спутниковой навигации (рисунок 1), которая позволяет определить местоположение устройства с GPS-приёмником на Земле и в околоземном космическом пространстве [2].
Помимо GPS, существуют различные подходы к внутренней локализации, такие как использование Wi-Fi, Bluetooth и инфраструктурных методов
[3]
Также известны инфраструктурные методы, которые включают в себя установку датчиков, и других устройств внутри здания для сбора данных и определения местоположения. Таким образом, инфраструктурные методы могут обеспечивать более точные результаты в условиях, где GPS неэффективен. Однако эти методы требуют создания дополнительной инфраструктуры и относительно больших затрат.
3. Архитектура разрабатываемой системы
В ходе исследования была разработана архитектура системы внутренней локализации (рис. 2).
Архитектура системы
На сервере внутренней локализации находятся музыкальные композиции. Название каждой музыкальной композиции в базе данных музыки, связанно с временем планирования воспроизведения и соответствует названию точки местоположения в картографической базе данных, где установлен определенный громкоговоритель.
Из музыкальных композиций извлекаются идентификационные маркеры троек пиков и идентификационные маркеры звука. Это характеристики аудио-сигналов, полученные в результате процесса аудиоидентификации. Данные идентификационные маркеры (ИМ) могут включать в себя такие параметры, как частотные характеристики, пики спектра, характеристики шума и т. д. Сопоставление множества таких ИМ позволяет системе определить совпадения и, таким образом, принять решения о местоположении.
Извлеченные ИМ сохраняются в базе данных. При этом ИМ незаметно для человека внедрены в каждую музыкальную композицию. Поскольку ИМ позволяют внедрены в звук, который звучит из каждого громкоговорителя, то они обеспечивают локализацию носимого мобильного устройства.
4. Компоненты разрабатываемой системы
Система аудиоидентификации состоит из двух основных компонентов: множественного извлечения и множественного сопоставления ИМ.
Процесс множественного извлечения ИМ
На рисунке 3 показан процесс множественного извлечения, включающий шесть основных блоков
Расчет отношения «передний план / фон» аудиосигнала означает определение соотношения между звуковыми компонентами, являющимися основными и преобладающими в аудиосигнале, и компонентами, представляющими фоновый шум или второстепенные звуки. Этот расчет играет роль в процессе генерации ИМ в аудиофайлах.
Генерация ИМ на основе хэшей пиковых триплетов представляет собой процесс создания уникальных последовательностей (хэшей) на основе особенностей звукового сигнала, таких как триплеты пиков
[5]
Создание двоичных ИМ на основе выдающегося тона (примечательного высокочастотного компонента) означает формирование уникальных последовательностей битов (двоичных ИМ), полученных из выдающихся частотных компонентов в аудиосигнале. Эти двоичные ИМ затем используются для идентификации аудиофайлов в рамках системы.
5. Разделение аудиосигнала
В начале процесса аудиосигнал, записанный на устройстве (например, на телефоне), преобразуется в «моно» и его частота дискретизации уменьшается до 16 кГц. Затем преобразованный сигнал делится на перекрывающиеся фреймы с использованием оконного преобразования Фурье. Для выявления спектральных пиков к каждому фрейму (1024 выборки) применяется МКНП. Спектрограмма МКНП, обозначаемая как V(k,l) (где k – индекс частотного бина, а l – индекс фрейма), часто имеет структуры, где повторяющаяся фоновая аудио-часть перекрывается изменяющейся неповторяющейся частью переднего плана.
Для разделения каждой повторяющейся музыкальной фоновой части и каждой неповторяющейся части переднего плана из спектрограммы МКНП применяется метод разделения аудио на передний и задний план с использованием техники извлечения «повторяющегося узора»
[6]
Затем эта модель используется для создания маски времени-частоты для разделения повторяющегося музыкального фона B(k,l) от неповторяющейся части переднего плана F(k,l). Полученная область переднего плана F(k,l) содержит гармонические спектральные пики, тогда как область фона содержит повторяющиеся части.
6. Полученные результаты
Для проверки работы полученного способа было проведено тестирование в помещении среднего размера с тремя комнатами. В каждой комнате были включены определенные музыкальные композиции. Уровень звука был настроен для комфортного пребывания в помещении. Носимое мобильное устройство (смартфон) было размещено в трех метрах от громкоговорителя. Полученные идентификационные маркеры были извлечены из записанных аудиоданных, отправлены на предварительно настроенный сервер через Wi-Fi и использованы для определения местоположения пользователя в помещении. Для создания разнообразных сценариев тестирования были сделаны несколько запросов на сервер с добавлением различных видов шума разной интенсивности. К базе данных было искусственно добавлено пять типов шума (шум разговоров, звуки движущейся машины, белый шум, розовый шум и шум вентилятора компьютера) с различным уровнем шума.
Для оценки эффективности методов аудиоидентификации были реализованы шесть методов:
1. Метод аудиоидентификации с использованием подмаскировки идентификационного маркера, на основе выделения преобладающего тона (SMAF)
[8]
2. Метод аудиоидентификации с использованием двунаправленного обнаружения пиков (WPAF)
[9]
3. Метод аудиоидентификации с использованием выделения
«»(PPAF)
4. Аудиоидентификация с использованием хэширования троек пиков на основе разделения аудио на передний и задний план (PTHAF).
5. Комбинированный метод аудиоидентификации, основанный на сочетании метода 3 и метода 4 (CHAF).
6. Комбинированный метод аудиоидентификации с использованием расчета отношения аудио переднего и заднего плана (FBR).
Результаты идентификации метода PPAF по сравнению с методом SMAF
| SNR (dB) | PPAF 3s | PAF 5s | PAF 10s | PAF 15s | MAF 3s | SMAF 5s | MAF 10s | MAF 15s |
| Без шумов | 97,6 | 100 | 100 | 100 | 92,1 | 95,8 | 100 | 100 |
| 12 | 92,1 | 99,6 | 100 | 100 | 85,4 | 93,2 | 98,1 | 100 |
| 6 | 87,3 | 94,4 | 98,3 | 100 | 80,4 | 90,7 | 95,7 | 98,8 |
| 0 | 69,3 | 78,1 | 89,3 | 98,4 | 61,2 | 71,5 | 82,2 | 94,4 |
| -6 | 34,1 | 46,3 | 70,1 | 87,5 | 26,3 | 38,3 | 61,3 | 82,2 |
| -12 | 10,4 | 17,2 | 25,1 | 40,2 | 6,6 | 10,7 | 18,7 | 31,6 |
| Среднее | 65,1 | 72,7 | 80,4 | 87,6 | 58,3 | 66,9 | 76,2 | 84,6 |
Таблица 1 представляет результаты идентификации метода PPAF по сравнению с методом SMAF в пяти различных шумовых средах при использовании аудио-запросов длиной в три, пять, десять и пятнадцать секунд.
Показатель идентификации указывает на процент запросов, идентифицированных как соответствующие музыкальной композиции или песне с наибольшим количеством совпадающих идентификационных маркеров.
Диаграмма идентификации метода PPAF по сравнению с методом SMAF
Результаты идентификации метода PTHAF по сравнению с методом WPAF
| SNR (dB) | PTHAF 3s | PTHAF 5s | PTHAF 10s | PTHAF 15s | WPAF 3s | WPAF 5s | WPAF 10s | WPAF 15s |
| Без шумов | 97,4 | 100 | 100 | 100 | 91,4 | 96,4 | 99,6 | 100 |
| 12 | 93,5 | 99,2 | 100 | 100 | 85,5 | 92,6 | 98,4 | 99,6 |
| 6 | 87,9 | 96,3 | 98,4 | 100 | 76,3 | 87,6 | 95,2 | 98,5 |
| 0 | 72,3 | 81,5 | 90,8 | 98,8 | 56,5 | 64,3 | 79,4 | 91,7 |
| -6 | 37,5 | 49,2 | 73,5 | 89,6 | 18,3 | 29,4 | 54,5 | 77,4 |
| -12 | 12,8 | 21,3 | 27,7 | 45,3 | 2,5 | 7,3 | 11,7 | 25,6 |
| Среднее | 67 | 74,7 | 81,7 | 89 | 55,1 | 63 | 73,2 | 82,2 |
Идентификации метода PTHAF по сравнению с методом WPAF
Таблица 2 показывает результаты идентификации метода PTHAF по сравнению с методом WPAF. Метод PTHAF в целом также превосходит WPAF по точности идентификации в шумных средах (см. рис. 5). Это обусловлено тем, что хэши троек пиков, извлеченные из не повторяющегося аудио переднего плана, более устойчивы к различным условиям шума и различным расстояниям до громкоговорителей по сравнению с хэшами пар пиков WPAF.
Результаты комбинированных методов с и без использования FBR
| SNR (dB) | CHAF 3s | CHAF 5s | CHAF 10s | CHAF 15s | HFBR |
| Без шумов | 99,4 | 100 | 100 | 100 | 100 |
| 12 | 95,8 | 100 | 100 | 100 | 100 |
| 6 | 90,5 | 98,7 | 100 | 100 | 100 |
| 0 | 78,4 | 85,6 | 95,7 | 100 | 98,4 |
| -6 | 42,2 | 56,3 | 78,5 | 96,5 | 95,6 |
| -12 | 17,5 | 26,7 | 36,6 | 56,5 | 56,6 |
| Среднее | 70,6 | 78 | 85,1 | 92,2 | 91,8 |
Таблица 3 представляет результаты комбинированных методов с и без использования FBR. Результаты метода без FBR также представлены на рисунке 6.
Результаты комбинированных методов с и без использования FBR
В контексте комбинированных методов с использованием или без использования FBR выявлено, что результаты без FBR превосходят те, которые включают FBR. Однако метод с FBR автоматически устанавливает требования к времени записи для каждого запроса в соответствии с условиями шума, обеспечивая высокую точность идентификации.
Эти результаты подчеркивают эффективность предложенного способа аудиоидентификации в условиях шумного окружения и поддерживают возможность использования аудиоидентификации для точного определения местоположения внутри помещений.
7. Заключение
В данной статье были рассмотрены методы аудиоидентификации в помещениях, представляющих собой шумные и динамичные среды. Предложен способ, который включает в себя использование характеристик звука, таких как выделение тройных пиков и хеширование, для создания эффективных и точных методов аудиоидентификации.
Исследование рассматривает возможность применения аудиоидентификации в больших торговых центрах, музеях и аэропортах, где инфраструктура обычно включает в себя громкоговорители и другие аудиосистемы. Вместо традиционных методов локализации, таких как GPS, предложенный способ аудиоидентификации особенно полезен в условиях, где добавление дополнительной инфраструктуры может быть проблематичным или невозможным.
Экспериментальные результаты показали успешный результат работы способа в условиях различных видов шума. Алгоритмы PPAF и PTHAF продемонстрировали более высокую точность и устойчивость по сравнению с существующими подходами. Это исследование открывает перспективы для развития более эффективных и точных систем локализации внутри помещений, что может иметь важное значение в различных областях, включая торговлю, безопасность и развлечения.