Development of a Method for Indoor Audio Identification

В современном мире возрастает потребность в точной локализации в закрытом пространстве. Данное исследование предлагает способ аудиоидентификации, который повышает эффективность системы локализации внутри помещений. Путем использования сигналов, излучаемых близкими к пользователю громкоговорителями, предлагаемый способ преодолевает шумы в различных условиях и помогает определять местоположение и ориентацию пользователя в пространствах разного масштаба. Это имеет практическое значение для развития быстрых и надежных систем навигации внутри помещений, что может быть полезно для создания локационно-ориентированных сервисов на мобильных устройствах в торговых центрах, музеях, аэропортах и подобных местах.

Цель данной работы заключается в разработке и апробации способа аудиоидентификации, способного повысить точность внутренней локализации внутри помещений. В работе описано несколько методов исследования, включая применение разделения звука на разные планы, создание бинарных ИМ, а также анализ результатов экспериментов в помещениях.

В рамках данной работы разработаны способы аудио-разделения на «передний» и «фоновый» планы для создания бинарных и хэш-идентификационных маркеров звука, а также проведены эксперименты для подтверждения устойчивости способа в различных условиях шума. Кроме этого, зафиксированы его способности определения местоположения пользователя внутри больших помещений.

Современные мобильные коммуникационные устройства со встроенными возможностями для распознавания и анализа звуковых сигналов предлагают новые возможности для разработки новаторских способов локализации внутри помещений. Именно поэтому предложенная в данном исследовании аудиоидентификация является перспективным способом к решению этой проблемы.

В настоящее время достижение точной локализации внутри помещений является большой проблемой в исследованиях и технологическом развитии. Тем не менее существуют различные методы и подходы, которые используются для решения этой задачи.

GPS (Global Positioning System, или система глобального позиционирования) – это система спутниковой навигации (рисунок 1), которая позволяет определить местоположение устройства с GPS-приёмником на Земле и в околоземном космическом пространстве

[2]

.

Рисунок 1 - GPS позиционирование в пространстве

DOI:10.23670/IRJ.2024.142.119.1

GPS имеет много преимуществ, таких как глобальное охватывание, широкий спектр применения и непрерывное обслуживание, что объясняет его широкое использование в разных областях. Однако у GPS есть свои ограничения. Например, система может работать некорректно внутри зданий или при плохой погоде, а сигнал может быть искажен или заблокирован. Кроме того, высокое потребление энергии и ограниченная точность в определенных случаях также могут повлиять на эффективность системы. Таким образом, несмотря на многочисленные преимущества, GPS не всегда является универсальным решением и требует использования дополнительных методов для достижения точного и надежного местоположения в различных условиях.

Помимо GPS, существуют различные подходы к внутренней локализации, такие как использование Wi-Fi, Bluetooth и инфраструктурных методов

Также известны инфраструктурные методы, которые включают в себя установку датчиков, и других устройств внутри здания для сбора данных и определения местоположения. Таким образом, инфраструктурные методы могут обеспечивать более точные результаты в условиях, где GPS неэффективен. Однако эти методы требуют создания дополнительной инфраструктуры и относительно больших затрат.

В ходе исследования была разработана архитектура системы внутренней локализации (рис. 2).

Рисунок 2 - Архитектура системы

DOI:10.23670/IRJ.2024.142.119.2

База данных карты – база данных, в которой хранится информация о соответствии между определенными местоположениями (на карте) и именами музыкальных композиций в музыкальной базе данных. Таким образом, каждая точка в пространстве связана с определенной композицией, которая воспроизводится в этом местоположении через громкоговоритель.

На сервере внутренней локализации находятся музыкальные композиции. Название каждой музыкальной композиции в базе данных музыки, связанно с временем планирования воспроизведения и соответствует названию точки местоположения в картографической базе данных, где установлен определенный громкоговоритель.

Из музыкальных композиций извлекаются идентификационные маркеры троек пиков и идентификационные маркеры звука. Это характеристики аудио-сигналов, полученные в результате процесса аудиоидентификации. Данные идентификационные маркеры (ИМ) могут включать в себя такие параметры, как частотные характеристики, пики спектра, характеристики шума и т. д. Сопоставление множества таких ИМ позволяет системе определить совпадения и, таким образом, принять решения о местоположении.

Извлеченные ИМ сохраняются в базе данных. При этом ИМ незаметно для человека внедрены в каждую музыкальную композицию. Поскольку ИМ позволяют внедрены в звук, который звучит из каждого громкоговорителя, то они обеспечивают локализацию носимого мобильного устройства.

Система аудиоидентификации состоит из двух основных компонентов: множественного извлечения и множественного сопоставления ИМ.

На рисунке 3 показан процесс множественного извлечения, включающий шесть основных блоков

Рисунок 3 - Процесс множественного извлечения ИМ

DOI:10.23670/IRJ.2024.142.119.3

Модулированное комплексное наложенное преобразование (МКНП) или модулированное сложное преобразование с перекрытием – это метод анализа сигналов, который используется для преобразования сигнала из временной области в частотную. Этот метод обычно применяется в обработке звука и изображений. МКНП является комбинацией комплексного наложенного преобразования и метода модуляции, что позволяет получить представление сигнала в частотной области, сохраняя при этом фазовую информацию.

Расчет отношения «передний план / фон» аудиосигнала означает определение соотношения между звуковыми компонентами, являющимися основными и преобладающими в аудиосигнале, и компонентами, представляющими фоновый шум или второстепенные звуки. Этот расчет играет роль в процессе генерации ИМ в аудиофайлах.

Генерация ИМ на основе хэшей пиковых триплетов представляет собой процесс создания уникальных последовательностей (хэшей) на основе особенностей звукового сигнала, таких как триплеты пиков

Создание двоичных ИМ на основе выдающегося тона (примечательного высокочастотного компонента) означает формирование уникальных последовательностей битов (двоичных ИМ), полученных из выдающихся частотных компонентов в аудиосигнале. Эти двоичные ИМ затем используются для идентификации аудиофайлов в рамках системы.

В начале процесса аудиосигнал, записанный на устройстве (например, на телефоне), преобразуется в «моно» и его частота дискретизации уменьшается до 16 кГц. Затем преобразованный сигнал делится на перекрывающиеся фреймы с использованием оконного преобразования Фурье. Для выявления спектральных пиков к каждому фрейму (1024 выборки) применяется МКНП. Спектрограмма МКНП, обозначаемая как V(k,l) (где k – индекс частотного бина, а l – индекс фрейма), часто имеет структуры, где повторяющаяся фоновая аудио-часть перекрывается изменяющейся неповторяющейся частью переднего плана.

Для разделения каждой повторяющейся музыкальной фоновой части и каждой неповторяющейся части переднего плана из спектрограммы МКНП применяется метод разделения аудио на передний и задний план с использованием техники извлечения «повторяющегося узора»

Затем эта модель используется для создания маски времени-частоты для разделения повторяющегося музыкального фона B(k,l) от неповторяющейся части переднего плана F(k,l). Полученная область переднего плана F(k,l) содержит гармонические спектральные пики, тогда как область фона содержит повторяющиеся части.

Для проверки работы полученного способа было проведено тестирование в помещении среднего размера с тремя комнатами. В каждой комнате были включены определенные музыкальные композиции. Уровень звука был настроен для комфортного пребывания в помещении. Носимое мобильное устройство (смартфон) было размещено в трех метрах от громкоговорителя. Полученные идентификационные маркеры были извлечены из записанных аудиоданных, отправлены на предварительно настроенный сервер через Wi-Fi и использованы для определения местоположения пользователя в помещении. Для создания разнообразных сценариев тестирования были сделаны несколько запросов на сервер с добавлением различных видов шума разной интенсивности. К базе данных было искусственно добавлено пять типов шума (шум разговоров, звуки движущейся машины, белый шум, розовый шум и шум вентилятора компьютера) с различным уровнем шума.

Для оценки эффективности методов аудиоидентификации были реализованы шесть методов:

1. Метод аудиоидентификации с использованием подмаскировки идентификационного маркера, на основе выделения преобладающего тона (SMAF)

2. Метод аудиоидентификации с использованием двунаправленного обнаружения пиков (WPAF)

3. Метод аудиоидентификации с использованием выделения «выдающихся» пиков на основе разделения аудио на передний и задний план (PPAF).

4. Аудиоидентификация с использованием хэширования троек пиков на основе разделения аудио на передний и задний план (PTHAF).

5. Комбинированный метод аудиоидентификации, основанный на сочетании метода 3 и метода 4 (CHAF).

6. Комбинированный метод аудиоидентификации с использованием расчета отношения аудио переднего и заднего плана (FBR).

Таблица 1 представляет результаты идентификации метода PPAF по сравнению с методом SMAF в пяти различных шумовых средах при использовании аудио-запросов длиной в три, пять, десять и пятнадцать секунд.

Показатель идентификации указывает на процент запросов, идентифицированных как соответствующие музыкальной композиции или песне с наибольшим количеством совпадающих идентификационных маркеров.

Рисунок 4 - Диаграмма идентификации метода PPAF по сравнению с методом SMAF

DOI:10.23670/IRJ.2024.142.119.5

Результаты подсчитаны для оценки в пяти различных шумовых средах. Как видно из Таблицы 1, производительность идентификации увеличивается с увеличением длины запроса и с уменьшением уровня добавленного шума. Все показатели идентификации PPAF выше, чем у SMAF, особенно в шумных средах (см. рис. 4). Лучшая точность идентификации составляет 100%, что говорит о том, что тестовые аудио-запросы были полностью правильно распознаны. Эти результаты ясно показывают, что выделение выдающихся пиков на фоне шумоподавленной спектрограммы MCLT повышает точность аудиоидентификации в шумной среде.

Таблица 2 показывает результаты идентификации метода PTHAF по сравнению с методом WPAF. Метод PTHAF в целом также превосходит WPAF по точности идентификации в шумных средах (см. рис. 5). Это обусловлено тем, что хэши троек пиков, извлеченные из не повторяющегося аудио переднего плана, более устойчивы к различным условиям шума и различным расстояниям до громкоговорителей по сравнению с хэшами пар пиков WPAF.

Рисунок 5 - Идентификации метода PTHAF по сравнению с методом WPAF

DOI:10.23670/IRJ.2024.142.119.7

Таблица 3 представляет результаты комбинированных методов с и без использования FBR. Результаты метода без FBR также представлены на рисунке 6.

Рисунок 6 - Результаты комбинированных методов с и без использования FBR

DOI:10.23670/IRJ.2024.142.119.9

На основе проведенных экспериментов с шестью различными методами аудиоидентификации, можно подчеркнуть несколько ключевых выводов. Сравнение между PPAF и SMAF демонстрирует, что PPAF проявляет более высокую производительность идентификации в шумных средах, особенно при увеличении длины аудио-запроса. Следующее сравнение между PTHAF и WPAF подтверждает, что спектральные хеши тройных пиков, извлеченные из не повторяющегося фонового звука, показывают хорошие результаты в условиях различных видов шума и расстояний до источника звука.

В контексте комбинированных методов с использованием или без использования FBR выявлено, что результаты без FBR превосходят те, которые включают FBR. Однако метод с FBR автоматически устанавливает требования к времени записи для каждого запроса в соответствии с условиями шума, обеспечивая высокую точность идентификации.

Эти результаты подчеркивают эффективность предложенного способа аудиоидентификации в условиях шумного окружения и поддерживают возможность использования аудиоидентификации для точного определения местоположения внутри помещений.

В данной статье были рассмотрены методы аудиоидентификации в помещениях, представляющих собой шумные и динамичные среды. Предложен способ, который включает в себя использование характеристик звука, таких как выделение тройных пиков и хеширование, для создания эффективных и точных методов аудиоидентификации.

Исследование рассматривает возможность применения аудиоидентификации в больших торговых центрах, музеях и аэропортах, где инфраструктура обычно включает в себя громкоговорители и другие аудиосистемы. Вместо традиционных методов локализации, таких как GPS, предложенный способ аудиоидентификации особенно полезен в условиях, где добавление дополнительной инфраструктуры может быть проблематичным или невозможным.

Экспериментальные результаты показали успешный результат работы способа в условиях различных видов шума. Алгоритмы PPAF и PTHAF продемонстрировали более высокую точность и устойчивость по сравнению с существующими подходами. Это исследование открывает перспективы для развития более эффективных и точных систем локализации внутри помещений, что может иметь важное значение в различных областях, включая торговлю, безопасность и развлечения.