AN ESTIMATION OF OPTIMAL SCALAR AND VECTOR PARAMETERS OF A SMOOTHING BICUBIC SPLINE

DOI: https://doi.org/10.23670/IRJ.2022.118.4.006

ОЦЕНИВАНИЕ ОПТИМАЛЬНЫХ СКАЛЯРНОГО И ВЕКТОРНОГО ПАРАМЕТРОВ СГЛАЖИВАЮЩЕГО БИКУБИЧЕСКОГО СПЛАЙНА

Научная статья

Воскобойников Ю.Е.¹, Боева В.А.^2, *

¹ ORCID: 0000-0002-5282-6002;

² ORCID: 0000-0002-5668-3416;

^{1, 2} Новосибирский государственный архитектурно-строительный университет (Сибстрин), Новосибирск Россия;

¹ Новосибирский государственный технический университет, Новосибирск Россия

^* Корреспондирующий автор (v.boyeva[at]sibstrin.ru)

Аннотация

При интерпретации экспериментальных данных часто в качестве первого этапа выступает задача фильтрации шумов (погрешностей) измерения данных эксперимента или, иначе, задача сглаживания экспериментальных данных. Если сглаживаемая зависимость является гладкой функцией одной переменной, то универсальным инструментом для решения такой задачи является одномерный сглаживающий кубический сплайн дефекта единица. Этот сплайн имеет на всем интервале своего определения непрерывные производные до второй включительно, что позволяет использовать сплайн (при соответствующем выборе параметра сглаживания) для устойчивого вычисления производных. Если сглаживаемая зависимость является функцией двух переменных, то необходимо уже строить двумерный сплайн, называемый сглаживающим бикубическим сплайном. При этом возникает проблема выбора параметров этого сплайна, более сложная чем выбор параметра одномерного сплайна и обусловленная как самим алгоритмом построения бикубического сплайна, так и двумя аргументами обрабатываемой двумерной зависимости, которая имеет, как правило, разную гладкость по этим аргументам. Для минимизации ошибки сглаживания бикубического сплайна в статье вводятся скалярный и векторный параметры сглаживания. Предлагаются алгоритмы оценивания оптимальных значений этих параметров, как при известной дисперсии шума измерений, так и в случаях, когда эта дисперсия неизвестна. Вычислительный алгоритм показал приемлемую точность построенных оценок для оптимальных параметров сглаживания.

Ключевые слова: сглаживающий бикубический сплайн, скалярный и векторный параметры сглаживания, выбор параметров при известной дисперсии шума измерений, выбор параметров при неизвестной дисперсии шума измерений.

AN ESTIMATION OF OPTIMAL SCALAR AND VECTOR PARAMETERS OF A SMOOTHING BICUBIC SPLINE

Research article

Voskoboynikov Yu.E.¹, Boeva V.A.^{2, *}

¹ ORCID: 0000-0002-5282-6002;

² ORCID: 0000-0002-5668-3416;

^1,2 Novosibirsk State University of Architecture and Construction, Novosibirsk, Russia;

¹ Novosibirsk State Technical University, Novosibirsk, Russia

^*Corresponding author (v.boyeva[at]sibstrin.ru)

Abstract

When interpreting experimental data, the first stage is often the task of filtering noise (errors) of measuring experimental data, or, in other words, the task of smoothing such data. If the smoothed dependence is a smooth function of one variable, then a universal tool for solving such a problem is a one-dimensional smoothing cubic spline of defect 1. This spline has continuous derivatives up to and including the second one over the entire interval of its definition, which makes it possible to use the spline (with the appropriate choice of the smoothing parameter) for stable calculation of derivatives. If the smooth dependence is a function of two variables, then it is necessary to build a two-dimensional spline called a smoothing bicubic spline. At the same time, there's a problem of choosing the parameters of this spline, which is more complex than choosing the parameter of a one-dimensional spline and is caused both by the algorithm for constructing a bicubic spline itself and by two arguments of the two-dimensional dependence being processed, which, as a rule, has different smoothness for these arguments. To minimize the smoothing error of the bicubic spline, the article introduces scalar and vector smoothing parameters; the study also proposes algorithms for estimating the optimal values of these parameters both with a known variance of measurement noise and in cases where this variance is unknown. The computational algorithm shows acceptable accuracy of the constructed estimates for optimal smoothing parameters.

Keywords: smoothing bicubic spline, scalar and vector smoothing parameters, parameter selection with known measurement noise variance, parameter selection with unknown measurement noise variance.

Введение и задача исследования

При интерпретации экспериментальных данных часто в качестве первого этапа обработки выступает задача фильтрации шумов (погрешностей) измерений, или другими словами, задача сглаживания экспериментально полученных данных. Одним из аппаратов решения этих задач выступают сглаживающие сплайны [1], проходящие в некоторой близости от измеренных значений, осуществляя таким образом сглаживание зашумленных данных. В большинстве случаев используют сглаживающие кубические сплайны (СКС), имеющие первую и вторую непрерывные производные на всем интервале построения сплайна. Это свойство позволяет использовать СКС при решении различных научно-технических задач (в частности, в физических исследованиях [2], при идентификации динамических систем [3], где требуется устойчивое вычисление производной первого порядка). На практике, основной проблемой при вычислении СКС является подбор параметра сглаживания сплайна, от величины которого зависит «гладкость» СКС и ошибка сглаживания. Выбор оптимального параметра сглаживания осуществляется алгоритмами, позволяющими построить приемлемые по точности оценки, как при известной дисперсии шума измерений [2], так и при неизвестной дисперсии [4].

Сглаживание результатов измерений двумерной функции является более сложной задачей. Сглаживающий сплайн строится как функция двух переменных, что существенно усложняет вычислительный алгоритм его построения. Из-за разной гладкости приближаемой функции по разным переменным также желательно выбрать различные значения параметра сглаживания. Если для построения двумерного сглаживающего сплайна (далее – сглаживающий бикубический сплайн (СБС)) можно адаптировать алгоритм построения интерполяционного бикубического сплайна [1], то задача выбора нескольких параметров согласно условию минимума ошибки сглаживания не нашла своего решения в соответствующих основополагающих публикациях (например, в [1], [5]). Заметим, что построение двумерных сглаживающих сплайнов с минимальной ошибкой сглаживания весьма актуально в решении задач идентификации нелинейных систем (особенно в энергетике), описываемых интегральными уравнениями первого рода с ядрами Вольтера [6], [8]. Цель данной работы – построение СБС с минимальной (при учёте априорной информации о шуме измерения) ошибкой сглаживания. Для этого в статье будет рассмотрено:

• введение скалярного и векторного параметров сглаживания для каждой переменной СБС;
• модификация и исследование алгоритмов оценивания оптимальных значений параметров сглаживания сплайна при известной дисперсии шума измерений;
• модификация и исследование алгоритмов оценивания оптимальных значений параметров сглаживания сплайна при отсутствии данных о дисперсии шума измерений.

Построение сглаживающего бикубического сплайна

Предположим, что значения двумерной функции , измерены в узлах прямоугольной сетки . причём узлы ,  могут иметь не одинаковый и не равный шаг, что встречается в реальных экспериментах. Для учета возможных погрешностей (шумов) измерений принимается следующая модель эмпирических значений :  

(1)

где  – случайный шум измерения с нулевым средним и дисперсией  (равноточные измерения). По заданным значениям функции  требуется построить СБС , который:

• в узлах сетки , имеет меньшую ошибку по сравнению сисходными зашумленными значениями ;
• позволяет оценивать значения функции f(x,y)  при значениях x,y, не совпадающие с узлами сетки x_i,y_j.

Алгоритм построения двумерного СБС как построение ансамбля (набора) одномерных СКС был изложен в работе [9]. Поэтому здесь кратко опишем основные шаги этого алгоритма, необходимые для понимания места и способов выбора параметра сглаживания.

Шаг 1. Формируется набор исходных данных  (фиксируется значение ):

(2)

выбирается параметр сглаживания , и по (2) строится одномерный СКС , допускающий на отрезках представление:

(3)

и имеющий непрерывную производную второго порядка по на интервале . По сплайну (3) вычисляются значения  (результат сглаживания по аргументу x – это отражает нижний индекс в записи ). Шаг 1 повторяется для , и таким образом строится ансамбль (набор) из  Ny одномерных СКС, каждому из которых необходимо задать параметр сглаживания . Шаг 2. Формируется набор данных  (фиксируется значение выбирается параметр сглаживания , строится СКС и

Возникает вопрос: зачем нужно сглаживание на шаге 2, когда на шаге 1 было выполнено сглаживание путем построения СКС ? Ответ: на шаге 1 было выполнено сглаживание исходного шума измерения по переменной  x при каждом фиксированном y_j. В силу некоррелированности значений шума  n_ij между собой остаточный шум после сглаживания по x будет не коррелирован при разных значениях y_j. Поэтому можно предполагать, что сглаживание по переменной  y при фиксированных x_i будет способствовать уменьшению уровня остаточной ошибки сглаживания.

Скалярный и векторные параметры сглаживания и их выбор

Введем для СБС два новых понятия: скалярный и векторный параметр сглаживания. Под скалярным параметром будем понимать параметр, величина которого одинакова для всех сплайнов данного ансамбля. Так, на шаге 1 скалярный параметр определяется как:

Векторный параметр сглаживания – это вектор, каждая проекция которого задает свой параметр сглаживания соответствующему СКС из ансамбля сплайнов. Так, на шаге 2 векторный параметр  имеет  проекцию, равную

Возникает вопрос выбора скалярного или векторного параметра сглаживания при построении сплайна для эмпирических функций. При ответе на этот вопрос существенное значение играет наличие достоверной информации о дисперсии шума измерений  (см. (1)).

Первоначально предположим, что дисперсия  шума измерения известна с точностью 5-10%. Тогда для выбора скалярного параметра сглаживания можно использовать алгоритм, основанный на проверке статистической гипотезы об оптимальности параметра сглаживания и предложенный в работе [2]. Для проверки этой гипотезы (предположим, что это для шага 1) вводится критерий:

Поиск оценки  сводится к решению уравнения

(5)

итерационными алгоритмами. Оценкой  считают приближённое решение уравнения (5), которое удовлетворяет неравенству (4). Вычислительный эксперимент показал [2], что рассмотренный алгоритм выбора скалярного параметра позволяет с приемлемой точностью оценить оптимальный скалярный параметр сглаживания , минимизирующий СКО фильтрации, при этом увеличение ошибки сглаживания по сравнению с минимальной составило 6-10%.

Такой же алгоритм можно построить для вычисления

удовлетворяет неравенству (6). Результаты сравнения ошибок сглаживания скалярного и векторного параметров приводятся ниже.

Заметим, что вычисление как скалярного, так и векторного параметров сглаживания на основе критерия оптимальности требует задания достоверной величины дисперсии шума измерения. При заниженном значении дисперсии вычисляется заниженное значение параметра сглаживания, что приводит к «недостаточной» фильтрации шума измерения – высокий уровень «остаточного» шума. При завышенной дисперсии наблюдается обратный эффект – сглаживаются «тонкие» структуры обрабатываемого сигнала. К сожалению, ситуация достоверного знания дисперсии шума измерения в реальном физическом эксперименте скорее исключение, чем правило. Кроме того, при вычислении сплайна на шаге 2 по результатам сглаживания на шаге 1 дисперсия остаточного шума неизвестна. Все это говорит об актуальности разработки алгоритмов выбора параметров сглаживания для случая неизвестной дисперсии шума измерения, которые и составляют предмет дальнейших исследований.

В работе [4] был построен алгоритм выбора параметра сглаживания одномерного СКС на основе метода L-кривой, позволяющий с приемлемой точностью оценить оптимальный параметр сглаживания как в случае некоррелированного, так и для коррелированного шума измерений. Метод L-кривой используется для выбора параметра регуляризации в алгоритмах решения некорректных задач (например, [10], [11]), когда неизвестны характеристики погрешностей исходных данных. Поэтому попытаемся модифицировать алгоритм выбора параметра сглаживания работы [4] для вычисления скалярного и векторного параметров сглаживания.

Обсуждение результатов вычислительного эксперимента

При практическом использовании описанных алгоритмов выбора могут возникнуть следующие вопросы:

Какова точность сглаживания сплайнов с использованием скалярного и векторного параметров по сравнению с их оптимальными значениями?

Есть ли уменьшение ошибки сглаживания после построения сглаживающего сплайна по второй переменной (см. шаг 2)?

Ответы на эти вопросы можно получить только из анализа результатов вычислительного эксперимента, когда известны точные значения сглаживаемой функции и можно вычислить оптимальные значения параметров сглаживания. Рассмотрим результаты одного из таких выполненных экспериментов.

Рис. 1 – Изолинии тестовой функции

Введем несколько характеристик, позволяющих дать ответы на выше заданные два вопроса.

Относительную ошибку сглаживания по переменной  (шаг 1) определим, как:

Очевидно, что эти коэффициенты меняются в интервале от 0 до 1 и их значения являются случайными величинами, так как зависят от реализации шума измерений. Поэтому по выборке объемом 30 вычислялись выборочные средние этих коэффициентов (черточка в вверху в их обозначениях)– оценки математического ожидания этих случайных величин. Чем больше эти средние отклоняются от 1 в меньшую сторону, тем больше проигрыш по точности сплайна, построенного с соответствующими параметрами сглаживания. Средние значения коэффициентов эффективности приведены в таблице 1 для трех уровней шума: 0.02, 0.04, 0.06.

Таблица 1 – Коэффициенты эффективности выбора параметров сглаживания

Относительный уровень шума	Коэффициенты эффективности
	на шаге 1				на шаге 2
0,02	0,985	0,898	0,995	0,965	0,916	0,889
0,04	0,983	0,889	0,994	0,926	0,897	0,876
0,06	0,981	0,879	0,991	0,898	0,832	0,820

Анализ этой таблицы показывает, что:

• алгоритмы выбора параметров сглаживания, основанные как на проверке критерия оптимальности, так и на методе L-кривой, оценивают на шаге 1 оптимальные значения с хорошей точностью (увеличение относительной ошибки сглаживания на 5-15%), однако коэффициент эффективности у скалярного параметра выше, чем у векторного;
• с увеличением уровня шума значения коэффициентов эффективности уменьшаются у всех способов выбора параметров сглаживания;
• на шаге 2 коэффициенты эффективности параметров сглаживания, вычисляемых методом L-кривой (дисперсия остаточного шума после первого шага считается не известной) имеют меньшие значения по сравнению с шагом 1.

Для ответа на второй вопрос об уменьшении ошибки сглаживания после построения на шаге 2 сглаживающего сплайна по второй переменной (вторичное сглаживание), введем следующие коэффициенты:

показывающие во сколько раз уменьшается ошибка сглаживания для оптимальных скалярного и векторного параметров СБС;

показывающие во сколько раз уменьшается ошибка сглаживания для скалярного и векторного параметров СБС, вычисленных на основе метода L-кривой. Средние значения этих коэффициентов (назовем их коэффициентами эффективности вторичного сглаживания) приведены в таблице 2, здесь же приведены средние значения ошибки сглаживания  на втором шаге для разных уровней шума.

Таблица 2 – Коэффициенты эффективности вторичного сглаживания

Относительный уровень шума	Коэффициенты эффективности				Относительная ошибка сглаживания
0,02	1,982	1,896	1,732	1,641	0,004
0,04	2,074	2,011	1,669	1,581	0,009
0,06	2,241	2,071	1,573	1,498	0,013

По результатам таблицы 2 видно, что, не смотря на уменьшение коэффициентов эффективности для параметров сглаживания, вычисленных методом L-кривой по сравнению с оптимальными значениями (которые невозможно определить на практике), уменьшение ошибки сглаживания на шаге 2 составляет значительную величину (уменьшение на 30-50% от ошибки сглаживания на шаге 1). В качестве иллюстрации этого факта на рис. 2 представлены изолинии результата сглаживания зашумленного сигнала на шаге 1 (уровень шума , ошибка сглаживания 0.015), а на рис. 3 – изолинии результата сглаживания после шага 2 (ошибка сглаживания 0.010). Видно значительное уменьшение ошибки сглаживания (как количественное, так и качественное).

Рис. 2 – Результат сглаживания на шаге 1

Рис. 3 – Результат сглаживания на шаге 2

Заключение

Численные исследования свидетельствуют, что предложенные алгоритмы оценивания оптимальных значений скалярного и векторного параметров сглаживания практически решают проблему выбора параметров сглаживания бикубического сплайна как при известной, так и при неизвестной дисперсии шума измерений. Это позволяет их рекомендовать для практического использования для решения различных задач обработки и интерпретации экспериментальных данных, особенно при автоматизированной обработке результатов эксперимента.

Финансирование Исследование выполнено за счет гранта Российского научного фонда (проект № 22-21-00409). Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 20-38-90041.	Funding The research was supported by RSF (project No. 22-21-00409). The reported study was funded by RFBR according to the research project No. 20-38-90041.
Конфликт интересов Не указан.	Conflict of Interest None declared.

Список литературы / References

1. Завьялов Ю.С. Методы сплайн-функций / Ю. С. Завьялов, Б. И. Квасов, В. Л. Мирошниченко. – М. : Наука, 1980. – 345 с.
2. Воскобойников Ю.Е. Математическая обработка эксперимента в молекулярной газодинамике / Ю.Е. Воскобойников, Н. Г. Преображенский, А. И. Седельников. – Новосибирск : Наука, 1984. – 238 с.
3. Воскобойников Ю.Е. Новый устойчивый алгоритм непараметрической идентификации технических систем / Ю. Е. Воскобойников, В.А. Боева // Современные наукоемкие технологии. – 2019. – №5. – С. 25-29.
4. Воскобойников Ю.Е.Метод L-кривой для оценивания оптимального параметра сглаживающего кубического сплайна / Ю. Е. Воскобойников, В. А. Боева // Международный научно-исследовательский журнал. – 2021. – № 11 (113). – Ч. 1. – С. 6-13. DOI : 10.23670/IRJ.2021.113.11.003.
5. Wang Y. Smoothing Splines Methods and Applications. Ser. Monographs on Statistics and Applied Probability v. 121 / Y. Wang. – New York : A Chapman & Hall book, 2011. – 347 p.
6. Apartsyn A.S. Modeling of Nonlinear Dynamic Systems with Volterra Polynomials : Elements of Theory and Applications / A. S. Apartsyn, S. V. Solodusha, V. A. Spiryaev // Int. J. Energy Optim. Eng. – 2013. – No. 2. – P. 16–43. DOI: 10.4018/ijeoe.2013100102.
7. Солодуша С.В. Численное моделирование динамики теплообмена модифицированным квадратичным полиномом Вольтеры / С. В. Солодуша // Вычислительные технологии. – 2013. – Т. 18. – №2.– С. 84-94.
8. Солодуша С.В. Квадратичные и кубичные полиномы Вольтерра: идентификация и приложение // Вестник Санкт-Петербургского университета. Прикладная математика. Информатика. Процессы управления. – 2018. – Т. 14. – Вып. 2. – С. 131–144. DOI: 10.21638/11702/spbu10.2018.205
9. Воскобойников Ю.Е. Устойчивый алгоритм вычисления смешанных производных в задачах непараметрической идентификации нелинейных систем / Ю.Е. Воскобойников, В.А. Боева // Современные наукоемкие технологии. – 2021. – № 4 – С. 25-29. DOI: 10.17513/snt.38610.
10. Rezghi M.A new variant of L-curve for Tikhonov regularization / M. Rezghi, S. M. Hosseini // J. Comput. Appl. Math. – 2012. – No. 231 (5). – Р. 914–924. DOI: 10.1016/j.cam.2009.05.016
11. Cultrera A.A simple algorithm to find the L-curve corner in the regularisation of ill-posed inverse problems / A. Cultrera, L. Callegaro // IOP SciNotes. – 2020. – Vol. 1. – Nо. 2. – Р. 32-39. DOI: 10.1088/2633-1357/abad0d

Список литературы на английском языке / References in English

1. Zav'yalov YU.S. Metody splajn-funkcij [Spline function methods] / YU. S. Zav'yalov, B. I. Kvasov, V. L. Miroshnichenko. – M. : Nauka, 1980. – 345 p. [in Russian]
2. Voskobojnikov YU.E. Matematicheskaya obrabotka eksperimenta v molekulyarnoj gazodinamike [Mathematical processing of an experiment in molecular gas dynamics] / YU. E. Voskobojnikov, N. G. Preobrazhenskij, A. I. Sedel'nikov. – Novosibirsk : Nauka, 1984. – 238 p. [in Russian]
3. Voskobojnikov YU.E. Novyj ustojchivyj algoritm neparametricheskoj identifikacii tekhnicheskih sistem [New stable algorithm for nonparametric identification of technical systems] / YU. E. Voskobojnikov, V. A. Boeva // Sovremennye naukoemkie tekhnologii [Modern high technologies]. – 2019. – No. 5. – P. 25-29. [in Russian]
4. Voskoboynikov YU.E. Metod L-krivoj dlya ocenivaniya optimal'nogo parametra sglazhivayushchego kubicheskogo splajna [L-curve method for evaluating the optimal parameter of a smoothing cubic spline] / YU. E. Voskoboynikov, V. A. Boeva // Mezhdunarodnyj nauchno-issledovatel'skij zhurnal [International research journal]. – 2021. – No. 11 (113). – Iss. 1. – P. 6-13. DOI: 10.23670/IRJ.2021.113.11.003. [in Russian]
5. Wang Y. Smoothing Splines Methods and Applications. Ser. Monographs on Statistics and Applied Probability v. 121 / Y. Wang. – New York : A Chapman & Hall book, 2011. – 347 p.
6. Apartsyn A.S. Modeling of Nonlinear Dynamic Systems with Volterra Polynomials : Elements of Theory and Applications / A. S. Apartsyn, S. V. Solodusha, V. A. Spiryaev // Int. J. Energy Optim. Eng. – 2013. – No. 2. – P. 16–43. DOI: 10.4018/ijeoe.2013100102.
7. Solodusha S.V. Chislennoe modelirovanie dinamiki teploobmena modificirovannym kvadratichnym polinomom Vol'tery [Numerical modeling of heat exchange dynamics by modified quadratic Volterra polynomial] / S. V. Solodusha // Vychislitel'nye tekhnologii [Computational Technologies]. – 2013. – Vol. 18. – No. 2. – P. 84-94. [in Russian]
8. Solodusha S.V. Kvadratichnye i kubichnye polinomy Vol'terra: identifikacija i prilozhenie [Quadratic and cubic Volterra polynomials : Identification and application] / S. V. Solodusha // Vestnik Sankt-Peterburgskogo Universiteta. Prikladnaya Matematika, Informatika, Protsessy Upravleniya. [Bulletin of St. Petersburg University. Applied mathematics. Computer science. Management Processes] – 2018. – Vol. 14. – No. 2. – P. 131-144. DOI: 10.21638/11701/spbu10.2018.205.
9. Voskobojnikov YU.E. Ustojchivyj algoritm vychisleniya smeshannyh proizvodnyh v zadachah neparametricheskoj identifikacii nelinejnyh sistem [Stable algorithm for computing mixed derivatives in problems of nonparametric identification of nonlinear systems] / YU.E. Voskobojnikov, V.A. Boeva // Sovremennye naukoemkie tekhnologii [Modern high technologies]. – 2021. – No. 4 – P. 25-29. DOI: 10.17513/snt.38610. [in Russian]
10. Rezghi M.A new variant of L-curve for Tikhonov regularization / M. Rezghi, S. M. Hosseini // J. Comput. Appl. Math. – 2012. – No. 231 (5). – Р. 914–924. DOI : 10.1016/j.cam.2009.05.016
11. Cultrera A. A simple algorithm to find the L-curve corner in the regularisation of ill-posed inverse problems / A. Cultrera, L. Callegaro // IOP SciNotes, 2020. – Vol. 1. – Nо. 2. – Р. 32-39. DOI: 10.1088/2633-1357/abad0d