1. Введение

На сегодняшний день количество методов, предназначенных для автоматизации поиска фреймов в пределах заданной семантической зоны, остаётся ограниченным. При этом данная задача является важной частью лексической типологии, сохраняет актуальность и в большинстве исследований по-прежнему решается ручными методами. В настоящей работе для её решения предлагается автоматизированный подход, основанный на использовании параллельного корпуса Национального корпуса русского языка

[1][2][2]»

Лексическая типология занимается изучением способов, с помощью которых язык выражает конкретные явления, а также сопоставляет соответствующие лексические средства в различных языках. Например, в русском языке один и тот же термин может обозначать как пальцы руки, так и пальцы ноги, тогда как в английском для этих понятий используются разные слова finger и toe. Помимо межъязыкового сравнения, исследованию подлежат семантические поля внутри одного языка и способы их выражения. Так, в семантической области «чинить портить» можно выделить различные варианты значений: «делать вновь пригодным», «настраивать инструмент», «изменять деятельность», «ухудшать». Такие варианты употребления образуют отдельные фреймы [3].

На основе выявленных фреймов можно составить таблицу, где строки будут соответствовать самим фреймам, столбцы языкам, а в ячейках будут приведены лексические единицы, реализующие эти фреймы в разных языках. Цель данной статьи автоматизированное создание таких фреймов.

Таким образом, задача данного исследования состоит в автоматизированном поиске представлений фреймов, которые реализуют исследуемую семантическую зону «тянуть — толкать

»

Работа является актуальной, поскольку до сих пор большинство современных исследований семантических полей используют полностью ручные методы:

[3][6][8][9]

2. Обзор литературы

2.1. Ручные методы

Одной из задач лексической типологии является изучение семантических полей. Например, поле «тянуть толкать». В задаче необходимо найти все варианты реализации поля в конкретном языке. Данное поле может быть реализовано в следующий вариантах: «открывать от себя», «увеличивать в размере», «привлекать внимание», «перемещать на себя» и т.п. Также дополнительно реализации могут быть сравнены среди разных языков.

Для таких исследований выделяют четыре основных подхода. Первый из них, известный как метод Московской лексико-типологической школы [10], основан на использовании фреймов. В рамках этого подхода каждая ситуация, относящаяся к определённому семантическому полю, описывается с помощью фрейма набора характеристик, выраженных словами. Например, фрейм «нажимать предмет вперёд» относится к семантической области «тянуть толкать». В языке этот фрейм реализуется через конкретные лексемы, причём возможное количество фреймов может быть довольно большим. Их выбор исследователь осуществляет на основе словарей, переводных материалов и собственных интуитивных суждений, а также может опираться на синхронные переводы текстов.

На следующем этапе формируется таблица: строки содержат описания фреймов, столбцы — лексемы, а в ячейках фиксируется, соответствует ли конкретная лексема данному фрейму. Существует альтернативная структура таблицы, где строки обозначают фреймы, столбцы языки, а в ячейках указываются лексемы, через которые этот фрейм реализуется в каждом языке. Основным недостатком такого подхода является ручной характер выделения фреймов. Кроме того, при работе со словарями исследователь вынужден ограничивать область поиска, так как в процессе перевода появляются новые фреймы, зачастую лишь косвенно связанные с изучаемым семантическим полем из-за многозначности слов. Поэтому нередко требуется привлечение носителей соответствующих языков.

Второй подход использует физическое восприятие человека [11]. Исследователь подготавливает набор универсальных стимулов объектов с определённым вкусом, запахом, цветом или формой и показывает их носителям языка. Задача информанта заключается в том, чтобы как можно точнее описать представленный объект словами. Сравнивая ответы носителей разных языков, можно определить, какими лексическими средствами выражаются одни и те же стимулы в разных языках. К недостаткам этого метода относятся невозможность отразить всё многообразие лексических единиц с помощью физических стимулов, высокая трудоёмкость и значительные затраты времени. Кроме того, этот подход требует обязательного участия носителей языка.

Третий подход опирается на использование универсальных семантических примитивов, с помощью которых, как предполагается, можно описать любую ситуацию [12]. Этот метод применяет систему из 64 базовых понятий, комбинации которых позволяют выводить все остальные значения. Главными недостатками подхода являются неоднозначность интерпретации получаемых значений и высокая методологическая сложность.

Четвёртый подход основан на анализе параллельных текстовых корпусов. Исследователь определяет переводные соответствия для различных способов реализации конкретной семантической зоны. Основным ограничением этого метода является отсутствие или недостаточная полнота параллельных корпусов для редких и малоизученных языков.

Фреймовый подход является наиболее широко применяемым в лингвистических исследованиях. Так, в работе [3] с его помощью анализируется семантическое поле «мешать». В исследовании [4] рассматривается семантическая область «домашний скот» на материале германских и славянских языков, при этом основным источником данных выступает лексический фонд. В работе [5] при изучении семантических зон «попасть, упасть» и «задеть, попасть» в казымском диалекте хантыйского языка используются корпусные данные, словари и сведения, полученные от носителей языка.

Авторы работы [6] исследуют семантическую зону «острый» в китайском языке с опорой на данные словарей, текстовых корпусов и сведения, полученные от информантов. В работе [7] анализируется семантическое поле «шахматная игра» в русском языке с использованием модели «центр периферия», где в центре сосредоточены наиболее узкоспециализированные семантические признаки, а на периферии — менее специализированные.

В исследовании [8] для анализа семантической зоны «мягкий», «твёрдый», «жёсткий» применялся метод анкетирования носителей языка. В работе [9] семантическая зона слова «город» исследуется на материале литературных источников.

2.2. Автоматизированные методы

Подходы, основанные на автоматизации, пока остаются слабо развитыми. Так, в работе [13] применяются заранее подготовленные анкеты, которые затем автоматически переводятся на другие языки с использованием словарей и параллельных корпусов. Исследование посвящено семантическим зонам «острый гладкий» и «толстый тонкий». Основным ограничением данного подхода является необходимость предварительной подготовки таких анкет.

Авторы исследования [14] используют биграммы Национального корпуса русского языка [1], дополненные различными леммами. Для кластеризации создаются векторные представления: выбираются 10 000 наиболее частотных лексем, после чего для каждого исследуемого слова подсчитывается количество совместных употреблений с каждой из этих лексем в окне шириной пять слов. Для анализа применяются алгоритмы иерархической кластеризации, поскольку методы, не требующие заранее заданного числа кластеров, показали низкую эффективность. Основными недостатками данного подхода являются отсутствие в векторных представлениях семантической информации и данных о контексте употребления.

Современные мультиязычные модели, такие как BERT, показывают способность формировать общее семантическое пространство для разных языков

[15][16]

3. Алгоритм работы

3.1. Кластеризация переводов

Исследование проведено на материале текстов Национального корпуса русского языка, а именно на его мультиязычном корпусе [1]. Составляются векторы BERT [17] предложений русского языка и их переводы на английский язык. Затем они кластеризуются методом K-means [18]. Если перевод предложения оказался в другом кластере, возможно, этот перевод дает новое значение семантической зоны. Предложения, чьи переводы оказываются в другом кластере, считаются репрезентациями фреймов, поскольку содержат контекст и позволяют выразить ситуацию, в которой фрейм применяется (как и в работе [2] предложения тоже приводятся для описания фреймов). Также вместо алгоритма K-means исследуется алгоритм DBSCAN [19].

Псевдокод алгоритма:

3.2. Кластеризация по сходству

Данный подход аналогичен методу, описанному выше, однако для определения того, попадают ли оригиналы предложений и их переводы в разные кластеры, используется сходство их векторов по косинусной мере.

Если разница векторов больше определенного значения, то они попадают в разные кластеры, а иначе в один. Это значение подбирается для достижения наилучшего качества. Предложения, векторы переводов которых оказались в другом кластере, считаются репрезентацией фреймов.

Псевдокод алгоритма:

3.3. Последовательные переводы через промежуточный язык с кластеризацией K-means

В следующем предлагаемом данной статьей подходе используется тезаурус WordNet [20]. Слова из исследуемой семантической зоны переводятся на английский язык. Для них находятся синонимы из тезауруса. Затем каждый синоним переводится в промежуточный язык. Используется переводчик Google через API с помощью библиотеки Googletrans (pypi.org/project/googletrans/). В качестве промежуточного языка выбран польский, поскольку это один из языков в мультиязычном корпусе НКРЯ. Затем слова из промежуточного языка переводятся обратно на русский. Далее итерация повторяется не больше 3 раз, чтобы снизить вероятность перехода в другую семантическую зону. Итерация также прерывается, если после перевода не получено новых слов.

Затем в основном корпусе НКРЯ находятся предложения, содержащие найденные слова. Берутся их векторы BERT, далее выполняется кластеризация методом K-means. Для каждого кластера находится центроид и предложение, вектор которого наиболее близок к центроиду. Найденные предложения считаются репрезентацией фреймов.

Псевдокод алгоритма:

4. Эксперименты

4.1. Кластеризация переводов

Материалом для исследования является мультиязычный датасет Национального корпуса русского языка [1]. Он состоит из Единицами анализа для поиска всех предложений являются лексемы «тянуть» и «толкать».

Находятся все предложения, содержащие данные лексемы. Всего таких предложений для зоны «тянуть» найдено 494, а для зоны «толкать» 22. Далее все найденные предложения и их переводы кластеризуются. Кластеризация необходима для того, чтобы объединить одинаковые по смыслу предложения в один кластер. Предполагается, что все они являются различными репрезентациями одного и того же фрейма, а предложения в разных кластерах представляют разные фреймы. Таким образом, кластеры состоят из предложений. Если предложение и его перевод попали в разные кластеры, то, возможно, в английском переводе появляется новый фрейм. Находятся все такие предложения, переводы которых попали в другой кластер. Они считаются репрезентациями фреймов для исследуемой семантической зоны. Сам фрейм является смыслом исследуемого слова (представляющим исследуемую семантическую зону) в данном предложении.

Для алгоритма K-means необходимо выбрать количество кластеров, на которые разбивать множество предложений. По методу локтя [21] для зоны «тянуть» было выбрано разбиение на 10 кластеров, а для зоны «толкать» на 11. Затем после кластеризации для каждого предложения на русском языке было найдено, находится ли его перевод на английский язык в одном с ним кластере или в другом.

Результаты экспериментов показали, что описанный выше алгоритм дает приемлемые по сравнению с работой [2] результаты только для зоны «толкать». Для нее было найдено 11 предложений на русском языке, переводы которых (тоже 11) попали в отличные от оригинала кластер. Переводов, которые попали в один кластер с оригиналом, не найдено.

Ниже приведены некоторые из найденных предложений и их переводов (Здесь и далее примеры взяты из Национального корпуса русского языка [1]).

Но вот на улице появился запыхавшийся и вспотевший человек, который с большим трудом один толкал две тачки с углем.

Just then a man passed by, worn out and wet with perspiration, pulling, with difficulty, two heavy carts filled with coal.

- Да при чем здесь «толкнул»? - сердясь на общую бестолковость, воскликнул Иван, такому и толкать не надо! Он такие штуки может выделывать, что только держись! Он заранее знал, что Берлиоз попадет под трамвай!

«What are you talking about?» exclaimed Ivan, irritated by his listener's failure to grasp the situation. «He didn't have to push him! He can do thing».

Иван впал в беспокойство, растолкал окружающих, начал размахивать свечой, заливая себя воском, и заглядывать под столы. Тут послышалось слово, «доктора!» и чье-то ласковое мясистое лицо, бритое и упитанное, в роговых очках, появилось перед Иваном.

Ivan was by now in a state of some excitement. Pushing the bystanders aside he began waving his candle about, pouring wax on himself, and started to look under the tables. Then somebody said «Doctor!» and a fat, kindly face, clean-shaven, smelling of drink and with horn-rimmed spectacles, appeared in front of Ivan.

Для зоны «тянуть» было найдено 490 предложений, переводы которых попали в кластеры, отличные от кластеров оригиналов (при этом только для 4-х предложений соответствующие им переводы оказались в том же кластере).

При варьировании параметра значения количества кластеров для алгоритма K-means от 2 до 20 в разные кластеры попадало от 490 до 492 переводов на английский язык. Таким образом, параметр количества кластеров очень слабо влиял на результат. В связи с этим для зоны «тянуть» описанный в данной главе алгоритм не работает, поскольку значение 490 намного больше найденных в работе [2] предложений (в ней для зоны «тянуть» было найдено 10).

Поэтому оценка была произведена только для зоны «толкать»: найденные представления фреймов в виде предложений на русском языке были сравнены с представлением фреймов из работы [2]. Была подсчитана точность, полнота и F-мера. Результаты приведены в таблице 1.

Для дальнейших исследований был выбран вариант алгоритма с кластеризацией DBSCAN. Его параметры позволяют задать работу более тонко. Для зоны «тянуть» оптимальными были выбраны следующие параметры:

eps: 0.08

min_samples: 5

При этих параметрах находится 10 предложений. Возможные значения min_samles лежат в диапазоне от 1 до 15. При значениях min_samples больше 15 в разных кластерах становится больше предложений - уменьшается точность. Если уменьшать eps, падает точность, если увеличивать падает полнота.

Для зоны «толкать» такие же параметры дают только 2 предложения. Оптимальными были выбраны следующие параметры:

eps: 0.06

min_samples: 5

Данные параметры позволяют найти 12 предложений. Отличные значения eps дают меньше предложений и уменьшают полноту. Значение min_samples могут быть в диапазоне от 5 до 9. Значения min_samples меньше 5 дают больше предложений и уменьшают точность, значения min_samples больше 9 дают меньше предложений и уменьшают полноту.

Оценка приведена в таблице 2

4.2. Кластеризация по сходству

Для зоны «тянуть» оптимальный порог близости был найден 0.82, поскольку на нем достигаются наилучшие значения точности и полноты. Для зоны «толкать» оптимальный порог сходства был найден 0.905. Было найдено 11 предложений в разных кластерах. Оценка приведена в таблице 3.

Таким образом, фильтрация по близости векторов позволяет задавать более тонкую настройку и более гибко оптимизировать работу.

4.3. Последовательные переводы через промежуточный язык с кластеризацией K-means

Эксперименты показали, что со второй итерации алгоритма переводы стали достаточно отдаленные от первоначальной зоны «тянуть», поэтому была сделана одна итерация алгоритма. Найдено 23 слова. Затем в корпусе НКРЯ были найдены все предложения с этими словами, найдены их векторы BERT и кластеризованны в 17 кластеров по методу локтя [21].

Некоторые из найденных предложений:

Артист вытянул вперед руку, на пальцах которой сверкали камни, как бы заграждая уста буфетчику, и заговорил с большим жаром,

Белая волокнистая пелена, затянувшая почти все болото, с каждой минутой приближалась к дому.

Он быстро поел, а в столовую еще тянулись сгорбленные старцы и старухи.

Мероприятие, предполагавшее живой обмен мнениями, затянулось на два часа и порой напоминало лекцию на юрфаке.

—

Да как будто удивился он, потом протянул в раздумье: Оч-чень хо-ро-шо!

Для подзоны «толкать», как и для подзоны «тянуть», со второй итерации идет сильный переход в другие зоны, поэтому была сделана только одна итерация переводов.

Был найден фрейм «нажимать на кнопку», который не был найден ни в одном их предыдущих алгоритмов:

«Человек нажал кнопку, включавшую аппарат, и тонкий луч света, пронзив пространство, прямой наводкой попал в глазок камеры.»

Количество кластеров по методу локтя для зоны «тянуть» было выбрано 11, а для «толкать» 10.

Кластеры представлены векторами BERT предложений, поэтому для их визуализации необходимо уменьшить размерность до 2-х главных компонент. Это сделано с помощью метода PCA [22]. Визуализация представлена на рисунках 1 и 2 для зоны «тянуть» и «толкать» соответственно с помощью библиотеки matplotlib.

Оценка приведена в таблице 4.

5. Результаты

В Таблице 5 приведены сравнительные оценки работы алгоритмов. Жирным выделен самый лучший результат среди всех алгоритмов по соответствующей оценке. Подчеркиванием выделен самый лучший результат для каждой из зон «тянуть», «толкать», «тянуть толкать».

Самые лучшие результаты показал подход с параллельными переводами и последующей кластеризацией K-means. Он достиг лучших результатов по точности (зона «толкать») и по полноте (зона «тянуть»). Также достиг самых лучших показателей по всем зонам кроме полноты для зоны «толкать» и F-меры для зоны «толкать».

Немного хуже показал результаты подход с фильтрацией BERT. Он достиг самые лучшие результаты по F-мере (для зоны «толкать»), также показал самый лучший результат по полноте для зоны «толкать».

Подход с кластеризацией параллельных переводов занял 3 место. Однако отставание незначительное. По точности для зоны «тянуть» он показал почти такое же значение, как подход с последовательными переводами, и выше, чем подход с фильтрацией по близости BERT. По полноте для зоны «тянуть» показал такой же результат, как второй подход. Низкие результаты он дал только по полноте для зоны «толкать».

6. Выводы

Была поставлена задача содействия решению лексико-типологической проблемы определения фреймов семантической зоны «тянуть — толкать» с использованием автоматизированных подходов. Традиционно задача решается ручными методами, которые требуют привлечения лингвистов, носителей языка, лингвистических ресурсов, времени и трудозатрат.

Для автоматизации ее решения были предложены и реализованы методы, использующие современные контекстуализированные векторные представления BERT, алгоритмы кластеризации DBSCAN и K-means, мультиязычный корпус НКРЯ и словарь переводов.

Был исследован алгоритм кластеризации векторов BERT переводов с помощью K-means и DBSCAN с последующим выявлением предложений, чьи переводы попали в другой кластер в отличие от оригинала. Такие предложения считались репрезентацией фреймов для исследуемой семантической зоны. Его вариант с

K-means показал неудовлетворительные результаты для зоны «тянуть». Возможно, это связано с тем, что векторы переводов достаточно близки, и их разница недостаточна для нахождения новых фреймов. При этом при замене K-means на DBSCAN алгоритм начинает работать. Это может быть связано с тем, что DBSCAN позволяет более гибко регулировать работу алгоритма.

Также был исследован алгоритм кластеризации векторов BERT переводов с помощью сходству по косинусной мере. В нем для определения того, что предложения и их переводы попали в разный кластер, вместо DBSCAN и K-means используется сходство векторов по косинусной мере. Если сходство больше опредлённого порога, найденного экспериментально, то вектор перевода попадает в отличный от оригинального предложения кластер. Все предложения, где вектор перевода попал в другой кластер, считаются репрезентацией фреймов исследуемой зоны. Подход показал более стабильные результаты и занял второе место среди исследуемых алгоритмов.

Это говорит о том, что порог сходства по косинусной мере BERT позволяет достаточно точно находить репрезентации фреймов.

Самых лучших результатов удалось достичь с помощью подхода с последовательными переводами с русского на английский через промежуточный язык, расширением слов из тезауруса и последующей кластеризацией K-means. В нем слова исследуемой семантической зоны последовательно переводятся с русского на английский через промежуточный язык, расширяются синонимами из тезауруса, затем в корпусе НКРЯ находятся все предложения, содержащие данные слова, и эти предложения кластеризуются алгоритмом K-means. Для каждого кластера находится центроид и наиболее приближенный к нему вектор предложения из кластера. Предложения, которые соответствуют данным векторам, считаются репрезентациями фреймов. Подход показал наилучшие результаты, генерация слов через последовательные переводы и добавление синонимов через тезаурус дает много слов, которые принадлежат исследуемой семантической зоне, при этом не сильно выходят за ее пределы. Кластеризация их векторов BERT помогает объединить по смыслу одинаковые предложения с данными словами и получить предложения, наиболее точно представляющие каждый из фреймов семантической зоны.

7. Заключение

Было реализовано три подхода к автоматизации поиска репрезентаций фреймов в области лексической типологии на параллельных корпусах и с помощью последовательных переводов через промежуточный язык. Метод с последовательными переводами демонстрирует результаты лучше, чем методы на параллельных корпусах. При этом все три подхода дают близкие результаты. Поэтому можно применять любой из трех алгоритмов. Они показали свою работоспособность и гибкость. Таким образом, были разработаны методы, позволяющие автоматизировать часть работы лингвистов и сделать ее более эффективной.

The additional file for this article can be found as follows: