ПРОГРАММНЫЕ ВОЗМОЖНОСТИ ИДЕНТИФИКАЦИИ ТЕКСТОВ: СОПОСТАВЛЕНИЕ НА СХОЖЕСТЬ, УСТАНОВЛЕНИЕ ТОЖДЕСТВА, ПРОВЕРКА НА УНИКАЛЬНОСТЬ - Напреенко, Галина Викторовна (ВЕСТНИК ЧЕЛЯБИНСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА; № 3 (485) (2024): Вестник Челябинского государственного университета, 2024)
Исследование выполнено в рамках идентификационной лингвистики и лингвистической вариантологии. В статье описаны некоторые способы установления степени схожести текстов: алгоритм шинглов, расстояние Левенштейна, системы по выявлению плагиата. Цель работы — описание и апробация программных возможностей сопоставления текстов на схожесть, установления их тождества, проверки на уникальность. В широком смысле данные задачи входят в область идентификации текста. При качественной (ручной) оценке схожести текстов происходит выбор и отбор идентифицирующих параметров специально для исследуемого текста. Использование электронных ресурсов обусловлено стремлением к объективности применяемых методов установления тождества текстов и объективности получаемых результатов. Программные продукты также позволяют установить иную, квантитативную, характеристику — степень схожести текстов друг с другом или степень оригинальности текста. В работе использованы сервисы, в задачи которых входит: 1) сравнение текстов на схожесть; 2) обнаружение заимствования (плагиата). Материалом исследования явился отрывок интервью главы МИД Сергея Лаврова. Вариантами для сравнения с исходным текстом послужили тексты обратного машинного перевода. Обратный машинный перевод как транслятивный продукт — часть искусственного интеллекта и модель процесса понимания и интерпретации естественного языка. Результаты использования предложенных сервисов позволили расположить пять вариантов текстов обратного машинного перевода от наиболее уникального к наиболее тождественному исходному. Исследование показало, что программы в целом дают схожие результаты, которые могут быть применимы для решения исследовательских и прикладных задач, связанных с установлением тождества и различия текстов. Перспектива исследования — выявление лексических параметров, позволяющих классифицировать вторичные тексты обратного машинного перевода как наиболее или наименее тождественные по отношению к первичному варианту.