МАШИННОЕ ОБУЧЕНИЕ ПРИ АДАПТАЦИИ УЧЕБНЫХ ТЕКСТОВ: ЛЕКСИЧЕСКИЙ АСПЕКТ

Аннотация

Обучение в школах инофонов в смешанных классах требует адаптации учебных материалов, особенно по дисциплинам гуманитарного цикла. Процесс адаптации отличается большой трудоёмкостью, однако с учётом того, что адаптация осуществляется под определённый уровень владения русским языком как иностранным, а значит, предполагает соответствие чётким требованиям, может быть отчасти автоматизирован. В статье представлены результаты апробации методов машинного обучения по адаптации учебных текстов на лексическом уровне. Материалом адаптации стал учебник по истории России за 11 класс, в котором были произведены синонимические замены ряда лексем на слова, включённые в лексический минимум уровня А1. Для осуществления замен был создан словарь синонимов, в котором заголовочными словами являются слова из лексического минимума уровня А1; отбор синонимов осуществлялся с учётом их частеречной принадлежности из словарей синонимов, размещённых на сайте https://academic.ru/. Были проведены токенизация текста, морфологический анализ слов, приведение их в начальную форму, замена на синонимы из лексического минимума и дальнейшее приведение синонимов в нужную грамматическую форму. Дальнейшая работа предполагала проверку адекватности произведённых замен и анализ ошибок. Алгоритм показал высокую степень точности при осуществлении замен; допущенные ошибки проанализированы и классифицированы. Выделены пять типов ошибок: 1) ошибки, связанные с семантикой многозначного слова, 2) ошибки, связанные с системными отношениями в лексике, 3) ошибки, связанные со стилистическими особенностями словоупотребления, 4) ошибки, связанные с употреблением устойчивых / лексикализованных сочетаний, 5) ошибки, связанные с культурой оформления печатного текста. Основными причинами возникновения этих ошибок стали: 1) неразличение лексико-семантических вариантов многозначного слова или неразличение омонимов, 2) неразличение стилистически окрашенных и нейтральных синонимов, 3) неузнавание имён собственных (географических наименований, имен и фамилий людей), 4) неузнавание условных сокращений, принятых в специализированных изданиях. Предложены шаги по усовершенствованию работы алгоритма: анализ многозначных слов и омонимов, входящих в минимум, для уточнения их значений; введение критерия вероятности использования слова как стилистически окрашенной единицы расширение словаря синонимов за счёт включения в него лексикализованных сочетаний, имён собственных, наиболее частотных условных сокращений.