Опыт и перспективы применения искусственного интеллекта для исследования иероглифических рукописей на вымерших языках

1. Введение

Последнее десятилетие, вследствие стремительного сближения методов машинного обучения и компьютерной лингвистики, ознаменовалось масштабированием применения технологий искусственного интеллекта для решения комплексных прикладных задач в области языкознания [1]. Следует отметить, что компьютерная лингвистика является одной из ключевых технологических реализаций прикладной лингвистики. Если последняя ставит своей целью решение практических коммуникативных и социальных задач в различных сферах человеческой деятельности [2], то компьютерная лингвистика обеспечивает инструментарий для их автоматизации и масштабного применения.

Особое место среди таких инструментов занимают методы машинного обучения. По сути, это область искусственного интеллекта, ориентированная на разработку алгоритмов и моделей, позволяющих вычислительным системам автоматически выявлять закономерности и улучшать свои результаты на основе данных без явного программирования. Эти алгоритмы обучаются на примерах, формируют обобщаемые модели и применяются для выполнения задач и предсказаний в новых условиях [3].

Тем не менее, сама природа иероглифических источников ставит перед ними ряд нетривиальных вызовов, требующих осторожного и взвешенного подхода. В этом отношении особую научную ценность и методологическую сложность представляет собой область палеографического анализа иероглифических рукописей, относящихся к вымершим языковым системам.

Расшифровка таких письменностей сопряжена с крайне ограниченным количеством источников, отсутствием потомков языка и неопределённостью в интерпретации символов, что делает анализ сложным и экспертозависимым [4]. Интеграция алгоритмов глубокого обучения, компьютерного зрения и статистического моделирования языка открывает принципиально новые возможности для более объективного и масштабируемого исследования подобных корпусов.

Для понимания задач исследования текстового наследия вымерших языков необходимо обратить внимание на особенности различных иероглифических систем, поскольку именно эти особенности определяют методологические подходы к их анализу и автоматизации обработки.

Иероглифическое письмо представляет собой логографо‑фонетическую систему, в которой каждый знак сохраняет устойчивую визуально насыщенную форму и одновременно кодирует морфемный и фонетический уровень, создавая плотную сеть семантических и звуковых связей. Такая система формирует комплексное представление языка через интеграцию смысла и звучания в каждом графическом элементе, вместо последовательного разложения на отдельные фонемы [5].

В отличие от алфавитных систем, основанных на фонемном принципе и явной сегментации слов, восточноазиатские письменности характеризуются иным уровнем графической репрезентации и организации текста, что существенно влияет на интерпретацию и обработку письменной речи.

Наиболее известными иероглифическими системами являются и поныне используемые китайская и японская письменности, которые в разной степени опираются на иероглифический принцип, при котором знак соотносится с морфемой или морфемо-слогом и не предполагает автоматической реконструкции звучания, тогда как корейская письменность является алфавитной, но сохраняет слогоблочную графическую организацию и морфологическую прозрачность, унаследованную от более ранней логографической традиции [6, 7, 8]. Эти типологические различия обуславливают специфические требования к лингвистическому анализу и корпусному моделированию, прежде всего в области сегментации и морфологической аннотации [9].

Письменности майя и древнеегипетская иероглифика представляют собой типологически несвязанные и ныне мёртвые системы письма, для которых ключевыми являются практические проблемы формализации и машинной обработки текста [10, 11, 12]. В обеих системах знак функционирует как сложная графическая единица, что затрудняет автоматическое выделение линейных единиц и требует многоуровневого представления данных в корпусах. Отсутствие стандартизованной орфографии, высокая графическая вариативность и зависимость чтения от контекста вынуждают при создании корпусов явно разделять графемный, транслитерационный и лингвистический уровни разметки.

Для задач искусственного интеллекта это означает необходимость специализированных моделей, сочетающих визуальный анализ, контекстную интерпретацию и  формализованные экспертные сведения о графических единицах, поскольку прямое применение методов, разработанных для современных алфавитных письменностей, оказывается недостаточным для корректного анализа и интерпретации этих письменных систем.

Исследованию существующего опыта и перспектив дальнейшего применения современного инструментария в исследовании текстового наследия вымерших иероглифических языков и посвящена настоящая статья. Она является подготовительной частью для более крупного проекта по построению корпуса тангутского языка.

2. Методология

В данной статье будут рассматриваться современные системы и модели, актуальные для периода с 2022 по 2025 год. Выбор дат обусловлен важными изменениями в области искусственного интеллекта, в частности, выходом ChatGPT и стремительным развитием генеративных нейронных сетей, что оказало значительное влияние на сферу компьютерной лингвистики [13].

Объектом анализа в статье являются проекты, посвящённые изучению иероглифических письменностей вымерших языков, включая, но не ограничиваясь, древнеегипетскую, древнекитайскую письменность майя и ряд типологически сопоставимых систем.

Живые языки с иероглифической письменностью, такие как японский и корейский, сознательно исключены из рассмотрения, поскольку их анализ опирается на иные методологические предпосылки, включая наличие обширных современных корпусов, стандартизированной орфографии и активной языковой практики.

Аналогичным образом в статье не рассматриваются алфавитные и слоговые системы письма, поскольку методы, разработанные для фонемно-ориентированных письменностей, не в полной мере отражают специфику визуально сложных иероглифических систем и требуют отдельного аналитического подхода.

3. Обзор основных направлений

Одной из определяющих характеристик иероглифических письменностей вымерших языков является крайняя ограниченность доступных данных. Корпуса, как правило, включают небольшое число памятников, содержащих высокую долю редких или уникальных знаков, часто представленных в повреждённом виде. Это существенно ограничивает применимость классических подходов и требует разработки специализированных методов обучения, ориентированных на малоресурсные сценарии.

В связи с этим современные исследования, посвящённые применению искусственного интеллекта к анализу иероглифических рукописей на вымерших языках, демонстрируют значительное методологическое разнообразие. Вместе с тем, анализ литературы позволяет сгруппировать существующие подходы в ограниченное число устойчивых направлений, каждое из имеет свои архитектурные особенности.

3.1. Синтетическое расширение данных

Для компенсации ограниченности корпусов и высокой стоимости ручной разметки уже долгое время применяются методы генерации синтетических и частично размеченных данных. Пусть исторически данные подходы и развивались для решения задач, связанных с живыми языками, опыт последних лет показывает, что они также успешно могут служить для изучения древних языков [14].

В обработке естественных языков генеративный искусственный интеллект позволяет автоматически создавать сгенерированные наборы данных, которые могут воспроизводить структуру, стиль и смысл реальных данных, тем самым значительно облегчая обучения, снижая затраты на разметку и расширяя возможности моделей в условиях ограниченного объёма исходных данных, что существенно улучшает точность моделей [14, 15, 16, 17]. Однако, при использовании синтетических данных следует помнить, что неправильный выбор алгоритмов может повлечь за собой увеличение разнообразия данных, изменение распределения выборки, потерю информации, снижение качества в малых выборках, трудности с длинными текстами и низкоресурсными языками, а также другие нежелательные эффекты [18,19].

На практике используются как генеративные языковые модели для текстовых корпусов, так и генеративные нейросети для графических данных, что позволяет воспроизводить вариативность графики и расширять контекстное и лексическое разнообразие обучающих выборок [20, 21, 22, 23].

Методы синтетического расширения данных имеют большое количество вариаций, и, например, включают использование 3D-моделей, генерацию данных на основе цифровых шрифтов, а также комбинированные пиксельных и векторных подходы. Эти подходы позволяют уменьшить проблему низкоресурсности, повысить точность OCR и сегментации, а также создавать обучающие наборы, сопоставимые по качеству с реальными памятниками [24, 25].

Помимо генерации новых образцов для редких классов, синтетические методы включают аугментацию уже существующих данных: вращение, размытие по кривизне, тональную коррекцию, и другие операции, связанные с обработкой формы, что обеспечивает балансировку классов и улучшение качества обучающих данных [20, 22, 23, 26]. Экспериментальные исследования показывают, что включение синтетических данных стабильно повышает качество моделей сегментации и распознавания и улучшает переносимость классификаторов между различными памятниками [23, 27].

Таким образом, современные методы синтетического расширения и аугментации данных доказали свою эффективность для малоресурсных корпусов древних иероглифических письменностей, создавая возможности для точного анализа и автоматической обработки языков с ограниченной представленностью в источниках.

3.2. Сравнительный межъязыковой анализ

Существенную роль в языковых исследованиях последних лет играет сопоставительный анализ. Он уже успешно применялся с некоторыми малоресурсными алфавитными языками [28,29], но несмотря на культурные и хронологические различия, многие иероглифические системы также демонстрируют типологические сходства в организации знаков, композиции надписей и принципах графемного варьирования. Это открывает возможность использования методов машинного обучения для выявления устойчивых визуальных и структурных паттернов и переноса знаний между родственными или типологически сходными письменностями [30].

Современные исследования применяют комбинированные подходы, позволяющие сравнивать формы знаков, структуру надписей и распределение графем. Такие методы позволяют выявлять как универсальные когнитивные паттерны, включая семантические классификаторы, так и особенности отдельных письменностей, уточняя культурно-исторические связи между корпусами. Структурные закономерности из хорошо изученных систем применяются для распознавания ранее невиданных или частично утраченных знаков [30, 31, 33].

Методы сравнительного анализа также применяются для изучения эволюции письменных форм. Модели, сравнивающие визуально-структурное сходство графем в разных исторических периодах, позволяют количественно оценивать изменения начертаний и выявлять периоды преемственности или стилистических изменений [34, 35].

В таких подходах особое внимание уделяется моделированию внутренней структуры знаков через последовательности штрихов, радикалов и структурных элементов, что позволяет переносить знания на новые формы и восстанавливать утерянные элементы [32, 35, 36]. Подобные стратегии создают возможность выявления семантических и структурных соответствий между древними и современными письменностями. Такие подходу также активно применяются в исследовательской деятельности [34].

Исходя из этого, мы можем сказать, что современные методы сравнительного межъязыкового и межписьменного анализа объединяют визуально-структурное моделирование, перенос знаний между системами и изучение эволюции графем. Они позволяют количественно и качественно исследовать сходство и развитие письменностей, выявлять универсальные когнитивные и культурно-исторические закономерности и повышать точность распознавания и анализа знаков.

3.3. Контекстно-зависимый анализ

Помимо проблем с малочисленностью источников, иероглифические системы вымерших языков не всегда допускают однозначное распознавание знаков исключительно на основе их визуальной формы. В условиях повреждённости носителей, высокой графической вариативности и отсутствия стандартизированных орфографических канонов визуальный анализ часто оказывается недостаточным для однозначной интерпретации знаков, что делает контекст ключевым источником информации и оправдывает развитие методов контекстно-зависимого моделирования и восстановления текста.

Эти методы рассматривают надпись как последовательность взаимозависимых элементов и формулируют задачи заполнения лакун и идентификации неоднозначных знаков как задачи вероятностного предсказания с использованием языковых моделей и нейросетевых архитектур. Подходы такого класса позволяют учитывать синтаксические, частотные и структурные закономерности, недоступные чисто визуальным методам, и применяются как для практической реконструкции, так и для количественного анализа свойств письменности [37, 38, 39].

Одно направление исследований представляет собой чисто лингвистическое моделирование последовательностей знаков. В них модели на основе рекуррентных сетей применяются для предсказания вероятных знаков в контексте последовательности и в ряде случаев демонстрируют устойчивость при дефиците контекста, что делает их полезным дополнением к компьютерно-зрительным модулям при реконструкции повреждённых фрагментов [33].

Параллельно развиваются методы восстановления изображений, явно учитывающие визуальный контекст. Общей идеей этих подходов является поэтапное или структурированное моделирование: сначала восстанавливаются ключевые структурные элементы, такие как контуры и границы, а затем с учётом этих подсказок восполняется цвет и текстура. Эта концепция реализуется как через многоэтапные состязательные архитектуры, где комбинируются дальнодействующие зависимости и локальные детали. Такой подход позволяет улучшить согласованность реконструируемых элементов и качество текстуры, особенно при недостатке информации о повреждённых областях, показывая превосходство над одношаговыми или блочно-сопоставительными методами [40, 41].

Наиболее эффективными оказываются гибридные мультимодальные методы, объединяющие лингвистический и визуальный контексты. В таких системах языковая модель генерирует кандидатные восстановления утраченных знаков, а компьютерное зрение анализирует сохранившиеся штрихи и структуру для ранжирования кандидатов и снижения неопределённости. Аналогично, историко-культурный контекст может быть интегрирован в генеративные мультимодальные системы для комплексного анализа текста и поиска параллелей, обогащая представления эмбеддингами с культурно-историческими признаками. Во всех случаях такая мультимодальная стратегия позволяет преодолевать ограничения одномодальных подходов: лингвистические подсказки компенсируют слабую визуальную информацию, а визуальные и культурно-исторические признаки снижают неоднозначность и повышают уверенность в реконструкции [37, 42, 43].

Современные методы контекстно-зависимого моделирования позволяют успешно преодолевать фундаментальные ограничения, связанные с малоресурсностью и неоднозначностью данных, смещая фокус с автоматического распознавания на создание интеллектуальных ассистивных систем, поддерживающих экспертов в процессах реконструкции и анализа [44, 45].

3.4. Самообучение и обучение без учителя

Самообучение и обучение без учителя представляют собой перспективные методологические подходы для анализа древних иероглифических систем письма через анализ неразмеченных или слабо размеченных данных. Это особенно актуально в эпиграфике и палеографии, где экспертные аннотации являются дорогостоящими и труднодоступными, а сами корпуса текстов характеризуются крайней ограниченностью, фрагментарностью и наличием значительного количества повреждённых или уникальных графем.

В контексте работы с иероглифическими системами данные методы решают ряд специфических задач. Алгоритмы самообучения, такие как контрастивное обучение или маскированное моделирование изображений, позволяют строить устойчивые представления графем, обучаясь на задачах восстановления, предсказания контекста или сравнения различных модификаций одного знака. Обучение без учителя, в свою очередь, применяется для выявления скрытых закономерностей в распределении символов, автоматической кластеризации визуально схожих элементов и анализа пространственных конфигураций внутри надписей. Совместное использование этих подходов закладывает основу для создания автоматизированных инструментов, способных поддерживать экспертов в процессах дешифровки, каталогизации и структурного анализа вымерших письменностей [46, 47, 48].

Применение методов самообучения на основе анализа неразмеченных массивов данных позволяет формировать устойчивые представления графем в условиях острого дефицита аннотированных образцов. Такие методы способствует извлечению глубоких структурных признаков без привлечения экспертных знаний. Важной особенностью таких систем является их способность извлекать семантически значимые характеристики напрямую из необработанных изображений, что минимизирует зависимость от современных каллиграфических имитаций и повышает точность идентификации редких знаков. Это позволяет эффективно классифицировать визуально схожие элементы, преодолевая трудности, связанные с наличием дефектов [49, 50, 51, 52].

Современные методы автоматизации работы с палеографическими материалами объединяют использование алгоритмов обучения без учителя, вероятностных моделей и автокодировщиков для выявления значимых областей, идентификации и группировки символов, а также определения отношений между их вариантами. Основные этапы таких подходов включают удаление визуального шума, разделение перекрывающихся знаков и формирование упорядоченных коллекций без заранее заданных категорий, что позволяет создавать репрезентативные наборы данных непосредственно на основе оригинальных памятников и снижать долю ручного труда при каталогизации [53, 54, 55].

Разрабатываемые алгоритмы самообучения и обучения без учителя успешно комбинируются с другими подходами и обеспечивают высокую точность выделения символов на разнообразных поверхностях и поддерживает автоматизацию обработки от обнаружения графемы до её системной классификации и транслитерации, что расширяет возможности комплексного анализа эпиграфического наследия [36, 56, 57].

4. Заключение

Современные исследования демонстрируют, что интеграция методов искусственного интеллекта существенно расширяет возможности анализа вымерших иероглифических письменностей. Синтетическое расширение данных, межъязыковое сравнение, контекстно-зависимое моделирование и автоматическое извлечение признаков позволяют преодолевать фундаментальные ограничения малоресурсных и фрагментарных корпусов, улучшать точность распознавания графем и создавать репрезентативные наборы данных без полной зависимости от ручной разметки. В совокупности эти подходы обеспечивают более объективное, масштабируемое и системное исследование текстового наследия, повышая эффективность работы экспертов и расширяя возможности цифровой палеографии

Особое значение приобретает гибридный анализ, который сочетает визуальные, лингвистические и культурно-исторические признаки, позволяя реконструировать повреждённые или редкие графемы и выявлять закономерности в развитии письменностей. Применение этих методов создаёт основу для дальнейшего построения интеллектуальных систем поддержки экспертов, способных не только автоматизировать рутинные процессы, но и обеспечивать глубокое понимание структуры, эволюции и семантики древних иероглифических систем, открывая перспективы комплексного исследования текстового наследия вымерших языков.