Контроль інтенсивності емоцій в українському синтезі мовлення через крос-мовне перенесення знань та адаптери LoRA
Loading...
Date
2025
Authors
Іващенко, Дмитро
Journal Title
Journal ISSN
Volume Title
Publisher
Національний університет "Києво-Могилянська академія"
Abstract
Емоційна виразність є критичною характеристикою природного мовлення, що робить синтез мовлення з контрольованими емоціями важливою задачею в галузі обробки мовлення. Для української мови, яка є малоресурсною в контексті технологій синтезу мовлення, розробка таких емоційних систем залишається актуальною. Сучасні системи синтезу українського мовлення [1] зосереджені переважно на нейтральному мовленні, не забезпечуючи контролю над емоційною складовою. Крім того, відсутність великих емоційно анотованих датасетів українського мовлення ускладнює тренування моделей, здатних синтезувати емоційно виразне мовлення.
Description
This paper presents a novel approach to controllable emotional text-to-speech synthesis for the Ukrainian language using cross-lingual emotion transfer and Low-Rank Adaptation (LoRA) adapters. The proposed method leverages pre-trained multilingual TTS models and enables fine-grained control over emotional intensity through interpolation of latent representations. The paper investigates the effectiveness of LoRA adapters for emotion-specific fine-tuning, which provides a parameter-efficient way to inject emotional expressiveness while maintaining the naturalness of synthesized speech. The experimental setup includes adaptation of XTTS v2 model to Ukrainian using publicly available speech datasets, followed by emotion transfer from high-resource languages. This work addresses the critical gap in emotional speech synthesis in controllable emotional TTS for Ukrainian.
Keywords
емоційна виразність, синтез мовлення, емоційний синтез мовлення, українська мова, матеріали конференції
Citation
Іващенко Д. С. Контроль інтенсивності емоцій в українському синтезі мовлення через крос-мовне перенесення знань та адаптери LoRA / Іващенко Д. С. // Теоретичні та прикладні аспекти побудови програмних систем : праці 16 Міжнародної науково-практичної конференції, 23-24 листопада 2025 року, Київ / [за заг. ред. М. М. Глибовця, Т. В. Панченка та ін. ; Факультет інформатики Національного університету "Києво-Могилянська академія" та ін.]. - Київ : НаУКМА, 2025. - С. 56-58.