Latent diffusion model for speech signal processing
| dc.contributor.author | Ivaniuk, Andrii | en_US |
| dc.date.accessioned | 2025-10-30T09:49:16Z | |
| dc.date.available | 2025-10-30T09:49:16Z | |
| dc.date.issued | 2024 | |
| dc.description | Актуальність. Розробка генеративних моделей для синтезу аудіо, включаючи текст-у-мовлення (англ. text-to-speech, TTS), текст-у-музику та текст-у-аудіо застосування, значною мірою залежить від їх здатності обробляти складні та різноманітні вхідні дані. В цій роботі ми розглядаємо латентне дифузійне моделювання - універсальний підхід, який використовує стохастичні процеси для генерації високоякісних аудіо сигналів. Мета. Це дослідження має на меті оцінити ефективність латентного дифузійного моделювання для аудіо синтезу на основі набору даних EmoV-DB, який містить записи з багатьма мовцями, з п'ятьма емоційними станами, та порівняти його з іншим генеративними методом. Методи дослідження. Ми застосували латентне дифузійне моделювання спеціально для синтезу мовлення та оцінили його ефективність за допомогою метрик, які визначають зрозумілість, подібність голосу та збереження емоцій в згенерованому аудіо сигналі. Результати. Дослідження показує, що запропонована модель демонструє пристойну ефективність у збереженні характеристик голосу, але поступається дискретній авторегресивній моделі: xTTS v2 за всіма оціненими метриками. Зокрема, досліджувана модель виявляє недоліки в точності класифікації емоцій, що вказує на можливе невідповідність між емоційними намірами, закодованими у векторах, та тими, що виражені у згенерованому сигналі. Висновки. Результати вказують на те, що подальше вдосконалення здатності нейронної мережі кодувальника обробляти та інтегрувати емоційні дані покращує ефективність латентної дифузійної моделі. В наших подальших дослідженнях ми плануємо зосередитися на оптимізації балансу між характеристиками мовця та емоційними характеристиками в TTS моделях для досягнення більш цілісного та ефективного синтезу людського мовлення. | uk_UA |
| dc.description.abstract | Topicality. The development of generative models for audio synthesis, including text-to-speech (TTS), text-to-music, and text-to-audio applications, largely depends on their ability to handle complex and varied input data. This paper centers on latent diffusion modeling, a versatile approach that leverages stochastic processes to generate high-quality audio outputs. Key goals. This study aims to evaluate the efficacy of latent diffusion modeling for TTS synthesis on the EmoV-DB dataset, which features multi-speaker recordings across five emotional states, and to contrast it with other generative techniques. Research methods. We applied latent diffusion modeling to TTS synthesis specifically and evaluated its performance using metrics that assess intelligibility, speaker similarity, and emotion preservation in the generated audio signal. Results. The study reveals that while the proposed model demonstrates decent efficiency in maintaining speaker characteristics, it is outperformed by the discrete autoregressive model: xTTS v2 in all assessed metrics. Notably, the researched model exhibits deficiencies in emotional classification accuracy, suggesting potential misalignment between the emotional intents encoded by the embeddings and those expressed in the speech output. Conclusions. The findings suggest that further refinement of the encoder's ability to process and integrate emotional data could enhance the performance of the latent diffusion model. Future research should focus on optimizing the balance between speaker and emotion characteristics in TTS models to achieve a more holistic and effective synthesis of human-like speech. | en_US |
| dc.identifier.citation | Ivaniuk A. Latent diffusion model for speech signal processing / Ivaniuk Andrii // Вісник Харківського національного університету імені В. Н. Каразіна. Серія "Математичне моделювання. Інформаційні технології. Автоматизовані системи управління". - 2024. - Вип. 61. - С. 43-52. - https://doi.org/10.26565/2304-6201-2024-61-05 | en_US |
| dc.identifier.issn | 2304 -6201 | |
| dc.identifier.uri | https://doi.org/10.26565/2304-6201-2024-61-05 | |
| dc.identifier.uri | https://ekmair.ukma.edu.ua/handle/123456789/37327 | |
| dc.language.iso | en | en_US |
| dc.relation.source | Вісник Харківського національного університету імені В. Н. Каразіна. Серія "Математичне моделювання. Інформаційні технології. Автоматизовані системи управління" | uk_UA |
| dc.status | first published | en_US |
| dc.subject | audio modeling | en_US |
| dc.subject | artificial neural networks | en_US |
| dc.subject | speech synthesis | en_US |
| dc.subject | article | en_US |
| dc.subject | аудіо моделювання | uk_UA |
| dc.subject | штучні нейронні мережі | uk_UA |
| dc.subject | синтез мовлення | uk_UA |
| dc.title | Latent diffusion model for speech signal processing | en_US |
| dc.title.alternative | Модель латентної дифузії для обробки мовного сигналу | uk_UA |
| dc.type | Article | en_US |
Files
Original bundle
1 - 1 of 1
Loading...
- Name:
- Ivaniuk_Latent_diffusion_model_for_speech_signal_processing.pdf
- Size:
- 897.42 KB
- Format:
- Adobe Portable Document Format
License bundle
1 - 1 of 1
No Thumbnail Available
- Name:
- license.txt
- Size:
- 1.71 KB
- Format:
- Item-specific license agreed upon to submission
- Description: