113 Прикладна математика
Permanent URI for this collection
Освітньо-професійна програма / Освітньо-наукова програма: Прикладна математика
Browse
Browsing 113 Прикладна математика by Subject "convolutional neural network"
Now showing 1 - 1 of 1
Results Per Page
Sort Options
Item Дослідження взаємозв’язків у даних з використанням штучних нейронних мереж : дисертація на здобуття наукового ступеня доктора філософії(2024) Іванюк, Андрій; Крюкова, ГалинаДисертація на здобуття наукового ступеня доктора філософії у галузі знань 11 "Математика та статистика" за спеціальністю 113 "Прикладна математика". — Національний університет "Києво-Могилянська академія", Київ, 2024. Ця дисертація зосереджена на вивченні зв’язків у даних за допомогою застосування штучних нейронних мереж. Ці зв’язки можуть бути представлені в різних формах, і моделюватись по-різному. Їх правильне моделювання є ключовим для успішного вирішення різноманітних завдань, таких як класифікація, регресія та генеративне моделювання. У сучасних нейронних мережах широко використовуються стандартні метрики для оцінки їх продуктивності, наприклад, класифікаційна точність, середньоквадратична похибка тощо. Проте, високі показники цих метрик не гарантують відсутності помилок або вразливостей у моделях. Моделі можуть видавати помилкові результати з високим рівнем впевненості, особливо при взаємодії з адверсаріальними прикладами — спеціально створеними вхідними даними, які вводять модель в оману. Це дослідження стосується цієї важливої проблеми шляхом детального вивчення кількісної оцінки невизначеності та стійкості нейронних мереж до адверсаріальних атак. Використовуючи адверсаріальні дані як інструмент, ця робота спрямована на поглиблення розуміння надійності моделей та розрореальних застосуваннях. Досліджуючи адверсаріальні взаємозв’язки та патерни в даних, ця робота має на меті використовувати їх як метрику генералізації для виявлення слабких місць моделей та оцінки їх здатності до узагальнення. Розуміння того, як моделі реагують на суперечливі збурення, відкриває унікальний погляд на їх внутрішню структуру та механізми прийняття рішень. Це дозволяє не лише виявляти вразливі місця, але й розробляти методи для їх усунення, що підвищує загальну надійність та ефективність моделей. У рамках цього дослідження вивчаються різні параметризації нейронних мереж для моделювання послідовностей та їх вплив на продуктивність моделей і стійкість до адверсаріальних атак. Особлива увага приділяється новим архітектурам та активаційним функціям, які можуть покращити здатність моделей до генералізації та їхню стійкість. Адверсаріальна стійкість розглядається як важлива метрика для виявлення слабких місць моделей та оцінки їх загальної ефективності. Дослідження охоплює ефективні параметризації для різних типів вхідних даних, включаючи зображення, мовні сигнали та текст. Застосовуються ці параметризації до різних завдань машинного навчання, таких як класифікація зображень, моделювання мови та регресія на основі латентних дифузійних моделей. Проведені експерименти спрямовані на виявлення того, як різні стратегії параметризації можуть покращити продуктивність моделей, зберігаючи або навіть підвищуючи їх стійкість до адверсаріальних атак. Отримані результати надають важливі знання для розробки більш надійних та здатних до генералізації моделей машинного навчання. Це сприяє прогресу у цій галузі шляхом виявлення оптимальних технік параметризації, які збалансовують продуктивність та стійкість, та можуть бути застосовані у широкому спектрі практичних задач. Дисертація складається з кількох розділів, кожен з яких охоплює ключові аспекти дослідження. Розроблення більш стійких систем на основі нейронних мереж, які можуть протистояти різноманітним атакам та забезпечувати стабільну продуктивність у Перший розділ, "Геометричні властивості адверсаріальних прикладів", надає глибоке визначення адверсаріальним атакам, класифікує їх за різними типами та досліджує їх геометричні властивості. Тут розглядаються різні методи створення адверсаріальних прикладів, такі як атаки за градієнтами, методи з обмеженням норми збурення та інші. Аналізуються механізми, за допомогою яких адверсаріальні атаки експлуатують вразливості моделей, та як ці вразливості пов’язані з геометрією простору ознак. Наступний розділ, "Моделювання сигналів за допомогою механізму уваги з ковзним середнім”, зосереджується на оцінці модифікованої функції уваги для ефективного моделювання послідовностей. Механізм уваги з ковзним середнім пропонується як альтернатива традиційним методам, таким як рекурентні нейронні мережі та стандартні механізми уваги. Розділ детально описує методологію, математичний апарат та алгоритмічну реалізацію запропонованого підходу. Проводиться оцінка його ефективності у завданнях моделювання мовленнєвих сигналів. Крім того, дисертація містить розділ "Аналіз дифузійного моделювання на прикладі аудіо сигналів", у якому досліджується використання латентних дифузійних моделей для синтезу аудіо. Розглянуто методи компресії ознак за допомогою маскованих та варіаційних автокодувальників, а також адаптацію компонентів попередньо навченої моделі AudioLDM2 для покращення генерації мовлення. Проведено оцінювання запропонованої моделі за метриками схожості голосу, точності класифікації емоцій та похибок розпізнавання мовлення, що дозволило виявити її переваги та напрямки для подальшого вдосконалення. Далі йде розділ "Багатовимірні активаційні функції", який досліджує нові види активаційних функцій, що моделюють взаємозв’язки між багатьма нейронами одночасно. Традиційні активаційні функції зазвичай діють на рівні окремого нейрона, але запропоновані багатовимірні функції дозволяють моделювати складніші залежності та взаємодії у нейронній мережі. Розглянуто декілька видів таких функцій, їх математичні властивості та вплив на навчання моделі. Емпіричні результати демонструють покращення продуктивності у різних завданнях машинного навчання, включаючи класифікацію, регресію та генеративні моделі. Розділ "Адверсаріальна стійкість" надає результати експериментів, що оцінюють стійкість розглянутих параметризацій до різних типів адверсаріальних атак. Тут проводиться порівняльний аналіз моделей з різними параметризаціями щодо їх здатності протистояти атакам, таким як PGD (Projected Gradient Descent) та інші. Надано уявлення про те, як різні стратегії параметризації та архітектурні рішення впливають на стійкість моделей до адверсаріальних атак, а також розглянуто методи для покращення цієї стійкості, такі як регуляризація, згладжування міток (англ. label smoothing) та змагальне навчання (англ. adversarial training). У розділ "Висновки" представлені загальні результати дисертації, підсумовано ключові висновки та їх вплив на сферу машинного навчання. Обговорено значення отриманих результатів для практичного застосування, а також запропоновано потенційні напрямки для майбутніх досліджень. Зокрема, обговорюється можливість подальшого розвитку багатовимірних активаційних функцій, дослідження нових механізмів уваги та глибше вивчення геометричних аспектів адверсаріальної стійкості. Проведені дослідження підтверджують ефективність використання розглянутих нейронних мережевих моделей для підвищення точності класифікації та демонструють складності, які виникають при адверсаріальному тренуванні. Загалом, ця дисертація робить вагомий внесок у розуміння та покращення стійкості нейронних мереж до адверсаріальних атак, пропонуючи нові підходи до параметризації та моделювання, які можуть бути застосовані у різних сферах машинного навчання. Результати цього дослідження можуть стати основою для розробки більш надійних та ефективних моделей, здатних забезпечувати високу продуктивність та безпеку у реальних застосуваннях. Проведені експерименти підтверджують, що використання розглянутих параметризацій може підвищити точність класифікації, але також виявляють складності, пов’язані з їх адверсаріальним тренуванням. Подальші дослідження у цьому напрямку можуть призвести до створення моделей, які не лише демонструють високу продуктивність, але й є стійкими до різноманітних атак, що є критично важливим у сучасному світі, де безпека та надійність моделей машинного навчання набувають все більшого значення.