Розробка імерсивного перекладача на iOS та visionOS для людей з особливими потребами (Development of an Immersive Translator on iOS and visionOS for People with Special Needs)
Loading...
Date
2024
Authors
Деркач, Кирило
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
У даній роботі було досліджено розробку глибоких нейронних мереж та проведено тренування власної моделі за допомогою спеціального інструменту MediaPipe, розробленого компанією Google. Після цього було запропоновано реалізацію застосунку для пристроїв Apple, а саме таких систем, як iOS та visionOS, що дозволяє перекладати жести української дактильної абетки в текст та виводити це належним чином у тривимірному просторі у вигляді бульбашки з текстом над головою співрозмовника, що спілкується жестовою мовою. Це досягається у програмі шляхом поєднання технологій машинного навчання та доповненої реальності за допомогою спеціально розробленого алгоритму розпізнавання та виводу, що служить для оптимізації роботи програми та сегрегації введення жестів.
Description
Keywords
ARKit, датасет, українська дактильна абетка, бакалаврська робота