Побудова семантичної моделі зображення за допомогою машинного навчання

Abstract

Можливість знаходити зображення за пошуковим запитом – щоденна проблема інформаційного пошуку. Щодня мільйони людей, шукаючи інформації в інтернеті, прагнути знайти не лише текстові співпадіння, але й мультимедійну інформацію. Причина виникнення такого пошуку досить проста: є колекція мультимедійних документів та потреба користувача в іноформації. Пошук на основі контенту або ж content-based – ефективний метод пошуку іноформації у мультимедійних колекціях документів, ріст яких невпинно збільшується. Ці дані зазвичай зберігаються в електронних бібліотеках. Цей спосіб пошуку чудово доповнює традиційний і розширює його можливості, тому є актуальним, зараз стрімко розвивається і точно буде розвиватися у найближчі роки. Мета дослідження: опанувати архітектурні підходи проектування систем призначених для генерації описів до зображень, розглянути методи машинного навчання, зокрема згорткові та рекурентні нейронні мережі, застосувати набуті знання для генерації опису до фотографій. Об’єкт дослідження: автоматична генерація людською мовою опису до зображення. Предмет дослідження: застосування методів машинного навчання з метою створення автоматично генераваного опису зображення на основі аналізу вмісту самих зображень.