Image Shadow Removal Based on Generative Adversarial Networks
Loading...
Date
2020
Authors
Andronik, Vladyslav
Buchko, Olena
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Accurate detection of shadows and removal in the image are complicated tasks, as it is difficult to understand whether darkening or gray is the cause of the shadow. This paper proposes an image shadow removal method based on generative adversarial networks. Our approach is trained in unsupervised fashion
which means it does not depend on time-consuming data collection and data labeling. This together with
training in a single end-to-end framework significantly raises its practical relevance.
Taking the existing method for unsupervised image transfer between different domains, we have researched its applicability to the shadow removal problem. Two networks have been used. Тhe first network
is used to add shadows in images and the second network for shadow removal. ISTD dataset has been used
for evaluation clarity because it has ground truth shadow free images as well as shadow masks. For shadow
removal we have used root mean squared error between generated and real shadow free images in LAB
color space. Evaluation is divided into region and global where the former is applied to shadow regions
while the latter to the whole images. Shadow detection is evaluated with the use of Intersection over Union,
also known as the Jaccard index. It is computed between the generated and ground-truth binary shadow
masks by dividing the area of overlap by the union of those two. We selected random 100 images for validation purposes. During the experiments multiple hypotheses have been tested. The majority of tests we conducted were about how to use an attention module and where to localize it.
Our network produces better results compared to the existing approach in the field. Analysis showed that
attention maps obtained from auxiliary classifier encourage the networks to concentrate on more distinctive
regions between domains. However, generative adversarial networks demand more accurate and consistent
architecture to solve the problem in a more efficient way.
Точне виявлення тіні на зображенні є складним завданням, оскільки досить важко зрозуміти, чи затемнення або сірий колір є причиною тіні. У цій статті запропоновано метод видалення тіней на зображенні з використанням генеративних змагальних нейронних мереж. Навчання мережі відбувається без нагляду, тобто не залежить від трудомісткого збирання даних і маркування даних. Метод видалення тіней на зображенні базується на методі непідконтрольного передання зображень між різними доменами. Було використано дві мережі: першу – для додавання тіней у зображення, а другу – для видалення тіней. Набір даних ISTD використовували для чіткості оцінювання, оскільки він містить основні зображення, що не мають тіні, а також тіньові маски.
Точне виявлення тіні на зображенні є складним завданням, оскільки досить важко зрозуміти, чи затемнення або сірий колір є причиною тіні. У цій статті запропоновано метод видалення тіней на зображенні з використанням генеративних змагальних нейронних мереж. Навчання мережі відбувається без нагляду, тобто не залежить від трудомісткого збирання даних і маркування даних. Метод видалення тіней на зображенні базується на методі непідконтрольного передання зображень між різними доменами. Було використано дві мережі: першу – для додавання тіней у зображення, а другу – для видалення тіней. Набір даних ISTD використовували для чіткості оцінювання, оскільки він містить основні зображення, що не мають тіні, а також тіньові маски.
Description
Keywords
generative adversarial networks, shadow removal, shadow generation, article, генеративні змагальні мережі, видалення тіней, генерування тіней
Citation
Andronik V. Image Shadow Removal Based on Generative Adversarial Networks / V. Andronik, O. Buchko // Наукові записки НаУКМА. Комп'ютерні науки. - 2020. - Т. 3. - С. 75-82.