Image Shadow Removal Based on Generative Adversarial Networks

Abstract

Accurate detection of shadows and removal in the image are complicated tasks, as it is difficult to understand whether darkening or gray is the cause of the shadow. This paper proposes an image shadow removal method based on generative adversarial networks. Our approach is trained in unsupervised fashion which means it does not depend on time-consuming data collection and data labeling. This together with training in a single end-to-end framework significantly raises its practical relevance. Taking the existing method for unsupervised image transfer between different domains, we have researched its applicability to the shadow removal problem. Two networks have been used. Тhe first network is used to add shadows in images and the second network for shadow removal. ISTD dataset has been used for evaluation clarity because it has ground truth shadow free images as well as shadow masks. For shadow removal we have used root mean squared error between generated and real shadow free images in LAB color space. Evaluation is divided into region and global where the former is applied to shadow regions while the latter to the whole images. Shadow detection is evaluated with the use of Intersection over Union, also known as the Jaccard index. It is computed between the generated and ground-truth binary shadow masks by dividing the area of overlap by the union of those two. We selected random 100 images for validation purposes. During the experiments multiple hypotheses have been tested. The majority of tests we conducted were about how to use an attention module and where to localize it. Our network produces better results compared to the existing approach in the field. Analysis showed that attention maps obtained from auxiliary classifier encourage the networks to concentrate on more distinctive regions between domains. However, generative adversarial networks demand more accurate and consistent architecture to solve the problem in a more efficient way.

Точне виявлення тіні на зображенні є складним завданням, оскільки досить важко зрозуміти, чи затемнення або сірий колір є причиною тіні. У цій статті запропоновано метод видалення тіней на зображенні з використанням генеративних змагальних нейронних мереж. Навчання мережі відбувається без нагляду, тобто не залежить від трудомісткого збирання даних і маркування даних. Метод видалення тіней на зображенні базується на методі непідконтрольного передання зображень між різними доменами. Було використано дві мережі: першу – для додавання тіней у зображення, а другу – для видалення тіней. Набір даних ISTD використовували для чіткості оцінювання, оскільки він містить основні зображення, що не мають тіні, а також тіньові маски.