GAN-generated strokes extension for Paint Transformer
Loading...
Date
2024
Authors
Poliakov, Mykhailo
Shvai, Nadiya
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Neural painting produces a sequence of strokes for a given image and artistically recreates it using neural networks. In this paper, we explore a novel Transformer-based framework named the Paint Transformer to predict the parameters of a stroke set with a feed-forward neural network. The Paint Transformer achieves better painting results than previous methods with more inexpensive training and inference costs. The paper proposes a novel extension to the Paint Transformer that adds more complex GAN-generated strokes to achieve a more artistically abstract painting style than the original method. This research was originally published as a Master’s thesis [1].
Description
Нейронне малювання створює послiдовнiсть мазкiв для заданого зображення i художньо вiдтворює його за допомогою нейронних мереж. У цiй статтi ми дослiджуємо нову архiтектуру, основану на Transformer, пiд назвою Paint Transformer, яка прогнозує параметри набору мазкiв за допомогою прямопрохiдної нейронної мережi. Paint Transformer забезпечує кращi результати малювання порiвняно з попереднiми методами, маючи нижчi витрати на навчання та використання. У статтi також пропонується нове розширення Paint Transformer, яке додає бiльш складнi мазки, згенерованi GAN, для досягнення бiльш художнього та абстрактного стилю малювання, нiж оригiнальний метод.
Keywords
neural painting, transformer, GAN, article, нейронне малювання, трансформер
Citation
Poliakov M. Kh. GAN-generated strokes extension for Paint Transformer / M. Poliakov, N. Shvai // Могилянський математичний журнал. - 2024. - Т. 7. - C. 35-43. - https://doi.org/10.18523/2617-70807202435-43