Els emprovadors virtuals del futur
Un equip de lʼInstitut de Matemàtica de la UB (IMUB) i del Centre de Visió per Computador (CVC) ha desenvolupat CLOTH3D, el primer conjunt de dades sintètiques 3D a gran escala orientat a desenvolupar lʼaprenentatge profund per simular peces sobre diferents formes corporals. Aquest conjunt de dades creades artificialment i publicades en accés obert és el primer pas per millorar els emprovadors virtuals de roba.
Un equip de lʼInstitut de Matemàtica de la UB (IMUB) i del Centre de Visió per Computador (CVC) ha desenvolupat CLOTH3D, el primer conjunt de dades sintètiques 3D a gran escala orientat a desenvolupar lʼaprenentatge profund per simular peces sobre diferents formes corporals. Aquest conjunt de dades creades artificialment i publicades en accés obert és el primer pas per millorar els emprovadors virtuals de roba.
Cada dia són més les persones que compren la roba a través de plataformes virtuals, i aquesta tendència sʼestà accelerant per lʼactual situació de pandèmia. Els avantatges dʼaquesta nova manera de comprar són evidents, però també té alguns inconvenients. Un dels més importants és que no és possible emprovar-se la roba abans de rebre-la a casa. Per solucionar aquest problema, la intel·ligència artificial i lʼaprenentatge profund (deep learning) són clau per permetre el modelatge i la generació de peces de roba en 3D. Aquests models, que facilitaran la feina dels dissenyadors i animadors dʼimatges, suposaran una gran millora en lʼexperiència que proporcionen els emprovadors virtuals.
Avui dia, hi ha models per simular peces sobre diferents formes del cos, però són majoritàriament en 2D. Això és degut al fet que els models en 3D necessiten una enorme quantitat de dades i les que hi ha disponibles actualment són molt escasses. Hi ha tres estratègies principals per produir dades 3D de persones vestides: lʼescaneig 3D, la generació de 3D a partir dʼimatges convencionals i la generació sintètica. Els escanejos 3D són costosos i no són capaços de diferenciar el cos de la roba, és a dir, com a màxim, poden extreure la forma 3D com si cos i roba fossin un únic objecte. Per la seva banda, els conjunts de dades que infereixen la geometria 3D de la roba a partir dʼimatges convencionals són inexactes i no poden modelar adequadament la dinàmica de la peça. Finalment, les dades sintètiques són fàcils de generar i estan lliures dʼerrors de mesura.
Un equip de recerca del Grup Human Pose Recovery and Behavior Analysis, del Centre de Visió per Computador (CVC) i la Universitat de Barcelona, va triar aquest últim camí i va desenvolupar CLOTH3D, el primer conjunt de dades sintètiques a gran escala de seqüències humanes en 3D vestides. El treball sʼha publicat recentment a Computer Vision - ECCV 2020 Workshops. «Com que es necessiten moltes dades per desenvolupar models 3D, vam decidir generar les nostres pròpies dades. Hem dissenyat i publicat el conjunt més gran de dades dʼaquest tipus amb una gran varietat de vestuari i un ampli rang de moviments de la roba», explica lʼinvestigador Hugo Bertiche (UB-CVC).
Amb més de dos milions de mostres, CLOTH3D és lʼúnic en termes de variabilitat tant en el tipus de peça com en forma, mida, tibantor i teixit. El vestuari es pot simular sobre milers de postures i formes corporals diferents, la qual cosa genera una dinàmica de la roba molt realista. «Hem desenvolupat una línia de generació que crea un conjunt únic per a cada seqüència en termes de tipus de peça, topologia, forma, mida, ajust i teixit. Mentre que altres conjunts de dades contenen poques peces diferents, el nostre en té milers», destaca lʼexpert Sergio Escalera, investigador del CVC i catedràtic de la Facultat de Matemàtiques i Informàtica.
La indústria tèxtil no és lʼúnica que podria aprofitar aquest conjunt de dades: «La indústria de lʼentreteniment també seʼn podria beneficiar, ja que les pel·lícules amb imatges generades per computador i els videojocs podrien ser encara més realistes», explica Bertiche. Això no obstant, encara queda molta feina per fer: «El modelatge de les peces 3D a través de lʼaprenentatge profund encara es troba en les primeres etapes. Dʼuna banda, si bé el nostre conjunt de dades cobreix la major part de la variabilitat de la roba del dia a dia, els estils dʼabillament només estan limitats per la imaginació. El disseny de peces més ràpid, automàtic i intel·ligent podria donar lloc a moltes aplicacions molt interessants. Dʼaltra banda, la dinàmica de la roba és extremadament complexa, i sʼestà començant a abordar dʼuna manera molt enginyosa. Explorar més és una necessitat per a aquesta comunitat», remata Bertiche. Així mateix, les peces de roba reals són molt més complexes que les que solen proporcionar els simuladors, de manera que lʼaprenentatge profund encara ha de trobar com es poden modelar adequadament detalls extremadament fins i caòtics, com els de les arrugues, i també objectes de geometria arbitrària relacionats amb la indumentària, com barrets, ulleres, guants, sabates, bijuteria i altres», conclou lʼexpert Hugo Bertiche.
Referència de lʼarticle:
Bertiche, H.; Madadi, M., i Escalera, S. «CLOTH3D: Clothed 3D Humans». Computer Vision - ECCV 2020. Lecture Notes in Computer Science, novembre de 2020, vol. 12540. DOI: 10.1007/978-3-030-58565-5_21