Arts Plastiques / Académie de Normandie

ARTICLE 05 [ NIV 1-2-3 ] SCANNER un corps ou un objet réel en 3D à 360° pour visualiser le résultat en Réalité Augmentée ou en Réalité Virtuelle

Jean Noel — 2023-01-08T18:24:53Z

Pourquoi lirais-je cet article ? Quelles sont les usages pédagogiques proposés ?

[ NIV 1-2-3 ] En arts plastiques, avec le casque META QUEST 2, les créateurs ou les utilisateurs qui chercheront à savoir comment importer un objet 3D réel dans le casque auront ici une réponse. Cet article vous proposera de le visualiser seul ou de l'inclure dans un environnement spécifique (in situ ou non). Par la même occasion, nous verrons qu'il sera possible de transposer cette numérisation dans un espace réel en réalité augmentée. Avec tous ces usages possibles, la notion d'hybridation est mise en exergue. Pédagogiquement, avec leur enseignant, les élèves qui expérimentent (en situation de projet) dès la troisième ou en lycée, pourront être amenés à questionner ces relations. Très concrètement, on peut aussi envisager une monstration (interactive ou non) de travaux d'élèves en volume pour les restituer en dehors de la classe et de l'établissement (y compris pour l'oral du BAC).

[ NIV 2 ] Ce qui suit n'est pas abordé dans cet article mais après vos premières tentatives de numérisation et quelques erreurs plus tard, vous comprendrez par vous-même qu'une autre piste pédagogique pourrait vous amener à "détourner" l'usage du scanner 3D pour vous écarter de l'hyperréalisme attendu. Autrement dit : vous pourriez scanner un environnement, une personne ou un objet en visant intentionnellement l'écart, pour l'envisager non pas comme une erreur technique mais comme une expression, une sensibilité ou comme une pratique artistique particulière où le hasard et le BUG auraient leur place. En y réfléchissant, cet outil ne permettrait-il pas de revisiter le cubisme à l'ère du numérique ?

NB > Si vous voulez inclure cette création dans une galerie d'art virtuelle, c'est possible, mais comme cela nécessite des compétences techniques importantes et des manipulations numériques complexes [ NIV 4 ], nous traiterons cela dans un article dédié, ultérieurement. ]

Pour toute question éventuelle, nous vous informons qu'il est rédigé par :

pierrick.brissier@ac-normandie.fr [Enseignant dans un établissement scolaire classé REP dans l'ORNE / Interlocuteur Académique de Caen pour le Numérique de 2002 à 2022 / Formateur / Webmestre / et dorénavant membre du pôle de compétence numérique académique de Normandie]
jean.noel@ac-normandie.fr [Enseignant dans deux établissements scolaires dans le CALVADOS / RRUPN / Intervenant technique durant les formations numériques spécifiquement dédiées à la RV / Webmestre]

A / SCANIVERSE (pour iOS) c'est quoi ?

C'est une application qui permet de numériser bon nombre d'objets, de personnes, d'environnements réels. Autrement dit : c'est un SCANNER 3D !

Matériel compatible avec cette application exclusive à APPLE (iOS)
Précision : nul besoin d'avoir un LIDAR embarqué !!!
iPhones depuis 2018 ou plus récents :
iPhone 14 / 14 Plus / 14 Pro / 14 Pro Max
iPhone 13 / 13 Mini / 13 Pro / 13 Pro Max
iPhone 12 / 12 Mini / 12 Pro / 12 Pro Max
iPhone 11 / 11 Pro / 11 Pro Max
iPhone XR / XS / XS Max
iPhone SE (2è et 3è génération)
Tous les iPads avec un processeur A12 ou plus récents :
iPad (8è génération ou plus récente)
iPad Air (4è génération ou plus récente)
iPad Mini (5è génération ou plus récente)
iPad Pro 12.9" (3è génération ou plus récente)
iPad Pro 11" (Toutes générations)

TEST de PIERRICK > "SCANIVERSE est une application incroyable qui permet de numériser efficacement un objet ou un corps existant afin de le faire réapparaître dans le réel en réalité augmentée (avec un export USDZ) ou dans le casque au sein d'un espace virtuel (via > SKETCHFAB) ! Et si vous souhaitez créer une galerie d'art ou un environnement particulier avec BLENDER / SPOKE ou UNITY, l'export de fichier 3D (en OBJ ou GLB par exemple) s'avèrera un atout supplémentaire pour réinjecter cette modélisation dedans. L'application vous permettra également d'exporter le résultat sous la forme d'une vidéo avec de très nombreuses options de rotations. SCANIVERSE est une application que l'on installe dans son smartphone ou sa tablette mais elle est exclusive à APPLE. Il existe au moins une autre application alternative disponible pour ANDROID que nous aborderons également tout en bas de cette page."
TEST de JEAN > "SCANIVERSE fait partie de ces nombreuses apps sur iOS permettant de scanner en 3D grâce à la photogrammétrie. Au delà du fait d'être gratuite, elle présente l'avantage de tout faire en local. Dautres applications comme TRNIO, fonctionnent de la même façon, mais vont envoyer toutes les donnés dans des serveurs distants qui les traiteront pour réaliser le modèle 3D. SCANIVERSE, lui, fait tout sur votre tablette ou smartphone. Là où TRNIO peut prendre 15 minutes pour vous donner un résultat après la phase de scan, SCANIVERSE, lui, vous donnera un résultat en 3 ou 4 minutes pour les plus longs. Il permet également d'éditer votre modèle 3D en le recadrant et le redressant. Cerise sur le gâteau, SCANIVERSE propose de multiples formats d'exportation, là encore, gratuitement, tandis que les autres apps proposent souvent ce genre de choses dans leur partie payante. L'app est précise, voire très précise ; ce qui vous demandera un petit entrainement afin d'effectuer des scans d'une grande qualité. La technologie photogrammétrique ne permet pas de scanner les matériaux transparents ou translucides correctement, les surfaces unies et/ou brillantes sont également mal captées. Plus votre sujet est texturé et mat, plus votre scan sera efficace. Les petits objets seront également une difficulté. Un objet de 10 cm minimum vous assurera un résultat avec un minimum de qualité. C'est la seule app que j'utilise maintenant pour scanner des travaux d'élèves, des figurines, ou même des lieux ! Son seul vrai défaut est que cette app n'est disponible que sur les machines iOS."

B / [ NIV 3 ] Pourquoi et comment utiliser SCANIVERSE ?

Grâce à cette application, nous avons la possibilité de numériser des objets de petites ou de grandes dimensions, des personnes existantes, ou bien encore des environnements réels plus conséquents tels que des parois, des bâtiments, une rue... Ici, nous avons fait le choix de numériser notre collègue d'arts plastiques présente à la formation.

Voyons comment y parvenir :

Et maintenant, voici le résultat issu de cette NUMÉRISATION 3D :

C / [ NIV 3 ] Observons le résultat obtenu une fois UPLOADÉ (= transféré) vers SKETCHFAB :

Ce processus (d'upload = transfert) fut expliqué dans l'article spécifiquement dédié à SKETCHFAB.

NB : Lorsque le fichier issu de SCANIVERSE est exporté vers SKETCHFAB, il subit une compression c'est à dire une diminution des polygones qui constituent le volume numérisé. Par voie de conséquence, la résolution ou la qualité finale du volume visible est quelque peu amoindrie. Mais en zoomant, on s'aperçoit que cela demeure toutefois vraiment très satisfaisant. Le plus important étant d'avoir une excellente gestuelle qui enveloppera le volume à numériser. Plus la numérisation 3D sera propre et réussie avec SCANIVERSE, plus le résultat sur SKETCHFAB sera optimal.

Scaniverse - 3D Tran Phoummasak by Heefergant61 on Sketchfab

Pierrick BRISSIER by Brissier.P on Sketchfab

En cliquant sur l'affichage du "model inspector"dans la partie inférieure droite de SKETCHFAB, on pourra observer les polygones.

Sachez qu'il est possible de modifier la texture de l'objet numérisé pour lui donner une apparence semblable à de l'aluminium.

D / [ NIV 3 ] voici les TUTORIELS OFFICIELS du développeur de SCANIVERSE

https://scaniverse.com

E / [ NIV 2 ] POURQUOI et COMMENT REGARDER en RV (une numérisation SCANIVERSE exportée dans SKETCHFAB) ?

Pour retrouver la tridimensionnalité d'un objet numérisé lorsqu'il est inséré dans le réel en réalité augmentée, le spectateur tournera autour. Mais l'écran de visionnage (smartphone ou tablette) est en 2D. Utiliser un casque de Réalité Virtuelle vous permettra donc de voir l'objet 3D en 3D !

Après avoir numérisé le corps de Tran PHOUMMASAK avec SCANIVERSE, le modèle 3D fut exporté dans SKETCHFAB. En utilisant le Meta Quest2 (casque oculus de RV - Réalité Virtuelle), il est à présent possible de chercher et de retrouver le fichier 3D avec BROWSER (l'application servant de navigateur web dans le casque) sur le site internet de SKETCHFAB. Attendre le chargement complet du fichier au sein de la page puis cliquer précisément sur l'icône des lunettes en bas à droite

> View in VR <

Le spectateur verra en 3D le modèle 3D préalablement numérisé.
Le spectateur a la possibilité de se déplacer dans cet espace virtuel, tout autour du modèle.
Le spectateur a la possibilité de modifier l'échelle du modèle (augmenter/réduire).
Le spectateur a la possibilité de transporter ce fichier SKETCHFAB dans un autre espace interactif et communautaire. Par exemple en lien ici : HUBS MOZILLA. Espace dans lequel il sera possible de faire apparaître par exemple une galerie d'art préalablement créée par vos soins avec ce logiciel en ligne disponible avec ce lien : SPOKE ( Un article [ NIV 4 ] abordera ce sujet ultérieurement ).

F / [ NIV 1 ] POURQUOI et COMMENT REGARDER en RA (une numérisation SCANIVERSE exportée dans SKETCHFAB) ?

PÉDAGOGIQUEMENT : faire apparaître un modèle 3D personnel dans un couloir, sur un support ou dans un lieu spécifiquement choisi peut s'avérer intéressant en arts plastiques. On peut interagir avec l'œuvre. On peut questionner la notion d'échelle. On peut penser et créer une œuvre in situ pour projeter son installation future et sans détériorer le lieu. Mais en RA (= RÉALITÉ AUGMENTÉE) on peut également questionner la notion d'hybridation (Réalité numérique et réalité physique).

La réalité augmentée permet au spectateur de voir le modèle 3D à 360°, en tournant physiquement autour.

Rappelez-vous cette œuvre interactive intitulée :

Le veau d'or de Jeffrey SHAW

.
Avec son smartphone, il est dorénavant possible d'obtenir ce résultat en utilisant l'application SKETCHFAB. Avec deux doigts posés sur l'écran, le modèle qui apparaît en réalité augmentée (dans le lieu choisi) peut être redimensionné ou pivoté afin de le faire coïncider avec une zone réelle spécifique.

Cette vidéo vous montrera comment faire avec un modèle personnel mais il est possible de choisir une œuvre d'art numérisée qui provient d'une collection (sculpture du musée du Louvre par exemple).

G / [ NIV 3 ] WIDAR (pour ANDROID mais également disponible pour iOS)

TEST de MAËL > " WIDAR est une application performante et capable de produire des résultats assez bluffants. Contrairement aux autres, elle offre des outils de retouche efficaces après la prise de vue. Il est par exemple possible de gommer certaines parties du scan 3D. Il est également possible de "sculpter" le résultat grâce à des outils permettant de lisser, de creuser ou de gonfler certaines parties choisies du scan 3D. En revanche, on ne peut que regretter les nombreux bugs rencontrés, notamment au moment de la modélisation où l'application demande a être redémarrée à plusieurs reprises. "

WIDAR est une application de création de contenu 3D qui vous permet de numériser et d'éditer des modèles 3D sur votre smartphone. Vous pouvez profiter de la création de contenus 3D de haute qualité, visualiser directement sur l'appareil, jouer en RA et publier le contenu sur la communauté intégrée à l'application. En outre, vous pouvez également exporter du contenu 3D à utiliser dans le jeu, l'effet VFX dans les films, l'architecture, la construction, AR, VR, l'impression 3D et NFT.

ARTICLE 02 / [ NIV 1-2 ] Découverte et TUTORIELS : OPENBRUSH & MULTIBRUSH

Jean Noel — 2022-09-28T21:15:47Z

Avec le casque META QUEST 2, nous utilisons prioritairement les logiciels OpenBrush et MultiBrush qui sont, à notre avis, incontournables dans l'utilisation de la réalité virtuelle immersive en arts plastiques.

Ils permettent la création d'œuvres tridimensionnelles en "dessinant ou en peignant" dans l'espace avec différents outils redimensionnables, plats, en volume, et/ou dynamiques. Ils sont nommés "Brushes" car certaines caractéristiques font penser aux pinceaux. (A notre avis, pour tous ceux et celles qui ont déjà expérimenté la technique du Light painting, c'est également assez proche).

OpenBrush et Multibrush sont les logiciels que l'on installe dans son casque qui n'est relié à aucun fil car il est autonome et dispose d'une mémoire interne.

La différence fondamentale entre ces deux logiciels est qu'OpenBrush est un logiciel mono-utilisateur, alors que MultiBrush est multi-utilisateurs , donc cela permet la création collaborative. Ce sont des versions différentes d'un même logiciel source : TiltBrush. TiltBrush était développé par Google qui a rendu son code public par la suite. Avec le temps, les deux logiciels se différencient de plus en plus. MultiBrush va proposer plus d'outils (brushes = brosses) alors qu'OpenBrush va proposer lui plus d'outils d'aide à la création et à l'exportation de fichiers. Chaque version du logiciel a son équivalent en réalité virtuelle sur PC mais cela nécessitera alors un puissant ordinateur.

OPENBRUSH V2.0

TEST de PIERRICK > "OpenBrush est l'outil de création graphique et pictural parfait, relativement simple à prendre en main, il est dorénavant très complet depuis sa dernière mise à jour en V2.0. Que l'on soit novice ou expérimenté, il saura gratuitement et pleinement satisfaire votre créativité. Actuellement, avec Multibrush, il n'y a pas mieux !"

TEST de JEAN > "Quand on pense peinture et réalité virtuelle en même temps, OpenBrush est l'outil idéal. La prise en main est rapide et facile, pas plus de 3minutes pour commencer à véritablement peindre dans l'espace. Avec un peu de pratique on maîtrisera facilement les outils plus avancés."

TEST de FABIEN (enseignant en lycée) > "OpenBrush permet une expérience de dessin dans l'espace qu'aucun autre outil ne permet à présent, puisqu'il s'agit de dessiner en créant des mouvements spontanés dans l'espace réel et d'inscrire la trace de ces gestes dans une simulation de cet espace réel. La trace spontanée du geste fait la force de cet outil dans une expérience graphique. Le logiciel se situe à mi chemin entre une pratique de dessin, de sculpture et de pratiques chorégraphiques (danse...) : l'outil peut aisément favoriser une expérience interdisciplinaire. Les outils proposés simulent les outils réels, à la manière des logiciels de dessin déjà connus (Krita). Un outil en particulier permet toutefois de "construire" des volumes dans l'espace. Il devient potentiellement possible d'aborder dans l'espace virtuel : le dessin et le volume. Personnellement, je pense que l'outil peut devenir vraiment intéressant quand il y a un aller retour avec les techniques traditionnelles pour bien en saisir les enjeux."

TEST de RONAN (enseignant en lycée) > "OpenBrush comme MultiBrush sont des outils très efficaces pour réaliser un dessin ou une peinture immersive. Cela amène potentiellement le praticien à avoir une autre approche du point de vue physique en se situant à l'intérieur de sa réalisation, ce qui modifie les conventions ou les habitudes. Il faut alors prendre en compte les espaces autour de son propre corps. On aborde ainsi quelque chose de l'ordre de la pratique sculpturale ou architecturale. Ces outils sont véritablement multimédias."

POINTS POSITIFS +
> Libre et gratuit
> Pas de bug
> Palette d'outils suffisante
> Exports de fichier en .glb simple
> Export simple vers Sketchfab

POINTS NÉGATIFS -
> C'est en solo, pas de création collaborative

MULTIBRUSH

TEST de PIERRICK > "[contrairement à OpenBrush], ce qui est génial avec MultiBrush c'est qu'il permet de créer collaborativement, et à distance. On peut donc maintenant envisager des projets inter-établissements en temps réel (=synchrones) dont leurs auteurs (des élèves) seraient géographiquement éloignés."

TEST de JEAN > "L'intérêt majeur de MultiBrush c'est « Multi ». Il offre donc la possibilité de se retrouver jusqu'à 12 dans le même espace de création dépourvu de toute contrainte physique ou presque. Il a un autre petit plus, celui d'offrir une palette d'outils étendue (presque 2 fois plus qu'OpenBrush)."

TEST de FABIEN (enseignant en lycée) > "La particularité de Multibrush est de pouvoir faire intervenir plusieurs personnes sur un même projet. Une expérience collaborative peut alors être mise en œuvre avec toutes les possibilités que la VR permet (relation espace réel/virtuel ; mises en miroir pour interagir réel/virtuel...). Même s'ils interagissent dans un même espace virtuel, les collaborateurs peuvent se situer dans des espaces réels éloignés, chacun avec son casque. On peut donc imaginer toutes sortes de dispositifs d'échanges créatifs à distance, entre élèves par exemple..."

TEST de RONAN (enseignant en lycée) > "OpenBrush comme MultiBrush sont des outils très efficaces pour réaliser un dessin ou une peinture immersive. Cela amène potentiellement le praticien à avoir une autre approche du point de vue physique en se situant à l'intérieur de sa réalisation, ce qui modifie les conventions ou les habitudes. Il faut alors prendre en compte les espaces autour de son propre corps. On aborde ainsi quelque chose de l'ordre de la pratique sculpturale ou architecturale. Ces outils sont véritablement multimédias."

POINTS POSITIFS +
> Jusqu'à 12 utilisateurs simultanément
> Palette d'outils étendue
> Exportation SketchFab simple
> Exportation en .glb mais aussi en .wrl et .stl pour une exploitation en impression 3D

POINTS NÉGATIFS -
> Payant 20€
> En mode multi, pas de « retour/undo »
> Difficulté pour exporter fidèlement le travail en dehors de l'app elle-même.
> Les exportations dysfonctionnent si on utilise les brosses expérimentales de MultiBrush

TUTORIELS

TUTORIEL de NIVEAU 1 et de NIVEAU 2 > Premiers pas... et un peu plus... OBJECTIF ? Ce tutoriel vous permettra de prendre facilement ces deux logiciels en main puis d'acquérir un niveau de maîtrise plus conséquent en fin de visionnage :

TUTORIEL de NIVEAU 2 > Ensuite, savoir sauvegarder sa création, c'est bien ; mais être capable de la retrouver : c'est mieux ! OBJECTIF ? Voici une petite astuce qui vous permettra de repérer facilement le fichier choisi parmi toutes vos sauvegardes provenant du "sketchbook" (= carnet de travail) :

TUTORIEL de NIVEAU 2 > Une fois les logiciels pris en main, vous pouvez maintenant progresser... OBJECTIF ? Apprendre à maîtriser des outils plus complexes et des fonctions plus avancées :

TUTORIEL de NIVEAU 4 > En terme de compatibilité et d'export de fichiers avec d'autres logiciels, OpenBrush est non seulement plus "ouvert" que MultiBrush mais certaines "Brushes" sont à privilégier si vous souhaitez réexploiter vos créations sans perte de qualité. ⚠️ Attention : pour les manipulations suivantes, cela nécessite des compétences ou prérequis techniques plutôt conséquents : après avoir passé son casque en mode développeur, vous aurez la possibilité de récupérer votre fichier sauvegardé dans sa mémoire interne puis de le transférer sur votre pc avec un câble usbc>usb. Ensuite, après l'avoir installé, vous utiliserez le moteur de jeu 3D : UNITY. OBJECTIF ? Vous permettre de naviguer dans votre création, sans casque, sur un pc, avec une manette ou avec les touches directionnelles du clavier.

PS > tous ces tutoriels ont été créés par Jean Noel. Ils sont destinés à la fois aux formateurs, aux enseignants et aux élèves. Vous pouvez indiquer ce site disciplinaire à vos élèves pour leur permettre d'y accéder en autonomie et de s'auto-former.