Studenten van het mbo AV op het ROC Tilburg zijn nieuwsgierig voor VR in hun onderwijs. Ze zijn enthousiast over mijn prototype en willen dit graag terug zien in hun les.
De meeste studenten zijn bekend met VR en hebben hier ook ervaring mee. De meerderheid ziet VR als een nuttige tool in als hulpmiddel bij het lesgeven en leren van AV. Bijna alle studenten zouden audiovisuele technologieën willen verkennen in VR. Studenten vinden deze hand interactie fijn en dit voelt intuïtief. De studenten zien potentie in het gebruik van VR in hun onderwijs, ze vinden dat hun leerproces interessanter kan worden en makkelijker praktische vaardigheden kunnen oefenen. Uit de nulmeting kwam dus veel gebruikvolle informatie.
Het uiteindelijke geteste VR prototype van deze sprint:
Om deze applicatie te kunnen draaien is er ook hardware nodig, PIT heeft voor haar onderzoeksdoelen twee verschillende VR brillen ter beschikking. De Pico Neo 3 pro en de Meta Quest 2. De Quest 2 is wereldwijd de meest gebruikte VR headset voor development en entertainment, omdat het project gaat om toegankelijkheid te bieden aan de studenten kies ik daarom ook de meest toegankelijke VR headset. De Meta Quest 2.
Om een interactieve VR applicatie te maken heb ik een game engine nodig. Ik ben bekend met twee game-engines waarmee je games kan maken, Unreal Engine en Unity. Ik heb uiteindelijk gekozen voor Unity. Ik heb eerst gekeken naar welke game-engine er zijn en welke het beste past bij dit project. Hieronder een onderzoek hierover.
Na het onderzoeken van verschillende game-engines voor het maken van een VR-prototype op de Meta Quest 2, kies ik voor Unity. Unity biedt gebruiksgemak, flexibiliteit en uitgebreide ondersteuning van Oculus. Mijn eerdere ervaring met Unity en de beschikbaarheid van online hulp en documentatie maken het de beste keuze voor dit project. Het focussen op low-fidelity prototypes en het valideren van het concept vereisen een lage leercurve en gebruiksvriendelijkheid, waar Unity aan voldoet. Daarom ga ik Unity gebruiken als de game-engine voor dit project.
Voor Unity maak ik gebruik van Unity 2021.3.20f1, omdat deze compatible is met mijn MacBook M1 chip.
Oculus heeft voor developers een “Oculus Integration” asset op de asset store van Unity zodat er via Unity gebruik kan worden gemaakt van de Oculus functies, zoals controller/ hand interacties.
Omdat ik nooit eerder met Oculus gewerkt heb, heb ik mezelf verdiept in de voorbeelden uit de “Oculus Integration” asset. Via een externe tool ‘scrcpy’ kan ik via deze line, scrcpy --crop 1730:974:1934:450 --max-fps 60 --record file.mp4, direct beelden uit de Quest opnemen en opslaan. Hieronder een paar opnames van de experimenten.
De Quest kan naast controllers ook de handen herkenen van de gebruiker en dit als een controller zien. De interacties met de hand voelde voor mij natuurlijk om te doen. Hierdoor kun je iemand die geen ervaring heeft met VR eigenlijk zonder uit te leggen een opdracht geven zoals het plaatsen van de planeten in het voorbeeld. Dit noemen we ‘intuitive design’, het ontwerpen van een product dat voor een gebruiker makkelijk te gebruiken is.
Ik heb een eigen ‘scene’ gemaakt om hierin de voorbeelden na te bootsen om zo de techniek achter de voorbeelden beter te begrijpen.
Het eerste idee van Roel was om een 360 graden foto van een opnamestudio te gebruiken als omgeving in VR. Wat dit idee zo aantrekkelijk maakt is dat een 360 graden foto simpel is om te maken en relatief simpel om in een VR bril te krijgen. Toen ik verder onderzocht kwam ik erachter dat dit in Unity veel functionaliteiten weghaalde, omdat een 360 foto eigenlijk een 2D projectie is op de skybox (Skyboxen zijn een omhulsel rond je hele ‘scene’ dat laat zien hoe de wereld eruit ziet buiten je geometrie). Zonder de functionaliteiten is het eigenlijk alleen een soort kijkdoos in VR, maar dat haalt de benodigde interactie weg. Daarom heb ik Roel uitgelegd dat dit geen goede optie is.
Een beter plan was om een kleinschalig 3D prototype te maken van een handeling die je terug zou zien in de praktijk als AV’er.
Zoals het schakelen tussen tv beelden als schakeltechnicus. Een schakeltechnicus is de persoon die verantwoordelijk is voor het schakelen van beelden in bijvoorbeeld een live event. De schakeltechnicus is eigenlijk een livestream live aan het editen. Dit vergt veel timing, planning waarbij er vooruit maar ook terug uit nagedacht moet worden en inzicht. Een regisseur bepaald welk shot op welk moment belangrijk is en/of interessant is.
In een perfecte wereld zou ik de daadwerkelijke apparatuur die gebruikt wordt in de praktijk maar ook in een scenario dat reëel is voor de student willen gebruiken. Op plekken, zoals grote publieke omroepen als NOS, waar een groot budget is voor personeel zijn een schakeltechnicus en regisseur twee aparte functies en soort gelijke plekken waar minder budget over is zijn de twee functies samengevoegd. Volgens Roel zien we in de praktijk dat meer mensen deze functies beide uitvoeren. De basisapparatuur die gebruikt wordt door Roels studenten zijn een videomixer (blackmagic tv studio hd), een geluidsmixer (behringer x32) en een mixer software (vMix). Ik zat zelf te denken om een soort simulatie te maken voor een schakeltechnicus, die hoort dan van een fictieve regisseur dat er naar, bijvoorbeeld, “Beeld 3” geschakeld moet worden. Dit kan heel serieus zijn met realistische situaties maar dit kan ook wat luchtiger door een soort spel te maken waarbij de commando’s steeds sneller komen.
Nu ik weet dat in de praktijk meer mensen beide functies tegelijk beoefenen kan dit ook een POC zijn. Door een fictieve opnamen te hebben van verschillende cameras en dat de gebruiker op eigen initiatief kan switchen van beeld wat het beste past bij de situatie. Dit is een serieuzere opvatting van het principe ‘hands-on’ ervaring bieden aan studenten. Ik wil in ieder geval beide ideeën testen.
Om dit in een minimaal Proof of concept te verwerken ga ik beginnen met een basis voor de videomixer te maken met interactieve knoppen. De videomixer wil ik zodanig uitwerken dat er tussen beelden kan worden gewisseld door knoppen. Op het scherm komen de verschillende beelden die parallel afgespeeld worden en door op een knop van dat beeld te drukken wordt het live beeld verplaatst door het gedrukte beeld.
Ik begon met een schets van de opstelling en heb ik dit laten valideren door Roel. Deze opstelling heb ik in Unity verder ontworpen doormiddel van de knoppen te vervormen van de voorbeeld ‘scenes’.
Ieder scherm heeft het ‘videoplayer’ component, waardoor ik een video als ‘texture’ afgespeeld worden op het object. Dit werkt goed in de Unity editor, echter niet wanneer dit op de Quest wordt gespeeld. Er is veel ‘lag’ en de videos hebben een ‘framerate’ van 10 of minder.
Mijn eerste reactie was dat de videos te zwaar zijn voor de Quest, daarom heb ik de video’s kleiner gemaakt via optimisers en via Premiere Pro opnieuw geëxporteerd. Maar dit hielp allemaal niet. Samen met andere stagiaires heb ik dit probleem onderzocht, in het process hebben we het programma sneller en efficiënter gemaakt door middel van verschillende instellingen. Dit verhielp helaas niet de hapering van de video.
Door de manier van rendering aan te passen van ‘Material Override’ naar ‘Render Texture’ is het probleem deels verholpen. De videos lopen nu door met weinig haperingen. Alleen is de hele applicatie wat haperig geworden, wat zorgt voor een slechte VR ervaring want deze vertraging en hapering kan duizeligheid opwekken.
Nu de beelden via een ‘texture’ kan tonen op een scherm, kan ik dit ook programmerend veranderen. De knoppen kunnen ingedrukt worden maar er gebeurt nog niets in de achtergrond. Ik heb een functie geschreven die de ‘texture’ aan kan passen van een object. In mijn geval heb ik twee scenario’s, de live wordt aangepast, of de preview. Als parameter geef ik de nieuwe ‘texture’ of te wel de nieuwe bron/source die op de live of preview moet.
Om te zorgen dat het voor de gebruiker duidelijk is welke knop in is gedrukt moet er nog meer logica in komen. Zoals een echte videomixer moet de knop die op live is geselecteerd rood zijn en op preview groen. Hiervoor reset ik alle knoppen op de normale kleur en geef ik de geselecteerde knop de desbetreffende kleur mee.
Om de kwaliteit van mijn progressie te meten besloot ik bij Daan mijn prototype te pitchen volgens de CMD methodes en maakte hier een showroom moment van. Daan heeft verstand van audiovisueel en is hier vaak mee bezig, hierdoor leek mij het goed om het met hem te bespreken.
Daan was positief verrast. Hij vond het er goed uitzien en was onder de indruk van de functionaliteit. Daan stelde voor om een ‘cut’ knop toe te voegen waarmee de regisseur kan schakelen tussen 'preview' en 'live' weergave. Daarnaast moet de functionaliteit dat de beelden automatisch draaien ook beschikbaar zijn. Als er bijvoorbeeld camera 1 op 'preview' wordt gedrukt terwijl camera 1 als 'live' is geselecteerd, dan moeten de beelden automatisch omdraaien. Door deze aanpassingen zou de regisseur de beelden nog beter controleren en de kijkervaring van het publiek optimaliseren.
Op basis van deze feedback ben ik begonnen met deze functionaliteit. Eerst moet er gecheckt worden of de live en preview wel een bron hebben. Daarna worden de knoppen omgedraaid, hiervoor word er eerst gekeken welke knop actief is bij live en preview. Daarna worden de bronnen van de beelden omgedraaid.
Tijdens het showcasen van mijn prototype aan andere stagiaires, kwam ik in gesprek met een hobby gamedeveloper die mij voorstelde om zoveel mogelijk elementen weg te halen die schaduwen creëren. De Quest 2 is eenmaal niet zo krachtig aangezien het een ‘stand-alone VR headset’, wat betekent dat alles gedraaid wordt op de kleine machine zelf. Door alle niet essentiële elementen te verwijderen uit de ‘scene’ ging de vertraging helemaal weg.
Roel daagde mij, en twee andere stagiaires, uit om een video te maken over de stand van mijn project. Ik moest zelf bepalen welke shots ik in de video wilde, wat ik vertelde en hoe ik dat vertelde. Dit gaf me een inzicht van de AV opleiding. Roel gaf daarnaast ook aan dat ik ook in de regisseursruimte van Omroep Brabant mocht opnemen. Hier kwam ik twee specialisten tegen die daar werken. Ik pitchte mijn project en ze waren erg enthousiast om het te bekijken. Dus ik liet ze de VR-bril op doen en zo kreeg ik mijn mini expert showcase.
Ze waren onder de indruk van de veelzijdigheid van het prototype en de positieve impact die het kan hebben op het leerproces van studenten. Vooral de interactieve functies en gebruiksvriendelijke interface werden benadrukt als indrukwekkend. Een van de experts zei: “Het prototype biedt studenten een unieke kans om op een boeiende manier te leren en hun vaardigheden te ontwikkelen. Het stelt hen in staat om complexe concepten beter te begrijpen en stimuleert hun creativiteit en probleemoplossend vermogen.”.
Om een beter begrip te krijgen van onze doelgroep en hun specifieke behoeften, heb ik via Roel een lesbezoek geregeld. Elke vrijdag geeft Roel les aan zijn klas AV studenten op Mindlabs. Om het lesbezoek zo onopvallend mogelijk te laten verlopen en de natuurlijke interactie tussen de studenten en de docent niet te verstoren, heb ik gekozen voor de "fly on the wall" methode. Op deze manier kan ik observeren hoe de studenten en docent met elkaar omgaan en meer inzicht krijgen in wat ze nodig hebben.
Ik wilde de mening van mbo Audiovisuele studenten over het gebruik van VR als lesmateriaal achterhalen. Uit de enquête bleek dat de meeste studenten bekend waren met VR, waarvan iets meer dan de helft het al had gebruikt voor entertainment, en slechts een paar voor educatieve doeleinden.
80% vond VR nuttig bij het lesgeven en leren in de AV-sector. Ze geloofden dat het concepten beter zou visualiseren, het leerproces interessanter zou maken en praktische vaardigheden zou vergemakkelijken. Ook vond 80% dat VR de kwaliteit van het AV-onderwijs zou kunnen verbeteren. Bovendien was 90% geïnteresseerd in het verkennen van audiovisuele technologieën in VR.
De nulmeting leverde waardevolle informatie op van de doelgroep. Het opstellen van de enquête was uitdagend, maar dankzij feedback kon ik de vragen aanpassen. Hoewel ik weinig respons kreeg, ben ik tevreden met de resultaten. Als ik het opnieuw zou doen, zou ik ervoor zorgen dat iedereen de enquête invult en diepere vragen stellen voor specifiekere antwoorden.
Ik deed een gebruikerstest tijdens een AV-les, waarbij ik een testbaar prototype presenteerde aan studenten. Mijn aanpak was een 'Usability test' om feedback te krijgen en het concept aan de studenten te pitchen. Ik maakte gebruik van de ‘Participant observation’ methode. Ik liet minstens acht studenten het prototype testen en vroeg hen om een Google Form in te vullen met tips en tops. De studenten waren enthousiast en verkenden intuïtief de interactiemogelijkheden van de VR-applicatie. Ze zagen potentieel in het gebruik van VR voor leerervaringen.
Tijdens de test kreeg ik waardevolle inzichten in het perspectief en de behoeften van de studenten. Ik realiseerde me echter dat ik meer vragen had moeten stellen tijdens de test om dieper inzicht te krijgen en mogelijke verbeterpunten te identificeren. Helaas waren er weinig reacties op de Google Form, wat me leerde dat ik in de toekomst andere feedbackmethoden moet overwegen.
Voor de volgende keer plan ik om gerichtere vragen te stellen tijdens de gebruikerstest en overweeg ik om de studenten gezamenlijk de Google Form in te laten vullen om de participatie te vergroten en een representatievere weergave van de studentenmening te krijgen. Deze ervaring was waardevol en ik zal de geleerde lessen toepassen bij toekomstige tests en feedbackverzamelingsprocessen om beter inzicht te krijgen in de behoeften en verwachtingen van de studenten.
Sprint 1 is heel snel gegaan. In deze sprint heb ik al veel keuzes gemaakt voor het project. Ik had al snel een prototype gemaakt en voor mezelf duidelijk hoe ik deze wilde hebben. Ik heb tijdens deze sprint veel inzicht gekregen in de doelgroep, dit doordat ik op lesbezoek ben geweest. Ik heb toen een enquête afgenomen, hier heb ik van geleerd dat het belangrijk is om geen vragen te stellen waarop studenten sociaal wenselijke antwoorden kunnen geven. Dit ga ik meenemen bij de volgende gebruikerstest. Ook heb ik gemerkt dat ik bij deze sprint te snel keuzes maakte zonder deze sterk te onderbouwen. Dit vond ik jammer omdat ik hierdoor een stuk onderbouwing miste bij het VR gedeelte. Ik merkte ook dat ik het lastig vond dat ik niet precies wist wat het vak van AV inhield. Ik vond het bijvoorbeeld lastig om in te beelden hoe AV mixer precies werkte en hoe dit technisch in elkaar zit. Door veel te spreken met Roel en de doelgroep heb ik hier veel kennis van opgedaan. Dit vond ik een goede keuze omdat ik zo een beter beeld kreeg bij het beroep had.
Ga verder naar sprint 2.