Deze gebruikerstest doe ik om deelvraag 4 te beantwoorden: “Hoe ervaren mbo AV-studenten het gebruik van VR-applicaties in vergelijking met traditionele lesmethoden?”. In het testplan staat beschreven hoe ik dit ga doen en hoe ik de resultaten beoordeel.
Testplan usertest 2 juni 2023.pdf
Uit de enquêtegegevens blijkt dat zowel de VR-versie als de PC-versie van de videomixer-simulatie goede punten had en punten voor verbetering. Ik zal deze punten hieronder nalopen.
Over het algemeen werd de VR-versie als positief ervaren vanwege de realistische en meeslepende ervaring. De studenten merkten op dat ze het gevoel hadden dat ze echt in een 3D-omgeving aan het schakelen waren, waardoor het een realistischer gevoel gaf. Sommige studenten gaven echter aan dat de prestaties enigszins werden beïnvloed door de vertraging bij het laden van beelden op de headset. Dit had invloed op de soepelheid van de ervaring en de reactietijd van de interactie. Het gebruik van de knoppen in VR werd over het algemeen als positief ervaren, maar sommige studenten merkten op dat het indrukken van de knoppen enige gewenning vereiste. Ze vonden dat de responsiviteit van de knoppen niet altijd optimaal was omdat het indrukken van de knoppen niet direct werd geregistreerd.
De PC-versie werd ook positief beoordeeld vanwege het gebruiksgemak en de realistische weergave van een echte mixer. Studenten merkten op dat ze het gevoel hadden dat ze met een daadwerkelijke fysieke mixer werkten, wat resulteerde in een intuïtievere interactie. De PC-versie werd over het algemeen ook als responsiever ervaren, omdat het werken met een toetsenbord en muis natuurlijker was voor de meeste studenten. Ze konden sneller schakelen tussen functies en hadden meer controle over de interactie.
De meerderheid van de studenten gaf aan dat ze meer hadden geleerd over de videomixer door de VR-versie te gebruiken. Ze gaven aan dat de ‘immersivity’ van VR hen vereiste om tegelijkertijd meerdere taken uit te voeren, hen hielpen om de videomixer-technieken beter te begrijpen en te beheersen.
Voor het leren van de techniek van schakelen gaven de meeste studenten ook de voorkeur aan de VR-versie. Ze merkten op dat het gelijktijdig uitvoeren van meerdere handelingen in VR, zoals het selecteren van bronnen en het aanpassen van overgangen, hen in staat stelde om beter te leren multitasken en sneller beslissingen te nemen.
Een veelvoorkomend punt van kritiek was het ontbreken van audio in zowel de VR- als de PC-versie van de applicatie. Studenten merkten op dat het toevoegen van audio-elementen, zoals het horen van geluidseffecten bij het aanpassen van instellingen of het afspelen van muziekfragmenten, de ervaring realistischer zou maken en een diepere onderdompeling zou bieden.
Een ander aspect dat werd genoemd, was het verlangen naar fysieke knoppen in de VR-versie. Studenten gaven aan dat hoewel het gebruik van virtuele knoppen en controllers effectief was, ze de tastbare feedback en het gevoel van fysieke knoppen misten, omdat dit een intuïtievere en snellere interactie zou mogelijk maken.
Samenvattend kan worden geconcludeerd dat de VR-versie van de videomixer-simulatie positieve waardering kreeg vanwege de realistische en meeslepende ervaring, evenals de mogelijkheid om multitasking en schakeltechnieken te leren. De PC-versie werd ook positief beoordeeld vanwege het gebruiksgemak en de responsiviteit. De toevoeging van audio-elementen en fysieke knoppen zou de algehele ervaring kunnen verbeteren volgens de feedback van studenten.
Studenten zagen dit graag terug komen in hun opleiding om zo te oefenen. Ze miste zoiets namelijk in hun opleiding. Normaal worden ze in het diepe gegooid met een grote videomixer en word ze daar dan uitgelegd welke knop wat doet enzovoort. Ze vertelde dat doormiddel van mijn applicatie de functionaliteit een stuk beter en makkelijker kan worden uitgelegd omdat het tot nu toe dertien knoppen zijn inplaats van 60+ knoppen zoals op echte videomixer.
Tijdens de test kreeg ik ook veel verbale feedback, omdat ik de CMD methode ‘Thinking aloud’ gebruikt heb. Ik vroeg de studenten tijdens de gebruikerstest hardop na te denken. De studenten waren erg enthousiast en wilde deze applicatie graag gebruiken om zo te oefenen aangezien ze dit missen in hun les. Het viel me op dat de studenten allemaal aangaven nog niet goed genoeg te zijn in het schakelen, maar dit wel wilde zijn. Een paar studenten gaven aan dat ze graag een slider voor overgangen, PiP (picture in picture) en eigen beelden kunnen inladen als toevoeging wilde zien.
Ik kan tevreden terug kijken op deze user test. Doordat ik me goed voorbereid had, verliep deze soepel. Mijn voorbereiding bestond uit het schrijven van een duidelijk testplan, hierin heb ik een scenario geschreven voor de studenten. In het scenario heb ik duidelijk geschreven wat ik van de studenten verwacht tijdens de usertest. Een paar minuten voordat ik de user test ging uitvoeren kwam ik aantal bugs tegen, deze bugs kon ik gelukkig nog optijd oplossen om toch de user test goed te laten verlopen.
Hierna legde ik de studenten het scenario voor. Wat mij opviel is dat de studenten de besturing snel oppakte, uit feedback kon ik opmaken dat dit kwam doordat ze het programma duidelijk vonden en makkelijk mee aan de slag konden. De studenten reageerde tijdens het testen positief, ze deden enthousiast mee en ze gaven zelf aan dat ze het leuk vonden om te testen. Ik krijg zelfs een compliment van een student dat zij vond dat dit het beste project van PIT tot nu toe is, dit vond ik leuk om te horen. Ook was het leuk te zien dat de studenten ook echt geïnteresseerd waren in het programma en hier dan graag mee wilden testen. Na de test heb ik de studenten een enquete in laten vullen, dit deed ik zodat ik duidelijk feedback kon krijgen. Tijdens het maken van de enquete heb ik rekening gehouden dat ik de vragen niet te veel stel idk het woord, ik wil namelijk feedback wat ze echt vonden en niet feedback wat ze denken dat ik zou willen horen.
Uit de enquete heb ik feedback gekregen waar ik echt wat mee kan, deze feedback ga ik dan ook meenemen in mijn advies. Een van de punten die ik mee ga nemen als advies is het toevoegen van geluid, meerdere studenten gaven aan dat dit voor hun een toevoeging zal zijn. Een van de punten die mij ook viel is dat de studenten behoefte hebben aan een programma zoals ik gecreëerd heb, zo vinden dit namelijk een goede en makkelijke manier om er mee te oefenen. Ze vonden ook dat het VR veel toevoegde, dit omdat je makkelijker kan oefenen met kijken naar alle schermen en je videomixer, juist omdat dit een uitdaging is. Dit is dan ook zeker iets wat ik ga meenemen in mijn uiteindelijk advies.