Jagten på den perfekte deltagerpris

…OG LIDT OM EVALUERINGSSEDLER

Et gæsteindlæg af Jacob V. Nielsen

TROELS: Dette noget nørdede gæsteindlæg har jeg glædet mig til at dele med jer. Vi taler om prisuddeling på rollespilsconner, specifikt om priser som uddeles på baggrund af publikums-respons. Her har Viking-Con haft gang i noget spændende konceptudvikling på det sidste, og mellem os sagt synes jeg at Viking-Cons seneste bud er en ret snildt udført balancegang. Jeg er spændt på hvad de finder på i fremtiden, og hvordan andre (*host*Fastaval*host*) måske kan lade sig inspirere.

DSC_0153 (1)

Dancing with the Clans giver den gas til Ottofesten på Fastaval 2012, efter at have vundet Publikumsprisen og Juryens specialpris – Billede af Jacob V. Nielsen

Det er svært at uddele priser, for det bliver nemt subjektivt på den ene eller den anden måde. Ligeledes er evalueringssedler også meget subjektive. Men hvor det er godt at en evalueringsseddel er subjektiv (for vi vil gerne vide hvad den givne deltager syntes) er det vigtigt for en deltagerpris at den er retvisende for det man ønsker at hylde. Vil man gerne hylde de smalle (med få deltagere), de brede (med mange deltagere), eller vil man hylde begge typer af scenarier, og hvis ja, hvilket kompromis vil man så gøre? Vil man hylde de nye forfattere, de garvede forfattere eller de populære forfattere, eller måske noget helt fjerde? Dette er alt sammen noget man bør overveje når man laver en deltagerpris. Hvem er prisen til for?

Tilbage i 2013 havde man på Fastaval en deltagerpris som blev givet til det scenarie med den højeste, gennemsnitlige bedømmelse. Her blev udvælgelsen udskældt fordi den favoriserede de snævre scenarier, som næsten ingen havde spillet. Fastaval valgte at lave prisen om og fjernede bedømmelserne og brugte i stedet stemmesedler, hvor man kunne stemme på de scenarier man havde spillet. Men med dette mistede forfatterne en vigtig feedback fra deres deltagere. Nu var det ikke længere muligt at se hvordan oplevelsen havde været for de forskellige spillere, afhængigt af hvilke roller de havde spillet. Prisen var nu ændret fra at hylde det snævre, til de brede scenarier som kan trække mange spillere. Enten ved at være et blockbusterscenarie, som pga. setting eller genre kan tiltrække mange spillere, eller via populære forfattere, som mange vælger pga. deres renommé. Her måtte Fastavals andre priser give lys til de snævre scenarier igennem specialprisen o.lign. Men som det har vist sig før, er det ikke altid at Otto-dommerne er enige med deltagerne (som f.eks. vedr. Nantonaku Manga fra 2006, Nazisatankirkekrig 2: Unholy Raptor Edition fra 2011og Resan fra 2010 der begge vandt deltagerprisen, men ikke var indstillet til andre priser, før deltagerprisen ændrede sig til at bruge stemmesedler). Dette er sådan set også fint, hvis man blot er opmærksom på at man giver mindre lys til de scenarier som umiddelbart ikke falder i dommernes og spillernes smag, når de læser foromtalen eller formidlingen af scenariet, men som kan virke rigtig godt i praksis.

I den anden ende af landet havde Viking-con prøvet sig med at lave en pris uddelt af et dommerpanel. Men de fjernede denne og prøvede sig i stedet med en deltagerpris. Men hvis de valgte at køre med stemmesedler fra deltagerne, ville de risikere at to af deres faste typer af scenarier (Toon og Esoterrorists), altid ville vinde disse priser, eftersom disse altid kunne stille mange spilledere til rådighed, og havde mange trofaste spillere. Noget måtte gøre prisen afbalanceret mellem de snævre og de brede scenarier. Derfor valgte de i 2015 at fusionere stemmesedler med bedømmelser. Her brugte man en fem-trinsskala hvor kun de to højeste karaktere gav point. Trin 4 gav 1 point, og trin 5 gav 1,5 point. Her kørte man to priser. En for bedste rerun og et for bedste premiere scenarie. Dette virkede, måske især på den måde som de forskellige trin blev omtalt ved bedømmelserne (Skemaet bliver vist længere nede). Her vandt Brombærkrattets helte som premiere scenarie, hvor forfatteren valgte at køre sit scenarie i hver eneste blok, og My Little Pony – Ikke for starte sjæle vandt i rerun konkurrencen, hvor forfatteren havde fået fat i mange spilledere. Denne model fortsatte Viking-con med til og med 2018, men fjernede dog rerun prisen allerede i 2016 af hensyn til flere premiere scenarier. I 2019 valgte Viking-con nu en ny model, eftersom man ville prøve at gøre modellen endnu mere fair. Her valgte man at skifte tilbage til en gennemsnitlig bedømmelse, men hvor man brugte et vægtet gennemsnit i stedet for en seks trin skala fra 0-5. På den måde åbnede det muligheden for at snævre og brede scenarier kunne konkurrence mod hinanden uden det ville blive en unfair fordel at være i den ene eller den anden ende af skalaen. Denne model kan være sværere at gennemskue, og hvis deltagerne ikke selv kan forstå hvordan deltagerprisen bliver givet er den så meningsfuld i sig selv? Hvis man skulle være rigtig fair, burde man regne på normalfordelingen af bedømmelserne og gå amok med statistik og sandsynlighedsregning, men det ville blive så svært for den normale deltager at forstå, at det vil blive for abstrakt og virke meningsløst. Derfor valgte Viking-con at gå med en lidt mere enkel model hvor alle scenarier fik fem stemmer med en vurdering på 3 på skalaen. På den måde vil et snævert scenarie med fem spillere der får top karakter give et gennemsnit på 4, hvor et bredt scenarie skal have et gennemsnit over 4 for at kunne slå det snævre scenarie, men det snævre scenarie er ikke sikret at vinde deltagerprisen, selvom det kun har fået topkarakterer af deltagerne. Hvordan en sådan fordeling bør være, afhænger meget af hvor meget man vil støtte de brede eller de snævre scenarier. For Viking-con der i 2019 både kørte med en freeform pris og en system pris virkede det efter hensigten. Her vandt Paradox Freeform prisen, som var et bredt scenarie og nummer to blev Danger Zone – Chapter 1  der nok var connens snævreste scenarie (fordi det kun var forfatteren som kunne køre det). Hvordan disse priser og evaluerigssedler vil se ud i 2020 vides ikke endnu, men et er sikkert, de vil udvikle sig.

.

Stemmer vs. bedømmelser

Hvis man gerne vil have flere brede scenarier og hylde dem som skriver bredt, så underbygger stemmesedler rigtig godt dette. Disse er også meget nemmere at optælle end bedømmelser eftersom man blot skal tælle hvor mange der er i alt for et givent scenarie.

Stemmesedlerne kan man gemme og først vælge hvilke scenarier man ønsker at stemme på til sidst og dermed kan man holde de scenarier man har spillet op mod hinanden. Det sker dog at man glemmer at stemme, mister sedlerne i løbet af connen eller man bliver påvirket af andre deltageres meninger under connen. Hvorimod når man giver en bedømmelse bliver dette ens umiddelbare holdning til scenariet, lige efter man har spillet scenariet (på godt og ondt). 

Som det foregår i dag på Fastaval, bliver selve evalueringssedlerne givet tilbage til forfatterne, men selve stemmesedlerne bliver kun optalt af prisgiverne, og derefter kasseret. Forfatterne får ikke at vide om de fik nogen stemmer eller ej, hvorimod da man tidligere fik bedømmelser var disse en del af evalueringssedlerne og derved fik forfatterne denne ekstra feedback. 

Ved at bruge bedømmelser i stedet for stemmesedler får man et meget mere gradueret billede af, hvordan det er gået, som også forfatteren kan bruge konstruktivt bagefter. En stemme fortæller ingenting om hvorfor man stemte på det og giver intet konstruktivt til forfatteren. Dette kan måske løses til en hvis grad ved at give deltagerne mulighed for at tilføje kommentarer på stemmesedlerne, herefter bør disse også overdrages til forfatterne bagefter.

I forhold til at adskille bedømmelsen og feedback til forfatterne, så kan det være svært at vurdere hvordan deres oplevelse faktisk var ud fra feedbacken alene. Nogen har det med at fokusere på hvad der gik dårligt, selvom de har haft en god oplevelse, og andre har det med at fokusere på hvad der gik godt, når de har haft en mindre god eller decideret dårlig oplevelse. Her vil jeg vove den påstand at bedømmelser er vigtige for forfatteren, i forhold til at se hvordan det er gået med afviklingen af scenariet, i de forskellige grupper og blokke og blandt de forskellige karakterer.

Hvis man ikke afbalancerer bedømmelser ved at benytte en form for vægtning, vil bedømmelserne favorisere de smalle scenarier i en sådan grad at den vil blive urimelig over for de brede scenarier. Afbalanceringen bør laves ud fra normen af deltagere til et gennemsnitligt scenarie, men kan også laves med fordel til brede eller smalle scenarier afhængigt af hvad man ønsker som prisgiver.

Hvis man nu tænker, hvorfor ikke blot lave to priser og på den måde få i pose og i sæk. Så vil jeg ikke anbefale at man både har en pris på baggrund af stemmesedler og en anden vha. bedømmelser. Dette vil udvande begge priser, hvor onde tunger vil mene at den ene pris er bedre end den anden. Samtidigt vil det også skabe dobbelt bureaukrati for både deltagere og arrangører, og måske også forvirre mere end det vil gavne.

.

Historiske Evalueringssedler

Evalueringsskema, Feedbackseddel, bedømmelsesseddel, kært barn har mange navne. Herunder gennemgår jeg forskellige evalueringssedler, som har været brugt igennem tiden både på Fastaval og på Viking-con. Som det kan ses herunder har disse sedler ændret sig igennem årene og vil højst sandsynligt ændre sig i fremtiden også.

Fastaval 2013

På dette tidspunkt var selve bedømmelsen stadigvæk en stor del af evalueringssedlen, men man var begyndt at forholde sig til ordvalget. Dette betød dog at der ikke var meget plads til uddybning, og derfor var der mange som brugte bagsiden af sedlen til at tilføje ekstra kommentarer. Selve bedømmelsen er en 7-trinsskala med en median som gerne skulle ligge på 4,5.

bedømmelsesseddel FV 2013

.

Fastaval 2018

Her er navnet ændret til feedbackseddel (skete nok før 2018) og fylder nu to sider (både for og bagside). I stedet for bedømmelser er der nu særskilte stemmesedler (stemmesedlerne indføres allerede tilbage i 2014). Her har sedlen fået flere punkter og gjort international. Hvor gode folk faktisk er til at få vendt papiret og hvor mange af punkterne folk faktisk får udfyldt vil jeg ikke gøre mig klog på.

feedbacksedler Fastaval 2018 del 1

feedbacksedler Fastaval 2018 del 2

.

Viking-con 2015

Her kan man skrive sin evaluering både på et stykke papir eller via en internetformular. Det viser sig dog at internetformularen slet ikke bliver brugt, men evalueringssedlerne bliver elsket med små hjerter og andre fine tegninger, så internetformularen smides i skraldespanden året efter. Spillerne skal skrive deres tilmeldingsnummer på selve formularen, som kan benyttes til statistik og registrering af dobbelt bedømmelser. Her stemmer man igennem bedømmelserne, hvor kun de to højeste karakterer giver stemmer.

VC34 Evaluering 2015

.

Viking-con 2019

Her er bedømmelserne blevet ændret til stjerner omformuleret. Her er der er tilføjet et ekstra punkt mellem “Det fungerede fint nok” og “En rigtig god, og solid oplevelse”, eftersom der var flere deltagere som havde sat tidligere et kryds imellem disse eftersom springet var for stort. 

De nye regler og vægtningen af scenarierne er tilføjet nederst på skemaet.

VC38 Evaluerings skema 2019

Her vises en statistik over hvordan bedømmelserne bliver fordelt ud fra gruppering af deltagernumre. Her skal det nævnes at ingen har givet 0 stjerner i deres bedømmelse.
Det specielle ved Viking-con’s deltagernumre er at man beholder sine numre år for år. Dette betyder at deltagere med et højt nummer >12000, er nye deltagere og lave numre er deltagere som kom på Viking-con for lang tid siden. Her viser det sig at nye spillere er generelt mere positive end gamle rotter. Det skal nævnes at bedre statistik ville være at gruppere ud fra alder eller antal gange vedkomne har deltaget på viking-con.

Deltager nr 1 2 3 4 5 Grand Total
A <4000 15.22% 41.30% 28.26% 15.22% 100.00%
B <8000 2.56% 5.13% 25.64% 33.33% 33.33% 100.00%
C <12000 9.86% 28.17% 39.44% 22.54% 100.00%
D >12000 6.52% 23.91% 32.61% 36.96% 100.00%
Grand Total 0.50% 9.41% 29.70% 34.16% 26.24% 100.00%

 

~ af troelsken på 17. februar 2020.

Skriv et svar

Udfyld dine oplysninger nedenfor eller klik på et ikon for at logge ind:

WordPress.com Logo

Du kommenterer med din WordPress.com konto. Log Out /  Skift )

Google photo

Du kommenterer med din Google konto. Log Out /  Skift )

Twitter picture

Du kommenterer med din Twitter konto. Log Out /  Skift )

Facebook photo

Du kommenterer med din Facebook konto. Log Out /  Skift )

Connecting to %s

 
%d bloggers like this: