BLAST-chef i stort interview: Derfor gik det, som det gjorde
Der er ingen tvivl om, at Nikolaj Nyholm har været en presset mand i løbet af weekenden, for som direktør og stifter af RFRSH er han også ansvarlig for afviklingen af BLAST Pro Series.
HLTV.org og Dust2.dk har i samarbejde lavet et stort interview med Nyholm dagen derpå, som er lavet på engelsk men senere oversat til dansk.
Heri vender vi blandt andet problemerne om fredagen, hvilke beslutninger der blev truffet, hvordan hans helhedsindtryk af afviklingen er, om eventet vender tilbage til København og meget mere.
Kan du gå igennem problemerne på dag ét og de beslutninger, I tog, som dagen skred frem?
For at starte helt fra starten, kom de fleste spillere allerede i tirsdags med flyver direkte fra Oakland. Alle holdene havde været der undtagen North - Astralis var jo nødt til at tage hjem lidt tidligere fra eventet, så de havde tilbragt nogle dage hjemme. Vi havde tre af holdene her på RFRSH kontoret, hvor vi sidder nu, for at træne i vores lokaler. Onsdag aften sætter vi træningslokalerne på hotellerne op, og først torsdag får vi faktisk adgang til arenaen. Onsdag aften var der Queen koncert, og de havde brug for at demontere alt, og scenen kunne derfor først blive bygget fra torsdag morgen. Vores format bød på to runder i round robin gruppen om fredagen, og set i det lys ville vi spille runderne et mindre sted. Vi havde oprindeligt tænkt på at gøre det et helt andet sted end i arenaen, og det overvejer vi stadig for fremtiden, men vi skal naturligvis have vurderet, hvordan man gør det bedst - gør vi det i et studie et eller andet sted, lejer vi en biograf med plads til tusind fans, eller gør vi det som en mindre del af en arena oplevelse. Men nu endte vi på tredje sal af arenaen, så ikke i hovedarenaen, hvilket nogle af de mennesker, der så den første del af streamen, selvfølgelig kunne se. Vi kunne faktisk se arenaen derfra, men vi var ikke derude, de byggede stadig på gulvet. Vi havde sat de seks spiller-booths op der sammen med admin faciliteter til Graham (messioso red.) og hans team af admins.
Hvad der sker i starten er: Efter ca. to runder begyndte vi at se CPU-spikes på serverne, hvilket selvfølgelig resulterer i lag blandt spillerne. Vi går igennem den første server, vi går gennem backup serveren, vi sætter faktisk ingen i gang på den, men da vi havde hold logget ind for en slags opvarmning, begyndte vi at se de samme CPU-spikes igen. Vi bruger en tredje server, denne gang PGLs server, samme problemer, og endelig beslutter vi os for at spille det uden produktion på FACEIT-servere. Holdene forbinder til serverne og kommer i gang, og der er ingen problemer overhovedet, og pludselig, efter ca. 1-4 runder afhængigt af hvilken kamp, går alt sammen på én gang. Spillernes forbindelser til FACEIT-serverne forsvinder simpelthen. På samme tid er admins' forbindelse til serverne stadig intakt, så det har absolut ingenting at gøre med FACEIT-serverne, de kører, som de skulle, og vi er selvfølgelig super, super glade for, at de er i stand til at stå for dette. Så det eneste, vi kan konkludere på det tidspunkt, er, at vi har en slags forbindelsesproblemer.
For dem, der er teknisk interesseret, er spillerne på samme fysiske switch som admins men på en anden VLAN. Af sikkerhedsmæssige grunde havde vi oprettet en separat VLAN, så vi kan styre spillernes adgang til resten af netværket, men også spillernes adgang - i tilfælde af at vi pludselig spiller på offentlige internetservere - til andre websteder. Og selvfølgelig har admins brug for fuld adgang, så de blev oprettet på et separat VLAN, og det er spillernes, der crashede. VLAN med admins er stadig i drift på det her tidspunkt. Hvad der præcist skete der, diagnostiserer vi stadig. Uanset om det her er en dårlig forbindelse, uanset om det er et hardwareproblem, er logfilerne blevet sendt til Cisco til revision lige nu, men problemet er, at vi faktisk ikke rigtig kan teste helt, hvad der skete siden da. Vi var nødt til at fjerne alle computere, alt udstyr, alle kabler, da dette var et område, hvor fansne skulle være en halv dag senere, lørdag formiddag.
Vi beslutter at rykke de første kampe til lørdag formiddag i stedet for at have spillerne til at blive og vente på, at der sker noget, hvilket giver os god tid til fuldt ud at teste opsætningen i arenaen og være sikre på, at vi har ekstra backup på netværkssiden og fortsætter med at teste, hvad der sker, så vi kan fjerne alle de risici, der kan opstå overalt på netværket. Så vi sender alle spillerne hjem til hotellet, som heldigvis er lige rundt om hjørnet fra arenaen, så de får lidt søvn.
Jeg gætter på, du ikke fik meget søvn bagefter?
Jeg fik absolut ingen søvn. Jeg har sovet et par timer i aftes (mellem lørdag og søndag red.), og jeg er meget taknemmelig for det, men nej, af respekt for spillerne og især for fans, tror jeg, det langt fra er en ideel start for enhver turnering. Og endnu værre når du er ny, endnu værre når du gør noget på en ny måde, og det faktum, at vi spiller tre kampe samtidig, giver selvfølgelig et større pres på serverne, netværket osv. Formatet løser visse problemer, fx at spillerne ikke skal skifte computere overhovedet, men selvfølgelig kan de andre turneringer også gøre det. En af de ting, som der ikke var nogen problemer med, var computere, drivere mv., som spillerne ofte klager over under andre omstændigheder, når de skal bruge computere, der er blevet brugt af andre spillere, og de bytter SSD'er, er der stadig nogle hardware problemer. Så hvad vi gør er, at vi går ned for at teste alle 30 spiller-computere, der kører i arenaen, som i øvrigt ikke er de samme pc'er, der blev brugt tidligere. Til dette event havde vi i alt 80 computere, to gange 30 til spillerne og så yderligere 20 som en kombination af backup og et par admin-pc'er. For os var det vigtigste i løbet af fredag aften til lørdag morgen to elementer, diagnosticere problemer og finde ud af nogle af de ting, vi var bekymrede for.
Først og fremmest troede vi - og det var også derfor, vi sendte to forskellige meddelelser ud - at det var serverproblemer. I slutningen konkluderede vi, efter at have gennemgået de tre sæt servere og FACEIT-serverne, at det faktisk ikke var serverproblemer, men at det var netværksproblemer. Intet af netværkets hardware fra 3. sal kom nedenunder, det var helt separate netværk, der aldrig rørte hinanden. Vi skulle oprindeligt bruge hardware fra 3. sal til backup i arenaen, men vi skaffede helt separat hardware, så denne risiko blev fjernet. Vi har gennemgået alle risikofaktorer på vores servere, og jeg tror, at mange serveradministratorer sikkert ved, at GOTV kan være noget af et svin i forskellige situationer, og vi måtte endda køre flere GOTV sessioner for at give forskellige delays til de forskellige operatører.
For eksempel havde vores bettingoperatør brug for adgang til data hurtigere, end hvad der bliver sendt af GOTV til nogle af vores Twitch-partnere for eksempel. Vi fjernede det, hvilket betyder, at bookmakeren selvfølgelig mister de penge, men i det mindste fjernede vi det som en ekstra risiko. De kunne ikke længere få adgang til data hurtigere, end andre udbydere. Vi så meget på demooptagelsen i hukommelsen, som vi også følte var en risiko, og vi besluttede faktisk ikke at lave demooptagelserne, hvis vi skulle køre vores lokale servere. Endelig stresstestede vi netværket med CS:GO, der kørte på alle 30 computere, der alle var forbundet til serveren og alle sammenkoblet med eksterne servere, hvilket betyder private servere på FACEIT, og til sidst besluttede vi, at turneringen skulle køre med FACEIT-serverne. Selvfølgelig er vi taknemmelige for, at FACEIT ville give os servere, det var hele tiden meningen som backup, men vi besluttede faktisk at bruge det som vores primære servere. Og grunden er også, at vi havde under 10 millisekunders ping til FACEIT serverne hele tiden. PGL, der lavede produktionen i spillet, havde tillid til, at det var mere end tilstrækkeligt for dem - selvfølgelig havde vores eget netværk under sub-millisekunders ping, det ville være endnu bedre, men det var den løsning, som vi ikke følte ville give os nogen problemer overhovedet på serversiden.
Det er dybest set, hvad der skete, og jeg må erkende, at det ikke var før kl. 4:45 lørdag morgen, at jeg følte mig selvsikker, da vi havde diagnosticeret os ud af ethvert spørgsmål, som vi følte kunne ske. Fra omkring kl. 5 satte vi os sammen og lavede den nøjagtige plan af primære servere, sekundære servere, tertiære servere og sammen med Graham satte jeg mig ned og lavede planen for lørdag på backup løsninger, og hvordan vi skal drive det. På serverne på vores eget netværk fjernede vi faktisk demooptagelsen, vi informerede vores spilpartner om ændringen i deres evne til at få data og så videre. De første spillere, NiP, dukkede op om 9:00 lørdag morgen for at begynde at sætte op, mens rengøringspersonalet og tømrere osv. stadig færdiggjorde de sidste ting på scenen.
Er du tilfreds med, hvordan dag to gik samlet set?
Absolut, der var intet fra dag ét, der skete på dag to, så der var ingen server eller netværksproblemer overhovedet. Vi er helt klar over, at der var nogle små fejl i produktionen i spillet, der ramte streamen, det hele relaterer til HUD og så videre. Jeg må give PGL kredit for, at de også brugte tid fredag aften på at diagnosticere server- og netværksproblemer, som de sandsynligvis skulle have brugt på at afslutte de sidste ting til den faktiske produktion lørdag. Så det er spill-over-effekten, og andre spill-over effekter var mandskabet, der gik hjem senere - Graham fik sine admins til at sove om natten, så vi ikke havde zombie-lignende mandskab om lørdagen.
Dette er vores første event, stort eller lille, nogensinde. Det eneste, vi nogensinde har gjort før, er, at vi har et FirmaCS-hold her, der spiller i en firma-liga i Danmark, og engang imellem streamer de for sjov. Så bogstaveligt talt var det vores første event, og vi vidste, at der skulle være ting omkring formatet, vi vidste, at der skulle være ting omkring produktionen, men jeg må sige, at vi ikke forudså fredagens type problemer omkring produktionen, men vi forventede lørdagens type problemer. Vi går igennem alt, teamet sidder her allerede nu og går igennem alt til næste begivenhed, så længe det er så frisk som muligt i vores sind.
Så I laver tiltag for at undgå, at den slags sker igen?
Absolut. En af de åbenlyse fejl, som jeg vil indrømme, at vi lavede, var, at vi ikke bad alle 30 spillere om at komme til arenaen og afprøve tingene på forhånd. Hvad de kan forvente i fremtiden er, at de skal møde op, vi skal sandsynligvis simulere omkring et halvt map, og vi skal også simulere cirka et halvt map på FACEIT-servere for at sikre, at alt er i orden. Du kan scripte dig ud af meget test, hvilket altid vil være lidt anderledes, når vi pludselig har en anden FACEIT-klient log ind fra et andet sted. Jeg må indrømme, at der var et server-side problem lørdag, som var noget med FACEIT Anti-Cheat klienten. Det var under den første kamp, og det var det eneste, vi så på server-siden om lørdagen, men det blev ordnet inden for 30 sekunder.
Som du selv siger, var dette jeres første event og jeres første forsøg på Counter-Strike scenen. Hvad vil du sige, I kan tage med fra det første BLAST og videre til fremtidige events?
Vi har en masse ting på produktionssiden, vi gerne vil forbedre. Det er interessant, at der faktisk var en masse Riot-folk i publikum, og en af kommentarerne fra dem, som jeg også tror er korrekt, var, at lysstyrken var for lav i nogle dele af spillet. Det er mindre ting så som, hvilke kameraer vi bruger på hvilke tidspunkter. Jeg var personligt utilfreds med, at vi ikke så spillernes indgang i arenaen på den store skærm, det var faktisk på de små skærme, men det er mindre ting, som tv-produktionen skal arbejde med.
Af vigtigere ting er der: Skal vi caste kamp B og C fra arenaen? Hvis du er i arenaen, og du ser alle tre streams på samme tid, men du primært følger kamp B, er det ikke rigtig noget problem, at der kommer lyd fra publikum, når der sker noget i kamp A. Men når du ser stream - og det er nogle af de ting, jeg har set på Twitter - og følger kamp B, men publikums reaktion er ud fra kamp A, det er ikke optimalt, så selvom det var rigtig cool at have alle tre til at caste på scenen, tror jeg, der er et spørgsmål om, hvorvidt vi skal have dem ind bagved i et studie.
Jeg tror, vi skal lave en ærlig vurdering af fredag. Jeg må sige, vi diskuterede, om vi skulle tage fredag som lineære kampe i stedet for tre kampe på samme tid. Vi besluttede at gå med de tre på samme tid som en generel øvelse til lørdag på den tekniske side. Og jeg er virkelig glad for, at vi gjorde det, for ellers havde vi måske ikke problemerne, og hvis de var sket lørdag, ville det have været endnu mere skadeligt, end det var fredag. Vi ville ikke have tid til at ordne det - nu havde vi i det mindste natten mellem fredag og lørdag. Dette er nogle af de ting, vi kommer til at sætte os ned med. Al feedback fra kommentatorerne osv. kommer tilbage gennem Anders, som kommer til at sidde sammen med os alle senere på ugen eller tidligt i næste uge. Jeg læser så meget som muligt på Twitter, jeg ved, at der er nogle mennesker, der er meget utilfredse om fredagen, og det tages med til lørdagen, men jeg tager alt som konstruktiv feedback, herunder for eksempel den ting jeg nævnte før, hvor vi kommenterede fra, jeg synes det er et super legitimt spørgsmål.
Men jeg må sige, at vi er fast besluttede på, at vi i det mindste om lørdagen har den her opsætning med tre kampe på samme tid, selvom nogle fans er skuffede over, at de ikke kan se alle kampene. Jeg så en person, jeg tror, det var lurppis, skrive for et par dage siden, at du får den bedste kamp at se på ethvert givent tidspunkt. Og det er for mig, som er noget mellem en stor fan og en mindre fan, en god oplevelse. Jeg har ikke spillet noget seriøst siden Half-Life, så det er meget lang tid siden, men på den anden side er jeg ikke en, der dukkede op i går.
Jeg skal sætte mig ned og se vores forskellige partneres produktion, jeg læser mange positive kommentarer om, hvordan DR, det nationale tv-selskab her i Danmark, gjorde. Jeg ved, mine forældre så det, jeg skal spise middag med dem i aften og spørge dem om det. Jeg brugte meget tid på at sidde nede blandt publikum og bare gå ind på tomme sæder og se fanreaktioner. Jeg kan læse Twitter kommentarer senere, men jeg kan kun se fan reaktionerne under eventet og også stille dem spørgsmål. Nogle af dem undrede sig virkelig "Hvem er denne underlige fyr?", vi danskere er ikke altid gode til at interagere med hinanden, "hvorfor kommer denne fyr og stiller mig spørgsmål om dette?". Men jeg fortalte dem først efterfølgende, at vi simpelthen indsamlede feedback på arrangementet. Jeg er super tilfreds med det overordnede udtryk, den feedback, vi har fået fra spillere og fans, og vi ved, at vi kan forbedre os, vi kan altid forbedre os. Vi vil ikke være arrogante, vi ved, at vi gør ting anderledes, og det kan ikke være for alles smag. Vi forsøger i det mindste at være tro mod spillet, og så kan du selvfølgelig være uenig i, hvordan vi laver vores faktiske produktion.
I betragtning af den risiko du tog om, hvor anderledes BLAST var i forhold til noget andet, føler du dig så glad for, hvordan tingene endte med at gå?
Jeg må sige, fra et generelt produktperspektiv, ja. For udførelsen fredag får vi et absolut 0, vi kan endda få minus for at trække den ud så længe. Måske burde den beslutning have været truffet tidligere (Om at sende holdene hjem red.). Det er en beslutning, som jeg i sidste ende tog, og efter, at beslutningen blev truffet, snakkede jeg med coaches og IGLs fra de forskellige hold, og de stemte også om, hvordan man skulle udføre tingene om lørdagen. På produktsiden tror jeg, vi er på rette vej.
Kan du afsløre noget om, hvad fremtiden byder på? Hvad er planerne for 2018?
Jeg kan sige så meget som, at vi har en mulighed i København i november, vi har mulighed for Royal Arena igen. Vi skal indlede en dialog med dem, vi skal starte en dialog med de forskellige parter, der var involveret i produktionen, fordi vi selvfølgelig har brug for økonomien for at få det til at fungere. Både de partnere, der var i denne produktion, sponsorere, og dem, der besluttede at komme og se og sikre, at vi virkelig kunne udføre det første event.
Vi har et møde med DR om deres rolle næste år, jeg tror, at de kan spille en endnu større rolle på nogle dele. Og så kan jeg sige så meget, at vores administrerende producer allerede sad med to byer og fordelingen af hold klokken 11:45 søndag, hvor vi lavede planen for 2018. Vi havde embedsmænd fra 14 byer globalt, der besøgte denne begivenhed, alle sammen med hensigt på at arbejde sammen med os i 2018 eller 2019, og som virkelig brugte arrangementet til at evaluere produktet. I slutningen af dagen vidste de, at det skulle ske, og derefter evaluerede de vores udførelse af produktet. Så ja, tre til fire arrangementer næste år.
Jeg tror, at en af de ting, vi også anmoder om fra byerne, er flerårig engagement. Jeg har over 20 e-mails i min indbakke i morges fra folk, der spørger, om vi kommer tilbage i november, og hvornår forsalg åbner. Vi ønsker at være noget årligt tilbagevendende, for jeg synes, det er super vigtigt for opfattelsen af esport, at kontinuitet og regelmæssighed er en ting. Det er noget, som alle er sultne efter. Spillerne vil gerne kende deres skema i god tid, det gør de ikke rigtig i dag, og fansene vil gerne vide, hvilke hold der kommer.
Hvis vi bare ser på billetsalget, og selvfølgelig kigger vi på faktureringsadressen, vi kan dog ikke afgøre, om folk er rejst her til arrangementet, eller om de alligevel var i København, eller om de har et udenlandsk kort og bor her, men vi havde kreditkort fra over 26 nationer, der blev brugt på Ticketmaster.
Hvad var den fjerneste nation, som blev faktureret?
Det er Australien, men faktisk tror jeg, at jeg er mest stolt over at vide, at folk, der havde Thanksgiving i USA, rejste til København for at se BLAST Pro. Det vil svare til for de fleste europæere, at de rejser i julen for at se en turnering i USA eller i Sydafrika...
Hvis du har noget andet, en sidste udtalelse eller en besked til fansene, er det nu.
Jeg vil gerne give en undskyldning for fredag. Jeg er også ked af, at jeg ikke kom på streamen eller noget for at forklare situationen mere dybdegående - jeg må sige, at da jeg stillede mig op på den stol for at fortælle spillerne, at vi skulle udsætte indtil lørdag, havde jeg omkring en million forskellige muligheder, der fløj gennem mit hoved om, hvad der faktisk var sket. Lige der var det først og fremmest en beslutning om at rykke det til lørdag, og så tilbragte vi hele natten med det, så jeg skulle nok have talt med dig lørdag formiddag og givet dig historien på det tidspunkt. Men samtidig lettede mit hjerte først, da den første kamp var live om morgenen uden publikum, og så endelig da kampene var live kl. 14 om eftermiddagen.
Så vil jeg takke alle de mennesker, der har sendt os konstruktive kommentarer, jeg vil gerne takke spillerne, der helt sikkert har været en støtte. Jeg fik et knus af kennyS efter at have fortalt ham, at han ikke skulle spille fredag aften, og han fortalte mig "det er okay, vi forstår det, vi har været igennem dette før." Og så tror jeg, jeg vil takke Semmler og hans besætning for at padle, padle, padle og padle. Hvis jeg kunne lave en padle med guldblad, hvilket er hvad trofæet blev lavet af, ville det være, hvad Semmler modtog i aftes. Jeg synes, det er en helt fantastisk gruppe mennesker omkring dette, mine kolleger har kæmpet røven ud af bukserne for at få det til at ske, og jeg er også taknemmelig over for dem.
Det var RFRSH-direktørens, som også står bag BLAST Pro Series, udlægning af sagen, og forhåbentlig får de rettet op på fejlene til 2018, hvor vi altså kan se frem til tre til fire events og nok også et i København.
