MusicRedesign
Komponist med fokus på adaptiv musikk som fremhever historiefortelling og eksperimentering av auditiv persepsjon.
"Why do we still hear music in stereo, when we have access to a head-tracking VR device? There is a lot of new emerging VR and audio technology, but like any other invention, there is a need for exciting up to date content to match these new technologies.
This research portfolio deals with new perspectives on musical experiences in virtual environments through the exploration and development of creating immersive adaptive music for a visual medium. The research is addressing the problem: what role does music for visual media have today."
This portfolio highlights the importance of how compositional exploration, learning, networking and collaboration of various disciplines contributes to the outcome of the music and its process and thereof this research.
Musikk i Extended Reality
Av Sigrid Anita Haugen
Dato: 31.03.2023
musikere med prestasjonsangst.[2] En pianist kan i denne applikasjonen øve foran et virtuelt publikum i et trygt miljø. Grand Reality: VR Piano App, er en AR-applikasjon hvor en person lærer seg å spille piano ved at virtuelle animasjoner legger seg over det som kameraet i et VR-headset plukker opp fra de ekte omgivelsene rundt spilleren.[3] Spilleren kan dermed øve på et ekte piano hjemme og se atfingerøvelser, notenavn og akkordprogresjoner blirprosjektert på pianotangentene.
Som underholdning i XR kan Maestro VR nevnes, der musikkinteresserte kan prøve seg på å dirigere et virtuelt orkester.[4] Brukeren ser et virtuelt mønster som de følger med en VR-kontroll i hver hånd, mens tempoet kan man velge selv. Disse tre eksemplene er kreative og viser et sterkt samhold mellom forskning, kunst, og bruken av virtuell teknologi. Dette er nevnt i artikkelen «Audio-first VR: New perspectives on musical experiences in virtual environment» (2020):
«Fordypning og tilstedeværelse er ikke bare
teknologiske prestasjoner basert på pikseltetthet
og bildefrekvens, men krever også nye
tverrfaglige forskningsretninger som omfatter
kognitiv psykologi, persepsjon, kunst, design,
vitenskap og filosofi.»[5]
I den senere tid har nye oppfinnelser økt eksponentielt innen kunst og vitenskap. Opp-finnelser innen både maskinvare og programvare har ført til det vi i dag kaller Virtual Reality (VR), som en gang var inspirert av arkademaskiner fra 1980-tallet og som i dag er en type teknologi som konstruerer tredimensjonale virtuelle omgivelser sett gjennom et VR-headset. Etterfulgt av Augmented Reality (AR), som er en type teknologi som brukes på en mobil enhet med et innebygget kamera, der kameraet filmer omgivelsene i sanntid fra den ekte verden og legger et virtuelt materiale over det kameraet plukker opp. Samt Mixed Reality (MR), som er en type teknologi på et større plan der virtuelle omgivelser og materialer prosjekteres som tredimensjonale hologrammer i et større lokale. Disse tre oppfinnelsene danner det som kalles en virtuell virkelighet, og har fått paraplybegrepet Extended Reality (XR).[1]
XR er i dag ofte brukt på tvers av flere ulike virk-
somheter innen opplæring, utdanning og under-
holdning fordi teknologien lar brukerne oppleve og lære situasjoner på et utvidet menneskelig plan.
Tre eksempler på bruk av XR i musikk er PIANX, som er en MR-applikasjon som hjelper
[1] Marr, B. (2022) «What is extended reality technology? A simple explanation for anyone, Forbes.» Forbes Magazine. Netteside:
[2] Fanger, Yara & Pfeuffer, Ken & Helmbrecht, Udo & Alt, Florian. (2020) “PIANX – A Platform for Piano Players to Alleviate Music Performance Anxiety Using
Mixed Reality”, p.267-276
[3] Grand reality : VR Piano App på Sidequest (2020). Netteside: https://sidequestvr.com/app/476/grand-reality-vr-piano-app
[4] MaestroVR. (2022) Netteside: https://maestrovr.com/
[5] Çamcı, Anıl & Hamilton, Rob. (2020). “Audio-first VR: New perspectives on musical experiences in virtual en vironments”, Journal of New Music Research. s. 1-7.
Ved kreativ bruk av XR-teknologi, kan tverrfaglige samarbeid fremme kunnskap på en inspirerende måte, eller utvikle nye verktøy som kan være nyttige ressurser for samfunnet. Det har derfor vært en økning i narrative og teknologidrevne verksteder for å hjelpe artister, kunstnere, forskere og utviklere med å samarbeide i å møte utfordringene ved å skape en XR-opplevelse. Tre eksempler på slike type verksteder er 1: Off-Piste Lab VR,6 som er et samarbeid mellom Den norske filmskolen og Norsk filminstitutt, 2: European Creators Lab,[7] som er et initiativ fra XR HUB Bavaria i samarbeid med støtteordningen
Creative Europe Media og 3: Sibersalz AI Media Lab,8 som holdes av Europas største AI-konsortium kalt Cyber Vally.
Selv om disse verkstedene hovedsakelig fokuserer på visuelt innhold og teknologi, kan man fra et musikalsk perspektiv være med på å bringe inn en musikalsk filosofi og design rundt hvordan publikum oppfatter og bruker musikk. Dette hjelper til med å forbedre lydkvalitet, persepsjon, tilgjengelighet, plattformer, digital instrument- design, komposisjoner, konserter, og utvikling av brukervennlige digitale utdanningsmetoder.
Lydkvalitet og persepsjon er i dag et veldig om- diskutert tema i digital musikk. Lydkunstnere og utviklere kommer stadig opp med elektroniske verktøy slik at musikken kan romliggjøres, og oppfattes i likhet med det ørene registrerer av volum, frekvens, tid og posisjon. Dette har vært en pågående prosess helt siden slutten av det 19. århundre med den franske oppfinneren Clément Ader (1841–1925), som oppfant det første lydsystemet kalt Binaural Audio som i dag
defineres som 3D-lyd.9 Dette er et verktøy som i stor grad kan brukes av komponister som jobber med såkalt akusmatisk musikk, som vil si å komponere musikk for høyttalere. Dette åpner for nye lydrelaterte kunstarter.
Denne teknologien har så utviklet seg videre gjennom noe som heter Head-Mounted Displays (HMD), som er et system i et VR-headset som registrerer hodets bevegelse i sanntid. Til forskjell fra Binaural Audio der lydbildet følger hodebevegelsen i et par høreklokker, kan en som bruker et VR-headset bevege hodet fritt uten at lydbildet er låst til hodebevegelsen. Dette brukes ofte i musikkvideoer, slik at lytteren får en mer oppslukende lydopplevelse av musikken.
Et eksempel er det britiske orkesteret Philharmonia Orchestra (2014), som gjorde et film-opptak i 360° for VR slik at publikum kunne oppleve å være i sentrum av et orkester mens de spilte Beethovens femte og Mahlers tredje symfoni.[10] Publikum fikk derfor en mer intim opplevelse av orkesteret og den musikken som ble spilt. Dette har også vært gjort hos andre ensembler og musikere som blant annet artisten The Weeknd med musikkvideoen Hills remix feat. Eminem (2015)[11], Elton John med Farwell Yellow Brick Road: The Legacy (2018)12, Björk med Stonemilker (2015)[13], og flere andre.
Musikkvideoer i VR er en smart løsning på å skape en oppslukende konsertopplevelse for et publikum. Med HMD-teknologien i et VR-headset kan en bruker interagere med et virtuelt innhold ved å kunne bevege seg rundt i et begrenset område. Lytteren kan dermed observere musikerne ved å bevege seg nærmere den individuelle musikeren i
[6] Off-Piste Lab VR (2021). Nettside: https://filmskolen.no/artikler/2021/off-piste-lab-hackaton-2021
[7] European Creators Lab (2017). Nettside: https://european-creators-lab.com/
[8] Sibersalz AI Media Lab (2021). Nettside: https://cyber-valley.de/en
[9] Mattana, A. (2017) The history of Binaural Audio, part 1: The first experiments, 1881-1939, LinkedIn. Nettside: https://www.linkedin.com/pulse/history-
binaural-audio-part-1-anthony-mattana/
[10] Immersive (2014) Philharmonia. Nettside: https://philharmonia.co.uk/what-we-do/digital-immersive/immersive/
[11] The Weeknd (2015) Hills remix feat. Eminem. 21.Oktober 2015 Nettside: https://www.youtube.com/watch?v=2fhjdtQDcOo
[12] Act, E.J.T. (2018) Elton John Video: Elton John - Farewell yellow brick road: The legacy (VR360) Elton John Tribute Act UK. Nettside:
https://www.eliteelton.com/elton-john-video-elton-john-farewell-yellow-brick-road-the-legacy-vr360/
[13] Dawood, S. (2016) Björk Digital: Bringing music to life through virtual reality, Design Week. Nettside: https://www.designweek.co.uk/issues/29-
august-4-september-2016/bjork-digital-bringing-music-life-virtual-reality/
det virtuelle landskapet sett gjennom et VR-headset.
I eksemplene nevnt ovenfor er denne type bruk av VR en smart løsning på å markedsføre en artist eller et ensemble. Teknologien kan også utforskes som et komposisjonsverktøy ved å eksperimentere med fysiske bevegelser av musikken, i samråd med lytterens bevegelser. I slike tilfeller kan en også eksperimentere med dybde, dramaturgi, form og interaksjon.
Et eksempel på en komposisjon der VR er brukt
er Trois Machins de la Grâce Aimante (2019) av den amerikanske komponisten og utvikleren Rob Hamilton.[14] Det er en komposisjon for en stryke- kvartett, hvor utøverne bruker et virtuelt stryke- instrument som er konstruert for VR, og som er kalt Cortet. Dette instrumentet er konstruert ved å kombinere interaksjonsteknikker fra spilldesign og tradisjonelle instrumentbyggingsmetoder. Cortet gir utøverne en følelse av kognitiv og haptisk kontroll i VR mens de spiller under en fremføring. Dette er et eksempel på et kunstnerisk utviklings- arbeid som undersøker hvordan en utøver interagerer og oppfatter å spille på et strykeinstrument i et virtuelt miljø. I dette eksemplet er det ikke nødvendigvis rettet fokus på kvaliteten av lyd, men heller interaksjonen mellom instrumentet og utøveren under en fremføring.
Når det kommer til live-opptredener og konserter har også kjente artister utforsket mulighetene med XR-teknologi. Da det svenske bandet ABBA utga en ny CD i 2021 med tittelen Voyage, var dette en introduksjon til en konsertopplevelse hvor Mixed Reality ble brukt slik at bandet kunne holde
musikken levende på en ny måte. En egen arena i London ble designet, spesialbygget og dedikert til ABBA, kalt ABBA Arena, hvor denne konserten kunne spilles gjentatte ganger med bruk av holografiske projektorer.15 Disse holografiske projektorene viser virtuelle animasjoner kalt ABBAtarer, med de fire bandmedlemmene slik de så ut i 1977.
På scenen sammen med ABBAtarene, stod også ti ekte musikere og spilte. I dette eksempelet eksperimenteres det med kombinasjonen av virtuell teknologi og live-underholdning. Kombinasjonen av et kjent band og innovasjonsrik teknologi gjør at publikum strømmer til. I denne konserten er de tydelige på at det ikke er en live-konsert, men at publikum får en storslagen opplevelse med en kombinasjon av fortid og nåtid. Opplevelsen vekker minner, men den peker også mot at verden alltid vil være i en utvikling. XR- teknologi er dermed kommet langt i sin utvikling og fungerer bra som et verktøy for større konserter.
Eksemplene nevnt ovenfor er bare noen rent tilfeldige eksempler på musikalske prosjekt som baner vei for en musikkindustri i utvikling. At teknologien i dag er overveldende og vanskelig
for den enkelte kunstner, kan mange si seg enig i. Disse eksemplene dreier seg stort sett om musikk, men kunne ikke vært mulig uten hjelp og samarbeid med andre kunstnere, forskere, utviklere og arrangører. Forhåpentligvis blir det flere verksteder og kurs innen XR-teknologi som lar ulike disipliner samarbeide og lære sammen.
[14] Coretet / Trois Machins de la Grâce Aimante (2019). Youtube: https://www.youtube.com/watch?v=Y0FsHBMfdwM
[15] Abba Voyage Official Website - 2023 ABBA concert in London (2021) ABBA Voyage. Nettside: https://abbavoyage.com/
