Musikmagi skapas med digital plattform
I fantasins värld beger sig en grupp förväntansfulla människor till stranden. Gruppen börjar röra sig och musik skapas – taktfast, mjukt eller livligt beroende på rörelsernas karaktär. Musiken uppstår i samspel mellan personerna som besöker ett centrum för daglig verksamhet och en digital plattform som just nu tas fram genom ett samarbete mellan Certec vid Designvetenskaper, Furuboda folkhögskola och Göteborgs stad.
Pernilla Daws – Publicerad den 11 juli 2023
För att visionen om den musikaliska resan till stranden ska bli möjlig behövs ett AI-verktyg som läser av kroppens rörelser, samt en hårdvara som kan processa informationen tillräckligt snabbt för att styra musiken i realtid. Bo Elovson Grey presenterade nyligen sitt examensarbete om datorseende (computer vision) – en viktig del som gör det möjligt att styra den digitala plattformen med hjälp av kroppsrörelser.
– Jag började med att leta fram en lämplig maskininlärningsmodell. Det är viktigt att den kan särskilja personer och deras kroppsdelar från annat som kan finnas i ett rum. Ett bordsben får ju inte misstas för en människas ben, säger han.
Flera avvägningar var nödvändiga i valet då maskininlärningsmodellen ska vara noggrann, men samtidigt snabb. Om ljuden spelas med viss fördröjning försvinner upplevelsen av att faktiskt styra musiken. Det har även krävts en hel del matematiska beräkningar för att omvandla modellens data till något som kan tolkas av den del av plattformen som styr musiken.
– Jag paketerade mina beräkningar och de skickas som "styrsignaler" till plattformen. Rörelserna kan antingen styra vilka ljud som spelas, förändra musikens tempo och tonhöjd eller påverka olika ljudfilter så att det exempelvis låter vassare eller mjukare, berättar Bo Elovson Grey.
Vid exjobb arbetar studenter självständigt och drar nytta av kunskaper de upphämtat under studierna och får även en inblick i hur det kan vara att arbeta med projekt i samarbete med företag, organisationer eller forskare.
– Jag har lärt mig vikten av att arbeta i korta pass med många tester som snabbt bekräftar vad som fungerar eller inte, säger Bo Elovson Grey.
I exjobbet har han kombinerat sitt intresse för kognition, användbarhet, interaktionsdesign och rehabiliteringsteknik, och tar med sig nya kunskaper som programmeringsspråk och maskininlärning, – men också en förhoppning:
– Jag hoppas att mitt bidrag till forskningsprojektet ger möjlighet för musikintresserade personer, som har svårt att hantera vanliga instrument, att kunna musicera själv eller tillsammans med en vän eller assistent.
Se den digitala plattformen användas
Bo Elovson Grey och John Säbom visar hur de styr musiken med hjälp av kroppsrörelser och ett AI-verktyg.
Om MISK-projektet
MISK är ett treårigt projekt som handlar om multisensoriska musikinstrument som gör det möjligt för personer med kommunikativa, kognitiva och fysiska funktionsnedsättningar att uttrycka sig musikaliskt och kommunicera med andra genom musik. MISK – som står för musik, interaktiv design, sinnesstimulering och kvalitet – bygger på en digital plattform där val av ljud och spelsätt individanpassas. Syftet är att göra det möjligt att delta i musikskapande genom MISK-instrumenten som erbjuder varierade och individanpassade uttrycksmöjligheter.
Arbetet inom projektet drivs av Göteborgs Stad Funktionsstöd tillsammans med Certec och Furuboda folkhögskola. Projektet finansieras av Allmänna arvsfonden.
Läs om MISK i forskningsportalen:
Musik, Interaktiv design, Sinnesstimulering, Kvalitet — Lunds universitet