Hva er multimodalitet?

Multimodale tekster
I multimodale tekster er meningen formidlet gjennom kombinasjoner av flere modaliteter. Modaliteter inkluderer skriftspråk, talespråk, og mønstre av mening (fem semiotiske systemer). Multimodale tekster kan være billedbøker, lærebøker, grafiske romaner, tegneserier, plakater. Digitale multimodale tekster kan være film, animasjon, lysbilder, nettsider. Levende multimodale tekster kan være dans, teater, muntlig fortelling

Definisjoner

Multimodalitet er å forstå hvordan mening konstrueres

Multimodal literacy er et begrep med en opprinnelse i sosial semiotikk, og refererer til studiet av språk som kombinerer to eller flere meningsformer

Sosial semiotisk tilnærming: en modalitet er de sosiale og kulturelle formede ressursene for å skape mening

Multimodalitet er tekster som kombinerer to eller flere av elementer som: ord, bilder, lyd og musikk

Multimodal literacyMultimodal literacy er et begrep med en opprinnelse i sosial semiotikk, og refererer til studiet av språk som kombinerer to eller flere meningsformer. Sosial semiotisk tilnærming: en modalitet er de sosiale og kulturelle formede ressursene for å skape mening. Språk- og literacy-praksiser har alltid vært multimodale, fordi kommunikasjon krever oppmerksomhet til ulike betydninger, enten det er talte eller skriftlige ord, visuelle bilder, gester, kroppsholdning, bevegelse, lyd eller stillhet. Multimodal tekstproduksjon har blitt en stor del av hverdagslivet for mange mennesker, på tvers av kulturer og samfunn. Det er vanvittig enkelt å produsere og dele digitale bilder, musikk, videospill, applikasjoner via internett. 

(Kilde: Kathy A. Mills & Len Unsworth. 2017. Multimodal Literacy. Oxford)

Hva er multimodale tekster?En tekst kan defineres som multimodal når den kombinerer to eller flere semiotiske systemer. Det er fem semiotiske systemer totalt:

1. Språklig (linguistic): ordforråd, generisk struktur og grammatikk i muntlig og skriftlig språk

2. Visuelt (visual): farge, vektorer og stillbilder og bevegelige bilder

3. Audio (audio): ovolum, tonehøyde og rytme av musikk og lydeffekter

4. Gestisk/gestikulasjon (gestural): bevegelser, hastighet og stillhet i ansiktsuttrykk og kroppsspråk (ikke-verbal kommunikasjon)

5. Romlig (spatial): nærhet, retning, plassering av layout og organisering av objekter

Eksempler på multimodale tekster:

En billedbok: Tekstlige og visuelle elementer er ordnet på individuelle sider som samlet er et sett med innbundne sider.

En nettside: Elementer som lydeffekter, muntlig språk, skriftspråk, musikk, stillbilder og bevegelige bilder kombineres.

En forestilling: Gester, musikk og det romlige er hovedelementene.

Multimodale tekster leveres/uttrykkes gjennom ulike medier og teknologier. De kan være direkte, på papir, digitalt, elektroniske.
(Kilde: Michéle Anstey & Geoff Bull. 2010)

Marte Blikstad-Balas om multimodalitet
En tekst kan ha verbalspråk, bilder og lyd (ulike modaliteter) for å skape mening. Skjermbaserte tekster er ofte sterkt multimodale. En dreining fra verbaltekst til bilde, der tekster har gått fra å være en språklig enhet til å bli en mer visuell enhet. Bilder erstatter skrift som den viktigste semiotiske ressursen. Tekstene vi leser består av stadig flere modaliteter, dette er spesielt tydelige i digitale tekster der lesing og skriving innebærer ikke-språklige prosesser som navigasjoner og visuelle symboler. Literacy på nett er i større grad multimodal, den som skriver har større muligheter, samtidig som den som leser får flere semiotiske ressurser å forholde seg til. Nettbasert literacy krever mer tolkning av leseren, fordi en må forholde seg til et samspill av modaliteter.
(Kilde: Blikstad-Balas, Marte. 2016. Literacy i skolen. Universitetsforlaget: Oslo)

Gunther Kress om multimodalitet

Overgangen fra side til skjerm har ført til større muligheter for å kombinere skriftlig kommunikasjon med andre modaliteter, for eksempel bilder, video og lydeffekter. Logikken i å skrive i en lineær sekvensiell form er erstattet med logikk i bildet – en romlig og synkron form der layout og plassering av modaliteter er like viktig som sekvens. Skiftet fra papirside til skjerm har ført til at den multimodale kommunikasjonen er dominerende. Skriftlige tekster samhandler med bilder, video, lyd, skrifttyper, størrelser, bakgrunn, og stiler samhandler for å skape mening i tekster. Dette endrer rollen til den skrevne teksten: den skrevne teksten er en del av den kommunikasjonen i stedet for å dominere den.

(Kilde: Kress, Gunther. 2003. Literacy in the new media age. London and New York: Routledge)

Paul Gee & Elisabeth R. Hayes om multimodalitet Begrepet multimodalitet er ikke noe nytt, tidlig skrevne manuskripter inneholdt illustrasjoner, eks Bibelen. Med boktrykkerkunsten ble det vanligere med multimodale tekster. Ord og musikk har blitt satt sammen av mennesker i all tid, men det digitale kan gjøre det på en ny måte. Dans, poesi, ritualer og musikk av grunnsteinen i antikkens Hellas. Multimodale tekster kan gi rom for bedre forståelse, men også muligheten til manipulasjon (reklamesammenheng).

(Kilde: Gee, Paul & Hayes, Elisabeth R. 2011. Language and Learning in the Digital Age. Routledge)

Maagerø & Tønnessen om multimodalitet Baldry & Thibault (2006): den trykte siden har de siste tiårene utviklet seg fra en lingvistisk til en visuell enhet. Før dominerte verbalteksten, nå er det sammensetningen av visuelle elementer og modaliteter som dominerer. Verbalteksten er ikke uviktig, men er en del av et meningsskapende system i samspill med andre systemer (de fem semiotiske systemene). Digitale tekster skaper mening på flere måter fordi mediet gjør levende bilder, lyd og hyperlenking mulig. Nyere tekstforskning ser at multimodale tekster skaper mening på flere måter, og gjennom flere modaliteter. Vi trenger andre meningsskapende ressurser enn muntlig og skriftlig språk. De multimodale tekstene formidles i stadig nye medier, samtidig som nye grupper slipper til for å uttrykke seg gjennom medier. Alle tekster er i prinsippet multimodale, i sosialsemiotikken er den tekstlige helheten primært: å se teksten ovenfra. De ulike modalitetene bidrar til å skape helhet, tekstens mening realiseres i samspillet mellom modalitetene. Å vurdere hvilke modaliteter som egner seg til å formidle det vi ønsker, er en del av multimodal literacy. En kan kjenne til potensialet i de ulike meningsskapende systemene. 

Kilde: Maagerø & Tønnessen, 2014)