Henkilöhahmot multimodaalisessa kerronnassa – tapaustutkimus kuvakirjan visuaalisesta kielestä ja karakterisaatiosta // Characters in multimodal storytelling: a case study on visual language and characterization in a picture book

Abstract

Multimodaaliset tekstit kuten kuvakirjat ja sarjakuvat ovat taiteellisen ilmaisun muotoja, joiden kerronnassa kietoutuvat yhteen kuva, sana ja ääni, eli ne rakentuvat visuaalisen, verbaalisen ja auditiivisen moodin yhteisvaikutuksessa. Kuvakirjalla ja sarjakuvalla on paljon yhteistä: molemmat sisältävät paitsi kuvia ja kirjoitettua tekstiä, myös erilaisia visuaalisen kielen keinoja: ääniefektejä, tekstilaatikoita, puhekuplia, eleitä, ilmeitä ja asentoja. Nämä keinot vahvistavat sanan ja kuvan kertomaa tarinaa. Auditiivinen moodi käynnistyy vasta lukutilanteessa, jolloin lukija ikään kuin kuulee graafisesti esitettyjä ääniä. Lukija siis kokee kerrotun kertomuksen visuaalisesti, verbaalisesti ja auditiivisesti. Tämä prosessi saa lukijan uskomaan tarinaan ja ymmärtämään, millaisia siinä esiintyvät henkilöhahmot ovat. Tutkimme artikkelissamme sitä, miten henkilöhahmot rakentuvat multimodaalisessa tekstissä ja sen käännöksessä. Tutkimuksen aineistoesimerkit ovat kuvakirjasta Kettu, Pöllö ja punainen pallo.

Multimodal texts such as picturebooks are forms of artistic expression communicating through the combination of the modes of the verbal, the visual and the aural. Picturebooks are not far removed from comics: they both include not only images and written texts but also visual tools such as sound effects, text boxes, speech bubbles, bodily gestures, postures, and facial expressions, all of which reinforce the joint effect of the words and images. The aural mode is triggered during the reading process. Through these different modes, the reader experiences the joint narration of the verbal, the visual and the aural. This process makes the reader believe in and get an understanding of the characters and their characteristics. In our article, we examine how characters are built in a multimodal text and its translation. We illustrate the characterization in multimodal narration using the picturebook Kettu, Pöllö ja punainen pallo (Fox, Owl and the Red Ball) as an example.