[tel-01077857] The interplay between non-verbal and verbal interaction in synthetic worlds which supports verbal participation and production in a foreign language

This research focuses on multimodal pedagogical communication in synthetic virtual worlds The study investigates the interplay between verbal and nonverbal interaction which supports verbal participation and production in a foreign language This is analysed from a socio-semiotic perspective of multimodality within the context of a course held in the synthetic world Second Life which adopted a Content and Language Integrated Learning CLIL approach The course entitled 'Building Fragile Spaces' formed part of the European project ARCHI21 It was designed for higher education students of Architecture whose foreign language was either French or EnglishThe interplay between verbal and nonverbal interaction is examined from three different angles Firstly considering the opportunities synthetic worlds offer for the co-creation of the environment through building activities and for collaboration the role played by the nonverbal mode during a collaborative building activity is investigated The study questions whether the use of the nonverbal mode impacts on the participation of students in the verbal mode and whether any interplay exists between these two modes that influences verbal production Secondly use of the nonverbal mode by students in inworld identity construction is addressed and considered with reference to their verbal interaction and participation in the foreign language Thirdly the research concentrates upon interplay between the audio and textchat modalities in the verbal mode More specifically the focus is on whether the textchat plays a role during interaction considering it is in competition not only with the audio modality but also with several nonverbal modalities and on whether the textchat modality can serve for feedback provision on language formThis thesis seeks to contribute to the methodological considerations to allow research to move beyond speculative and anecdotal examples of multimodal pedagogical communication in synthetic worlds A typology of nonverbal and verbal modalities is proposed and then drawn upon to extend a previous methodology suggested for multimodal transcription to interactions in synthetic worlds Considering within the fields of Social Sciences and Language Sciences the more general research problem to render research data used for analyses visible and publically accessible the study adopts a LEarning and TEaching Corpus LETEC methodological approach Constituting a structured corpus allows for contextual analyses of the data collected during the 'Building Fragile Spaces' courseThis research offers insights into how verbal participation increases with reference to the proxemic organisation of students the customization of students' avatar appearance and an increased use of nonverbal acts Concerning verbal production the study shows how avatar movement in the nonverbal mode was used as a strategy to overcome verbal miscommunication when expressing direction and orientation and also the benefits of using the textchat modality for feedback on language form in order to support learners’ productions in the audio modality In light of these results the study suggests some considerations concerning the design of pedagogical activities for language learning within synthetic worldsCette recherche vise à analyser la communication pédagogique multimodale dans des mondes synthétiques virtuels L'étude se focalise sur le rapport entre le verbal et le non verbal et son rôle de soutien pour la production et la participation verbales en langue étrangère Celui-ci est analysé dans une perspective socio-sémiotique de la multimodalité dans le contexte d'une formation conduite dans le monde synthétique Second Life selon une approche Enseignement d'une Matière Intégré à une Langue Étrangère Emile La formation 'Building Fragile Spaces' menée dans le cadre du projet européen ARCHI21 a été conçue pour des étudiants d'architecture dont la langue étrangère était soit le français soit l'anglaisLe rapport entre le verbal et le non verbal est examiné selon trois angles différents Premièrement le rôle du non verbal pendant une activité de construction collaborative est analysé au vu des opportunités offertes par des mondes synthétiques pour la co-création de l'environnement et pour la collaboration A travers cette étude nous nous demandons si l'utilisation du mode non verbal a un impact sur la participation des étudiants dans le mode verbal et si le rapport entre ces deux modes a une influence sur la production verbale Deuxièmement l'utilisation du non verbal pour la construction des identités est abordée et est considérée en rapport avec l'interaction et la participation verbale des étudiants dans la langue étrangère Finalement la recherche se concentre sur le rapport entre les modalités audio et clavardage dans le mode verbal Plus particulièrement l'étude s'intéresse au rôle du clavardage dans l'interaction puisqu'il est en compétition non seulement avec l'audio mais également avec plusieurs modalités non verbales La possibilité d'utiliser le clavardage pour la rétroaction est également abordéeCette thèse cherche à contribuer aux considérations méthodologiques exigées pour que la recherche concernant la communication pédagogique multimodale dans des mondes synthétiques puisse aller au-delà des exemples spéculatifs et anecdotiques Une typologie de modalités verbales et non verbales est proposée Elle sert à étendre une méthodologie proposée pour la transcription des interactions multimodales aux interactions possibles dans les mondes synthétiques En vue de la problématique plus générale dans les domaines des Sciences Humaines et des Sciences du Langage il s'agit de rendre visibles et accessibles publiquement les données utilisées pour les analyses En effet cette étude se réfère à un corpus d'apprentissage dans son approche méthodologique La construction d'un corpus structuré permet d'effectuer des analyses contextualisées des données recueillies lors de la formation 'Building Fragile Spaces'Cette recherche propose quelques éléments de réponse concernant l'augmentation de la participation verbale en rapport avec l'organisation proxémique des étudiants la customisation de l'apparence des avatars des étudiants et l'utilisation importante des actes non verbaux Concernant la production verbale l'étude décrit comment dans le mode non verbal le mouvement de l'avatar est employé en tant que stratégie pour surmonter des difficultés de communication dans le mode verbal Ces difficultés concernent en particulier l'expression de la direction et de l'orientation L'étude montre également l'intérêt d'utiliser le clavardage pour offrir de la rétroaction concernant la forme linguistique dans le but de soutenir la production verbale des apprenants dans la modalité audio Au vu des résultats l'étude propose quelques considérations concernant la conception des activités pédagogiques pour l'apprentissage des langues dans des mondes synthétiques



from HAL : Dernières publications http://ift.tt/1zzIyXl