Axe 1 : Les domaines linguistiques et leurs interfaces
Cet axe propose de décrire un sous-ensemble des domaines linguistiques (appelés traditionnellement niveaux) qui constituent une réalisation langagière. Nous nous attachons en particulier à décrire les domaines prosodique, phonologique, syntaxique, sémantique, pragmatique ainsi que le geste coverbal qui est de plus en plus analysé dans ses liens avec les différents domaines linguistiques. Une des particularités de notre approche est de considérer que tous ces domaines sont au même niveau (pas de conception hiérarchique du langage). En particulier, nous considérons la gestualité au même niveau que la prosodie ou la syntaxe, comme participant de la même façon à la réalisation d'un acte de langage. Il s'agit donc ici d'une conception forte de la multimodalité, totalement intégrée, et dans laquelle toutes les modalités contribuent à la construction du sens, devant ainsi être prises en compte simultanément. Les résultats de la pragmatique et de l'analyse conversationnelle ainsi que l'avènement de la sémantique dynamique, autorisent une vision plus large du sens et posent la question de ses relations avec l'usage.
Les domaines : description et modélisation
Nous proposons pour la description de chacun des domaines d'inscrire notre démarche dans celle de la linguistique expérimentale consistant à recueillir des données et les décrire avant de les interpréter pour les organiser en système et donc en proposer une modélisation. Nous rassemblons ici tous les travaux portant sur la prosodie, phonologie de laboratoire, syntaxe du français parlé, discours et étude de la gestualité, de façon (autant qu'il soit possible de le faire) plutôt décontextualisée. Les données elles-mêmes sont recueillies dans un contexte naturel ou contrôlé, y compris dans le cadre d'expérimentations en laboratoire.
Une des particularités de notre approche est que dès cette étape, nous gardons comme perspective la description des interfaces qui existent entre les domaines. Nous proposons donc à ce niveau, d'une part de proposer un cadre descriptif homogène (notamment par l'élaboration de conventions et standards pour la représentation des données et de leurs analyses) et d'autre part une réflexion sur les différents modèles théoriques (modèles à base de contraintes, optimalité,...) utilisés de façon à les rapprocher. Annotation et modélisation sont donc étroitement liées car seul un modèle cohérent des phénomènes étudiés peut permettre d'établir, en interaction avec la description, des schémas d'annotation produisant des données reproductibles. Inversement, un modèle n'est utile que s'il peut s'incarner sur des jeux de données réelles. Enfin, cette relation étroite entre description et modélisation, potentiellement formelle, autorise l'ouverture de nos travaux au traitement automatique des langues (TAL). Les systèmes du TAL se nourrissent en effet de modèles formels précis mais richement instanciés par les données linguistiques. En contrepartie, le TAL est d'une aide précieuse lorsqu'il s'agit de créer des jeux de données annotées et contribue ainsi à l'identification et à l'étude de nouveaux phénomènes.
Interfaces entre domaines : le réseau complexe
Chacun des domaines entretient avec les autres des relations pour former un réseau complexe. Nous proposons d'analyser cette question des interfaces tout d'abord en étudiant, de façon classique, les relations qui peuvent exister entre un nombre limité de domaines (prosodie-syntaxe, prosodie-gestualité, syntaxe-sémantique, etc.). Par ailleurs, nous aborderons cette question d'un point de vue plus global en nous appuyant sur l'étude de sujets cruciaux mais non résolus comme la structure informationnelle, le sens projectif (présuppositions, implicatures,...). Nous partons de l'hypothèse que l'absence de consensus sur ces sujets provient du fait qu'ils constituent les points de contact entre les disciplines linguistiques traditionnelles (syntaxe, phonologie, prosodie, sémantique) et le discours voire l'interaction. Ainsi ces notions sont des résumés des effets du discours sur une production. Tel est le cas par exemple de la notion de contraste qui reçoit des analyses particulièrement poussées en prosodie, en syntaxe ou en sémantique et qui gagnerait maintenant à être étudié dans une perspective résolument discursive et multimodale. Nous considérons que les travaux en discours et en interaction sont suffisamment avancés et ont acquis un degré de précision suffisant, par le biais en particulier de modèles formels de discours, pour envisager une intégration précise et exigent un réexamen de ces notions tant sur corpus qu'au travers d'expérimentations.
Par exemple, dans les phénomènes de « feedback » (i.e., l'utilisation d'énoncés courts comme « mmh, oui, non ») les propriétés prosodiques sont intimement liées à l'explicitation du sens et de la fonction discursive et inversement; ils sont aussi fréquemment accompagnés de signaux non verbaux (mouvements de têtes, de sourcils, des lèvres?). Ces études (structure informationnelle, sens projectif, feedback) se prêtent particulièrement bien à des approches comparées entre langues et nous envisageons des études croisées incluant le Français, l'Italien, l'Anglais et le Mandarin.
D'autres travaux concerneront l'impact des relations discursives et du contexte sur l'interprétation des contours prosodiques ou encore celui de la prosodie sur la structuration du discours dans la parole « en situation » et en corpus. Par exemple, les phénomènes de disfluence seront examinés pour mieux comprendre leur impact sur la structuration prosodique notamment. Par ailleurs, d'autres phénomènes tels que les phatiques, certains éléments non verbaux ainsi que des phénomènes de convergence syntaxique (parallélismes), prosodique (échos), gestuelle et attitudinelle (proxémiques) feront l'objet d'études détaillées. Les résultats de ces travaux pourront être mis à contribution tant en didactique qu'en TAL.
Axe 2 : Performance du locuteur
Cet axe se propose d'étudier la mise en oeuvre par un locuteur donné et dans son environnement de ce réseau complexe de relations. Percevoir et interagir avec l'environnement ambiant et notamment communiquer implique que de nombreuses informations provenant de différentes modalités sensorielles (audition, vision, motricité) s'intègrent pour former une perception cohérente du monde qui nous entoure. Ce processus d'intégration est crucial au cours d'un apprentissage sensorimoteur et/ou cognitif. L'axe 2 s'intéresse aux mécanismes qui régulent nos interactions comportementales avec l'environnement (au niveau du langage et de la communication). Le développement de ces mécanismes comme leurs dysfonctionnements constituent les aspects privilégiés de nos approches.
Capacités d'intégration multisensorielle
La compréhension des capacités langagières nécessite de clarifier le rôle des contraintes perceptives, motrices et sémantiques, ainsi que leurs interactions, dans les traitements permettant d'interagir avec les éléments de l'environnement ou de leur attribuer une signification. Une approche intégrative sera adoptée dans cette perspective. Un premier volet de recherches s'intéressera aux liens entre langage oral et langage écrit. D'une part, il s'agira de déterminer la part respective des modalités sensorielles et surtout de la perception visuelle dans l'élaboration des représentations des unités de la parole au cours du développement. Parallèlement, compte tenu de la mise en place précoce des représentations phonétiques, phonologiques et prosodiques de l'enfant (avant l'apprentissage de la lecture) nous tenterons de mesurer l'impact de la structure prosodique (e.g. prosodie implicite, rythme, etc.) sur la mise en place des représentations lexicales et des processus qui sous-tendent la lecture. Dans le second volet, il s'agira de déterminer les relations entre la perception visuelle et la motricité (oculaire et manuelle) dans les traitements langagiers. Les études proposées, qui concernent les mécanismes impliqués dans le traitement des propriétés métriques et sémantiques des informations visuelles, ont le mérite de rapprocher des domaines jusqu'ici distincts, i.e. la compréhension du langage écrit et les interactions perceptivo-motrices.
Facteurs influençant les capacités langagières et communicationnelles
Le rôle de facteurs plus complexes (gestes coverbaux, informations sémantiques et pragmatiques et indices émotionnels) sur les processus intégratifs reste encore largement indéterminé. Un volet de recherche concernera l'évaluation des effets émotionnels dans la production et la compréhension du langage, sur le versant "normal" et perturbé (vieillissement, maladies neurodégénératives et pathologies psychiatriques). Un autre volet de recherche visera à déterminer le rôle des informations contextuelles (environnementales, savoir partagé, prosodiques), ces dernières pouvant être des facteurs clés dans les troubles de la communication des patients atteints de schizophrénie (théorie bayésienne et notion de contextualisation). Un dernier volet aura pour objectif d'examiner, à l'aide d'un système de suivi oculaire, l'attention portée aux gestes dans la compréhension d'un discours (aux gestes coverbaux en langue étrangère, aux signes manuels et non manuels en LSF). Ces études constituent un pré-requis à l'analyse du rôle du geste dans l'interaction in situ (cf. l'axe 3).
Complexité
La réalisation d'une production langagière peut être considérée par un locuteur comme plus ou moins complexe tant dans le sens de sa production que de son interprétation. Ce phénomène se manifeste par exemple par une difficulté de compréhension d'un énoncé et se produit dans des conditions ou environnements multiples (par exemple par un apprenant en L2). Nous ne connaissons pas encore précisément les facteurs de cette complexité, expliquant pourquoi une réalisation peut être plus difficile à traiter qu'une autre. Cette opération se propose de décrire ce problème en s'attachant dans un premier temps à l'étudier pour la syntaxe. Il s'agit tout d'abord de décrire le problème en analysant les constructions ou phénomènes considérés comme complexes. Cette première étape s'appuie à la fois sur un travail de description linguistique, mais également d'évaluation par des sujets de ces éléments de complexité. Nous proposons ensuite de rassembler ces facteurs et d'en proposer une modélisation qui s'appuie sur l'idée que l'information linguistique provient de sources diverses et se construit de façon cumulative. En deçà d'un certain seuil, l'information produite est difficile à traiter. La complexité est donc ici expliquée par un déficit d'information.
Notre approche vise l'élaboration d'un modèle formel de la complexité, proposant plutôt qu'un ensemble de facteurs, une quantification du niveau d'information. Il devient alors possible d'envisager l'élaboration d'un modèle computationnel capable de prédire la complexité en précisant ses origines.
Axe 3 : Du locuteur à l'interlocuteur
Dans cet axe nous nous proposons d'étudier comment l'identité et le statut des interactants 1/ formatent un certain type d'interaction (thérapeutique, didactique, politique, médiatique) et 2/ contribuent à l'élaboration même du sens (entre autres travaux autour des signaux de feedback, différents types d'activités discursives telles que l'humour, le discours rapporté, les stratégies pédagogiques, la reformulation, etc.), comment l'attribution/compréhension des intentions du locuteur par l'auditeur joue un rôle dans la co-construction du sens via la construction d'un savoir partagé. Une des méthodologies de cet axe sera de faire des va et viens entre analyse de la parole en interaction via des analyses de corpus et des situations plus contrôlées.
Analyse multimodale de genres et de procédés discursifs
L'objectif est de rendre compte de différents genres discursifs à différents niveaux d'analyse. Nous nous proposons d'étudier 3 genres : la narration, l'explication et l'argumentation. La narration sera étudiée d'un point de vue gestuel, prosodique et discursif sur le corpus CID (Corpus of Interactional Data élaboré au LPL) pour les sujets adultes et sur un corpus de narration recueilli en école maternelle à différents moments de l'année scolaire pour les sujets enfants (et ce dans le but de travailler également dans une perspective développementale). L'explication sera analysée à partir du corpus GTT-Gestures in Teacher Talk (corpus orienté tâche d'explication lexicale à des sujets natifs et non natifs de la langue française par de futurs enseignants de FLE). En ce qui concerne l'argumentation, elle sera principalement envisagée à travers un corpus de débats politiques de l'Assemblée Nationale. Il est prévu de réunir un corpus conséquent pour mener une analyse multimodale du discours. Dans le contexte politique, nous proposons également d'analyser les comportements gestuo-vocaux des personnages politiques et de les mettre en relation avec leur « image » médiatique. L'étude de procédés tels que l'ironie et l'humour seront également étudiés d'un point de vue multimodal et en fonction des différents corpus recueillis.
Discours et interactions didactiques
A partir de corpus vidéo de situations de classe, les interactions enseignant-apprenants seront analysées afin de voir comment se déroule la co-construction du sens et comment le statut et l'identité de chacun formatent l'interaction. Cette étude conduira ainsi à s'interroger sur les compétences langagières et linguistiques des élèves et sur l'importance de la multimodalité des interactions dans les apprentissages. Une place sera notamment faite à l'étude des interactions didactiques en situation de tension pour voir comment l'enseignant gère notamment les conflits et la violence verbale.
Attributions et reconnaissance d'intentions
Ce point vise à établir empiriquement la contribution de l'attribution et de la reconnaissance d'intention dans la communication via l'utilisation des savoirs partagé et privé de chaque interlocuteur. Pour cela on analysera l'utilisation des marqueurs de référence à l'aide d'un paradigme permettant de reproduire une situation naturelle de communication. En effet, le choix des marques de référence par les interlocuteurs au cours d'une conversation, traduit la construction et la prise en compte (ou non) d'un savoir partagé. Ce choix permet aussi à l'auditeur de comprendre les intentions de communication du locuteur. Le choix des populations participant à la tâche sera manipulé dans différentes conditions expérimentales. La schizophrénie constitue une population de choix car elle est une pathologie de la communication et du lien social et que nous savons qu'elle induit un déficit dans l'attribution d'intention. La contribution du choix des contours intonatifs à l'attribution et à la reconnaissance d'intentions sera également explorée. Un modèle de la sémantique des contours intonatifs conçus comme signalant ce que le locuteur anticipe de la réaction de l'interlocuteur à son acte de parole sera mis à l'épreuve de l'analyse des corpus et de la validation expérimentale.
Les résultats de cette opération contribueront à l'élaboration d'un modèle mentaliste de la communication.