de.mpg.escidoc.pubman.appbase.FacesBean
English
 
Help Guide Disclaimer Contact us Login
  Advanced SearchBrowse

Item

ITEM ACTIONSEXPORT

Released

Conference Paper

Fusion de contraintes pour la synchronisation des modalités et pour la résolution des références dans un énoncé multimodal

MPS-Authors
http://pubman.mpdl.mpg.de/cone/persons/resource/persons96341

Romary,  Laurent
Max Planck Digital Library, Max Planck Society;

Locator
There are no locators available
Fulltext (public)

loria.pdf
(Any fulltext), 27KB

Supplementary Material (public)
There is no public supplementary material available
Citation

Landragin, F., Gaiffe, B., Bellalem, N., & Romary, L. (n.d.). Fusion de contraintes pour la synchronisation des modalités et pour la résolution des références dans un énoncé multimodal.


Cite as: http://hdl.handle.net/11858/00-001M-0000-0013-8783-9
Abstract
Avant de résoudre les références aux objets et aux lieux d'un énoncé multimodal associant parole et geste de désignation, il est nécessaire de mettre en correspondance chaque geste avec le segment linguistique qui lui correspond. Pour cela, nous exprimons les contraintes syntaxiques, sémantiques et pragmatiques apportées par (a) les expressions référentielles et (b) les gestes, compte tenu de la disposition des objets et de leurs éventuels regroupements perceptifs. Une formalisation logique de ces contraintes et leur fusion permet d'aboutir à des hypothèses de correspondances puis à l'identification des référents. Nous exprimons alors la forme propositionnelle de l'énoncé permettant au système de retrouver les fonctions de l'application à exécuter. Malgré les nombreuses hypothèses faites sur chaque expression prise individuellement, nous montrons que le contenu propositionnel dans son ensemble est souvent le même. Cette méthode nous semble particulièrement prometteuse, tant parce qu'elle permet d'identifier les facteurs précis intervenant dans l'intégration de la langue et du geste, qu'en ce qu'elle permet d'envisager très facilement une implantation informatique.