Percepção audiovisual da entoação modal do português do Brasil - Gradus - Revista Brasileira de Fonologia de Laboratório

Este artigo investiga a identificação perceptiva audiovisual da entoação de quatro atos de fala do português do Brasil, com os seguintes significados pragmáticos: asserção, questão-eco, questão parcial e exclamação. Dez informantes (5 homens), falantes da variedade do Rio de Janeiro, foram gravados e filmados, produzindo esses quatro atos de fala, com base na sentença Como você sabe. Analisaram-se, do ponto de vista fonético, as pistas acústicas que distinguem esses atos de fala em relação aos parâmetros acústicos (F0, duração e intensidade) e, do ponto de vista visual, as unidades de ação (Action Units) que compõem as respectivas expressões faciais. Uma análise quantitativa dos dados foi realizada, o que permitiu verificar que há pistas acústicas e visuais que caracterizam a produção dos quatro tipos de enunciados. No experimento perceptivo, sessenta participantes tinham que identificar os quatro atos de fala em três condições experimentais de apresentação dos estímulos: somente áudio (A), somente vídeo (V) e áudio combinado com vídeo (AV). O maior índice de acertos foi verificado na condição audiovisual (AV), seguido da condição somente áudio (A) e, por fim, da condição somente vídeo (V). Esses resultados confirmam que ouvintes integram as informações vindas do canal auditivo e do canal visual na tarefa de identificar perceptivamente diferentes tipos de enunciados no português do Brasil.

Arantes, Pablo (2015). “Time-normalization of fundamental frequency contours. A hands-on tutorial”. In: Courses on Speech Prosody. Editado por Alexsandro Rodrigues Meireles. Newcastle upon Tyne: Cambridge Scholars Publishing, pp. 98–123. ISBN: 9781443882972.

Barbosa, Plínio Almeida (2006). Incursões em torno do ritmo da fala. Campinas: Pontes. ISBN: 9788571132337.

Barbosa, Plínio Almeida (2007). “From syntax to acoustic duration. A dynamical model of speech rhythm production”. Speech Communication 49.9, pp. 725–742. DOI: 10.1016/j.specom.2007.04. 013.

Barbosa, Plínio Almeida (2013). “Semi-automatic and automatic tools for generating prosodic descriptors for prosody research”. TRASP 2013 Proceedings. Tools and Resources for the Analysis of Speech Prosody. Editado por Brigitte Bigi e Daniel Hirst. Laboratoire Parole et Langage. Aix-en-Provence, pp. 86–89. ISBN: 9782746664432.

Barbosa, Plínio Almeida, Zuleica Antonia Camargo e Sandra Madureira (2018). “Acoustic-based tools and scripts for the automatic analysis of speech in clinical and non-clinical settings”. In: Signal and Acoustic Modeling for Speech and Communication Disorders. Editado por Hemant A. Patil, Amy Neustein e Manisha Kulshreshtha. Berlin: De Gruyter, pp. 69–86. ISBN: 9781501502415.

Borràs-Comes, Joan e Pilar Prieto (2011). “’Seeing tunes.’ The role of visual gestures in tune interpretation”. Laboratory Phonology 2.2, pp. 355–380. DOI: 10.1515/labphon.2011.013.

Cruz, Marisa, Marc Swerts e Sónia Frota (2017). “The role of intonation and visual cues in the perception of sentence types. Evidence from European Portuguese varieties”. Laboratory Phonology: Journal of the Association for Laboratory Phonology 8.1. DOI: 10.5334/labphon.110.

Cunha, Karina Zendron da (2016). “Sentenças exclamativas em português brasileiro. Um estudo experimental de interface”. Tese de doutoramento. Florianópolis: Universidade Federal de Santa Catarina. Ekman, Papul, Wallace V. Friesen e Joseph C. Hager (2002). Facial action coding system [CD-Rom]. Salt Lake City.

Fónagy, Ivan (1993). “As funções modais da entoação”. Traduzido do francês por João Antônio de Moraes. Cadernos de Estudos Lingüísticos 25, pp. 7–24. DOI: 10.20396/cel.v25i0.8636884.

Frota, Sónia e Pilar Prieto, editores (2015). Intonation in Romance. Oxford: Oxford University Press. ISBN: 9780199685332.

Frota, Sónia et al. (2015). “Intonational variation in Portuguese. European and Brazilian varieties”. In: Intonation in Romance. Editado por Sónia Frota e Pilar Prieto. Oxford: Oxford University Press, pp. 235–283. ISBN: 9780199685332.

Gili Fivela, Barbara (2015). “L’integrazione di informazioni multimodali. Prosodia ed espressioni del volto nella percezione del parlato”. In: Paroli, gesti, interpretazioni. Studi linguistici per Carla Bazzanella. Editado por Barbara Gili Fivela, Elena Pistolesi e Rosa Pugliese. Roma: Aracne, pp. 107–127. DOI: 10.4399/97888548840765.

Graf, Hans Peter, Eric Cosatto, Volker Strom e Fu Jie Huang (2002). “Visual prosody. Facial movements accompanying speech”. Proceedings of Fifth IEEE International Conference on Automatic Face Gesture Recognition (20 de maio de 2002–21 de maio de 2002). The Institute of Electrical and Electronics Engineers – Computer Society. Washington (DC), pp. 396–401. ISBN: 0769516025. DOI: 10.1109/ AFGR.2002.1004186.

House, David (2002). “Intonational and Visual Cues in the Perception of Interrogative Mode in Swedish”. Proceedings of the 7th International Conference on Spoken Language Processing. 7th International Conference on Spoken Language Processing (16 de setembro de 2002–20 de setembro de 2002). Editado por John H. L. Hansen e Bryan Pellom. International Speech Communication Association. Denver, pp. 1957–1960. URL: https://www.isca-speech.org/archive/icslp_2002/i02_1957.html.

Husson, François, Sébastien Lê e Jérôme Pagès (2017). Exploratory multivariate analysis by example using R. Boca Raton: CRC press. ISBN: 9781138196346.

Kendon, Adam (2004). Gesture. Visible action as utterance. Cambridge (UK): Cambridge University Press. ISBN: 0521835259.

Krahmer, Emiel e Marc Swerts (2009). “Audiovisual Prosody. Introduction to the Special Issue”. Language and Speech 52.2-3. PMID: 19624027, pp. 129–133. DOI: 10.1177/0023830909103164.

Lê, Sébastien, Julie Josse e François Husson (2008). “FactoMineR. An R package for multivariate analysis”. Journal of Statistical Software, Articles 25.1, pp. 1–18. DOI: 10.18637/jss.v025.i01.

Liénard, Jean-Sylvain e Claude Barras (2013). “Fine-grain voice strength estimation from vowel spectral cues”. Proceedings of Interspeech 2013. 14th Annual Conference of the International Speech Communication Association (Interspeech). Volume 1. 5 volumes. International Speech Communication Association. Lyon, pp. 128–132. ISBN: 9781629934433.

Massaro, Dominic W. e Michael M. Cohen (1983). “Evaluation and integration of visual and auditory information in speech perception.” Journal of Experimental Psychology: Human Perception and Performance 9.5, pp. 753–771. DOI: 10.1037/0096-1523.9.5.753.

McGurk, Harry e John MacDonald (1976). “Hearing lips and seeing voices”. Nature 264.5588, pp. 746–748. DOI: 10.1038/264746a0.

Miranda, Luma (2015). “Análise da entoação do português do Brasil segundo o modelo IPO”. Tese de mestrado. Rio de Janeiro: Universidade Federal do Rio de Janeiro. URL: http://www.posvernaculas. letras.ufrj.br/images/Posvernaculas/3-mestrado/dissertacoes/2015/16-MirandaLS.pdf.

Miranda, Luma da Silva (2019). “Estudo fonético-perceptivo da entoação de enunciados assertivos, interrogativos e exclamativos no português do Brasil. Uma análise multimodal”. Tese de doutoramento. Universidade Federal do Rio de Janeiro. URL: http://www.posvernaculas.letras.ufrj. br/images/Posvernaculas/4-doutorado/teses/2019/Tese%20Luma%20Miranda%202019.pdf.

de Moraes, João Antônio, Luma da Silva Miranda e Albert Rilliard (2012). “Facial gestures in the expression of prosodic attitudes of Brazilian Portuguese”. Proceedings of the VII GSCP International Conference: Speech and Corpora. 7th Conference of the Gruppo di Studio sulla Comunicazione Parlata (UFMG). Editado por Heliana Mello, Massimo Pettorino e Tommaso Raso. Gruppo di Studio sulla Comunicazione Parlata. Belo Horizonte: Firenze University Press, pp. 157–161. ISBN: 9788866553519.

de Moraes, João Antônio e Albert Rilliard (2014). “Illocution, attitudes and prosody: A multimodal analysis”. In: Spoken Corpora and Linguistic Studies. Editado por Tommaso Raso e Heliana Mello. Amsterdam: John Benjamins, pp. 233–270. ISBN: 9789027203694.

de Moraes, João Antônio (1998). “Intonation in Brazilian Portuguese”. In: Intonation System. A Survey of Twenty Languages. Editado por Daniel Hirst e Alberti Di Cristo. Cambridge: Cambridge University Press, pp. 179–194. ISBN: 9780521395502.

de Moraes, João Antônio (2008). “The pitch accents in Brazilian Portuguese”. Proceedings of the Fourth Conference on Speech Prosody. Editado por Plínio Almeida Barbosa, Sandra Madureira e César Reis. International Speech Communication Association, pp. 389–397.

Oliveira, Juscelia, Vera Pacheco e Marian Oliveira (2014). “Análise perceptual das frases exclamativas e interrogativas realizadas por falantes de Vitória da Conquista/BA”. Signum: Estudos da Linguagem 17.2, pp. 354–388. DOI: 10.5433/2237-4876.2014v17n2p354.

Peres, Daniel Oliveira, Waldemar Ferreira Netto e Beatriz Raposo de Medeiros (2010). “O papel do estímulo visual na percepção da prosódia. Um estudo experimental”. Revista Virtual de Estudos da Linguagem 8.15, pp. 256–269.

Prieto, Pilar et al. (2015). “Intonational phonology of Catalan and its dialectal varieties”. In: Intonation in Romance. Editado por Sónia Frota e Pilar Prieto. Oxford: Oxford University Press, pp. 9–62. ISBN: 9780199685332.

Rosemeyer, Malte (2019). “A história das interrogativas parciais in-situ no português brasileiro em uma perspectiva baseada no uso”. LaborHistórico 5.Especial 1, pp. 162–189. DOI: 10.24206/lh.v5iespecial.23614.

Rosenblum, Lawrence D. (2005). “Primacy of multimodal speech perception”. In: The handbook of speech perception. Editado por David B. Pisoni e Robert E. Remez. Malden (MA): Blackwell, pp. 51–78. ISBN: 9780631229278.

Silva, Cristiane Conceição (2016). “Análise fonético-experimental da entoação de declarativas e interrogativas em espanhol/LE”. Tese de doutoramento. Campinas: Universidade Estadual de Campinas. URL: http://www.repositorio.unicamp.br/handle/REPOSIP/305688.

Srinivasan, Ravindra J. e Dominic W. Massaro (2003). “Perceiving Prosody from the Face and Voice. Distinguishing Statements from Echoic Questions in English”. Language and Speech 46.1, pp. 1–22. DOI: 10.1177/00238309030460010201.

Wagner, Petra, Zofia Malisz e Stefan Kopp (2014). “Gesture and speech in interaction. An overview”. Speech Communication 57, pp. 209–232. DOI: 10.1016/j.specom.2013.09.008.

Xu, Yi (2012). “Function vs. Form in Speech Prosody. Lessons from Experimental Research and Poten- tial Implications for Teaching”. In: Pragmatics and Prosody in English Language Teaching. Editado por Jesús Romero-Trillo. Dordrecht: Springer, pp. 61–76. ISBN: 9789400738829. DOI: 10.1007/978-94-007-3883-6_5.

Publicado

2020-08-10 — Atualizado em 2020-08-11

Como citar

MIRANDA, L. da S.; DE MORAES, J. A.; RILLIARD, A. Percepção audiovisual da entoação modal do português do Brasil. Gradus – Revista Brasileira de Fonologia de Laboratório, Curitiba, v. 5, n. 1, p. 47-70, 2020. DOI: 10.47627/gradus.v5i1.148. Disponível em: https://gradusjournal.com/index.php/gradus/article/view/148. Acesso em: 5 set. 2022.

Edição

Licença

João Antônio de Moraes

Albert Rilliard

Este trabalho está licenciado sob uma licença Creative Commons Attribution-NonCommercial 4.0 International License.

Os textos publicados na Gradus estão submetidos aos termos da licença Creative Commons – Atribuição Não-Comercial CC BY-NC 4.0, disponível em http://creativecommons.org/licenses/by-nc/4.0/deed.pt_BR.