Aero-taktilinė integracija į kalbos suvokimą | gamta

Aero-taktilinė integracija į kalbos suvokimą | gamta

Anonim

Anotacija

Vaizdo informacija iš kalbėtojo veido gali sustiprinti 1 arba sutrukdyti 2 tiksliam klausos suvokimui. Tokia informacijos integracija į klausos ir regos srautus buvo pastebėta atliekant vaizdinius vaizdinius tyrimus 3, 4, ir paprastai tai buvo siejama su dažniu ir tvirtumu, su kuriuo suvokėjai kartu susiduria su konkrečių įvykių informacija iš šių dviejų būdų 5 . Taktilinio modalumo pridėjimas jau seniai laikomas svarbiausiu žingsniu suvokiant daugialypę integraciją. Tačiau ankstesniuose tyrimuose lytėjimo takoskyros įtaka kalbos suvokimui buvo nustatyta tik esant ribotoms aplinkybėms, kai suvokėjai žinojo apie 6, 7 užduotį arba kai jie buvo apmokyti sukurti kryžminį modalų žemėlapį 8, 9, 10 . Čia parodome, kad suvokėjai integruoja natūralistinę lytėjimo informaciją klausos kalbos suvokimo metu be ankstesnio mokymo. Remdamiesi pastebėjimu, kad kai kurie kalbos garsai sukelia mažus siekius (pvz., Angliškai „p“) 11, ant dalyvių odos užtepėme nedidelius, negirdėtus oro pūtimus vienoje iš dviejų vietų: dešine ranka ar kaklu. Kartu su odos oro pūslėmis vienu metu girdimi skydiniai buvo labiau girdimi kaip įkvepiantys (pvz., Priversdami dalyvius išgirsti „b“ kaip „p“). Šie rezultatai rodo, kad suvokėjai į klausos suvokimą integruoja įvykiams svarbią lytėjimo informaciją panašiai kaip ir vaizdinę informaciją.

Pagrindinis

Daugelis kalbų pagrindiniam leksiniam kontrastui perteikti naudoja oro išmetimą arba „aspiraciją“ 12 . Kalbantieji anglai naudoja šį mechanizmą, kad atskirtų įkvėptus garsus, tokius kaip „pa“ ir „ta“, nuo neįsiurbiamų garsų, tokių kaip „ba“ ir „da“. Visi keturi žmogaus odos mechanoreceptoriai 13, taip pat plaukų folikulų mechanoreceptoriai 14 reaguoja į oro pūtimus. Aerodinamiškai puff apibūdinamas kaip trumpas turbulentinio oro srauto trūkimas, kai pradinis slėgis yra santykinai didesnis 15, 16, būdingas trumpalaikio slėgio modeliui, atsirandančiam įkvepiant kalbos garsus 17 .

Klausos dirgiklius sukūrėme įrašydami aštuonis kiekvieno skiemens „pa“, „ba“, „ta“ ir „da“ pakartojimus iš gimtoji kalba kalbančio vyro iš vyro, suderinant pagal trukmę (kiekvienas po 390–450 ms), pagrindinį dažnį ( krentantis žingsnis nuo 90 Hz iki 70 Hz) ir intensyvumas (normalizuotas iki 70 decibelų ( 10–5 W m –2 ). Dalyviai išgirdo skiemenis dviejuose atskiruose blokuose: vienas turi tik labialinius priebalsius („pa“ ir „ba“), o kiti, turintys tik alveolinius priebalsius („ta“ ir „da“). 16 unikalių žetonų kiekviename bloke buvo išgirsti po keturis kartus - du kartus kaip tik girdimąjį valdymą ir du kartus suporuotus su lytėjimo stimulais. Klausos dirgiklius lydėjo baltas triukšmas, grojamas tūris, skirtas sumažinti bendrą žetonų identifikavimo tikslumą ir taip sukelti didelį neaiškumą; tikrasis tikslumas aprašytas 1–3 papildomose lentelėse.

Norėdami sintetinti mažus oro pūtimus, skirtus atkartoti slėgio profilį (trumpalaikės ribinės būklės), aukšto dažnio triukšmą, žemo dažnio „pop“ trukmę ir laiko santykį su balsių balsu, prasidėjusia natūralios kalbos aspiracija, mes panaudojome solenoidinį vožtuvą, pritvirtintą prie oro kompresoriaus.

Pirmajame mūsų eksperimente oro pūslės buvo dedamos į odos plaštakas, esančias tarp dešiniojo nykščio ir smiliuko per odą per ¼ colio (0, 635 cm) vinilo vamzdelius, esant 6 svarams už kvadratinį colį (psi; 6 psi - 421, 84 g cm ). 2 ) pritvirtintas 8 cm atstumu nuo odos paviršiaus. Ranka užpakalinė dalis buvo pasirinkta dėl to, kad ji turi didelį lytėjimo jutimą 18, ir todėl, kad lytėjimo stimuliacija, įskaitant oro srautą, sukelia nespecifinį kai kurių antrosios pakopos klausos žievės neuronų aktyvavimą makakose 19 .

Mes manėme, kad dalyviai gali turėti nemažą ankstesnę patirtį su oro pūslėmis ant rankos kartu su kalbos garsais - kalbėdami vienu metu išgirsti savo balsą ir patys pajausti kvėpavimą ant rankų. Norėdami nustatyti, ar sąveika išliks net ir toje kūno vietoje, kurioje dažnai nereikia patirti savęs, sukūrėme antrą eksperimentą, kurio metu oro kaladėles kaklo centre pritaikėme ties viršutiniu įdubimu - toje vietoje, kur paprastai dalyviai negauna tiesioginio oro srauto. jų pačių kalbos kūrimas (nors, regis, suvokėjai bent retais atvejais jaučia pašnekovų įkvėptą orą ant savo odos). Kaip ir atliekant eksperimentą rankomis, oro pūstuvai buvo išleidžiami per ¼ colio vinilo vamzdelius, esant 6 psi, pritvirtintiems 8 cm atstumu nuo odos paviršiaus.

Be bandymų rankomis ir kaklu, buvo sukurtas „tik girdimasis“ eksperimentas, užtikrinantis, kad dalyviams negirdimi oro pūstuvai. Šiame tyrime ¼ colio vamzdelis buvo pastatytas iškart šalia dalyvio dešinės ausinės 5 cm atstumu ir esant 6 psi slėgiui, nukreiptai į priekį, kad oro srautas nebūtų jaučiamas tiesiai ant odos ar plaukų.

Vienas stereo garso signalas tiekė dalyvių girdimus klausos stimulus, tiek įjungimo signalą oro vožtuvui atidaryti. Dešinysis kanalas sakytinius skiemenis pernešė į abi ausis per dalyvių nešamas ausines, o kairysis kanalas suaktyvino solenoidą išvesdamas 50 ms 10 kHz sine bangas maksimalia kompiuterio garso plokštės amplitudė (∼ 1 V) per įtampą. stiprintuvas prie relės. Sinusinės bangos buvo laiku suderintos su kalbos signalu taip, kad, pataisius sistemos delsą, oro pylimai išėjo iš vamzdelio, pradedant 50 ms prieš balsės pradžią ir baigiant balsės atsiradimo momentu, tokiu būdu imituojant natūraliai susidariusių angliškų priebalsių laiką. .

Dalyviai vyrai ir moterys buvo tiriami visais eksperimentais. Prieš eksperimentą dalyviams buvo pasakyta, kad jie gali patirti foninį triukšmą ir netikėtai prapūsti orą. Dalyviai buvo susodinti į garsą nepraleidžiančią kabiną ir paprašė paspaudus mygtuką nustatyti, ar laboratoriniame bloke jie girdėjo „pa“ ar „ba“, o alveoliniame bloke - „ta“ ar „da“. Tada dalyviams buvo užrištos akys ir jiems buvo suteikti klausos dirgikliai per garsą izoliuojančias ausines. Taktilinius dirgiklius užtikrinančios įrangos nustatymas buvo baigtas po to, kai dalyviams buvo užrišamos akys, kad būtų galima nuslėpti kūno vietą oro pūslėse.

Mišri konstrukcijos pakartotinių matavimų dispersijos analizė buvo atlikta dviem priebalsių aspiracijos sąlygomis (įkvepiamomis ir neįsiurbtomis) dviem oro srauto sąlygomis (buvimu ir nebuvimu) dviejose artikuliacijos vietose (labiajame ir alveoliniame) trimis eksperimentais (ranka, kaklu ir klausos klausimu). tik). Rezultatai parodė silpną pagrindinį aspiracijos poveikį ( F (1, 63) = 5, 426, P = 0, 023) (tai yra, suvokėjai, kurie visuose eksperimentuose šiek tiek lengviau atpažįsta neįsotintus sustojimus) ir vietą ( F (1, 63) = 6, 714, P = 0, 012) (tai yra, suvokėjai šiek tiek tiksliau atpažino alveolinius, palyginti su labiajų sustojimais), ir stiprus pagrindinis aspiracijos poveikis × oro srautas ( F (1, 63) = 26, 095, P <0, 001) (oro srautas sukėlė tiek neįsiurbtų, tiek įkvėptų sustojimų suvokimą) kaip aspiracija dažniau) ir aspiracija × oro srautas × eksperimentas ( F (2, 63) = 7, 600, P = 0, 001) (tai yra, oro srauto poveikis, atliekamas atliekant kaklo ir rankų eksperimentus, bet ne tik klausomiesiems eksperimentams) . Svarbaus oro srauto poveikio ar oro srauto ir eksperimento sąveikos reikšmingo nebuvo (tai yra, oro srauto pritaikymas neturi įtakos bendram dirgiklių suvokimo tikslumui). Kitokio reikšmingo poveikio nepastebėta.

Norint nustatyti, ar eksperimentai su ranka ir kaklu, bet ne tik su klausymu, turėjo reikšmingą aspiracijos ir oro srauto sąveiką, buvo atliktos atskiros variacijos su pakartotiniais aspiracijos faktoriais (aspiracijomis palyginti su neįsiurbtomis) ir oro pūslėmis (esančių prieš jas nėra) analizės. atlikti tiek alveoliniai, tiek ir labialiniai visų eksperimentų blokai. Be to, siekiant nustatyti, ar ši sąveika parodė padidėjusį įsiskverbimo į sustojimą suvokimą, taip pat trukdymą nesuvokiamam sustojimo suvokimui, buvo atlikta vienpusių pakartotinių matavimų dispersijos analizė, lyginant oro pūtimus (esamus ir neturinčius), skirtus aspiraciniams ir neįsiurbiamiems žetonams.

Rankinio eksperimento rezultatai parodė, kad oro pūslių sąveika su aspiracijos suvokimu buvo reikšminga ( α = 0, 05) tiek alveoliams ( F (1, 21) = 17, 888, P <0, 001, dalinis η 2 = 46, 0%) ir labialiniai ( F (1, 21) = 14, 785, P <0, 001, dalinis η 2 = 41, 3%) blokai (1 pav.). Be to, oro pūtimas padidino teisingą įkvėptų žetonų identifikavimą ('pa' ( F (1, 21) = 14, 309, P = 0, 001, dalinis η 2 = 40, 5%) ir 'ta' ( F (1, 21) = 8, 650, P = 0, 008, dalinis η 2 = 29, 2%)) ir trukdė teisingai atpažinti neįsisavintus žetonus („ba“ ( F (1, 21) = 5, 597, P = 0, 028, dalinis η 2 = 21, 0%) ir 'da' ( F (1, 21) = 16, 979, P <0, 001, dalinis η 2 = 44, 7%).

Image

a, Labial; b, alveolinis.

Visas dydis

  • Atsisiųskite „PowerPoint“ skaidrę

Kaklo eksperimento rezultatai parodė, kad oro pūslių sąveika su aspiracijos suvokimu buvo reikšminga tiek alveoliniams (F (1, 21) = 5, 466, P = 0, 029, dalinis η 2 = 20, 7%), tiek ir labialiniams (F (1)., 21) = 8, 404, P = 0, 009, dalinis η 2 = 28, 6%) blokai (2 pav.). Be to, oro pūtimas padidino teisingą įkvėptų žetonų atpažinimą ('pa' ( F (1, 21) = 7, 140, P = 0, 014, dalinis η 2 = 25, 4%) ir 'ta' ( F (1, 21) = 6, 020, P = 0, 023, dalinis η 2 = 22, 3%)) ir parodė silpną trukdžių poveikį teisingai identifikuojant neįsiurbtus žetonus ('ba' ( F (1, 21) = 3, 421, P = 0, 078, dalinis η 2 = 14, 0%) ir 'da' ( F (1, 21) = 1, 291; P = 0, 269; dalinis η 2 = 5, 8%).

Image

a, Labial; b, alveolinis.

Visas dydis

  • Atsisiųskite „PowerPoint“ skaidrę

Tik klausos eksperimentui (alveolinis ar labialinis blokas, F (1, 21) <1) reikšmingos aspiracijos ir oro pūtimų sąveikos nenustatyta, patvirtindama, kad dalyviai negalėjo girdėti oro srauto ar kompresoriaus įjungimo (3 pav.).

Image

a, Labial; b, alveolinis.

Visas dydis

  • Atsisiųskite „PowerPoint“ skaidrę

Mūsų išvados pagrindžia hipotezę, kad žmogaus suvokimo sistema integruoja specifinę, įvykiams svarbią informaciją per klausos ir lytėjimo būdus, panašiai, kaip anksčiau buvo pastebėta klausos-regos susiejime. Šis poveikis pasireiškia suvokėjams be išankstinio mokymo ar supratimo apie užduotį, taip pat tose kūno vietose, kur šio vargu ar sustiprins dažna patirtis. Šie rezultatai papildo neseniai atliktą darbą, parodantį somatosensorinės sistemos dalyvavimą kalbos suvokime 20, ir tai rodo, kad kalbos neuroninis apdorojimas yra plačiau multimodalinis, nei manyta anksčiau. Šiame darbe naudojami metodai atspindi modelį, leidžiantį ateityje atlikti pasyvaus garso taktilinio ir vizuali taktilinio integravimo funkcinius vaizdavimo būdus, taip pat daugiajutiminio suvokimo elgesio tyrimus anksčiau nepatikrintose populiacijose, įskaitant kūdikius ir aklus. Kadangi šie duomenys apibūdina suvokimo pagerėjimą pasyvaus suvokimo metu, jie suponuoja galimas būsimas garso ir telekomunikacijų programų kryptis ir pagalbines priemones klausos negalią turintiems asmenims.

Metodų santrauka

Sintetiniai oro pūkai

Oro srauto įtaisą sudarė 3 galonų (11, 35-l) „Jobmate“ oro kompresorius be alyvos, prijungtas prie „IQ Valves“ įjungimo ir išjungimo dvipusio solenoidinio vožtuvo (modelis W2-NC-L8PN-S078-MB-W6.0-V110). ) prijungtas prie „Campbell Hausfeld MP513810“ oro filtro, kuris sumažino garso tūrį, kurį praleidžia per ¼ colio vinilo vamzdelius. Vamzdeliai buvo perduoti per kabelio prievadą į garsui nepralaidų kambarį ir pritvirtinti prie mikrofono strėlės stovo. Išeinant iš mėgintuvėlio, sintetinis puff oro srautas greitai virpėjo, o vidutinė turbulencijos trukmė buvo 84 ms, palyginti su 60 ms balso pradžios laiku, kalbant apie mūsų garsiakalbio vidutinę (vidutinę) „pa“, ir artima balso pradžios momento diapazonui 54 –80 ms, kai angliškas žodis be balso (susmulkintas) sustoja 12 . Sintezuotų pūslelių išėjimo slėgis buvo sureguliuotas taip, kad dalyviai smūgiams būdavo kuo mažiau juntami. Iš tikrųjų mikrofono įrašai 8 cm atstumu parodė, kad vidutinis sintetinių pūslelių santykinis negiminis slėgis yra 0, 023, palyginti su 0, 096, kai vidutinis mūsų kalbėtojo „pa“.

Procedūra

Iš viso mes išbandėme 66 dalyvius, po 22 kiekviename iš eksperimentinių bandymų (plaštakos ir kaklo) ir tik klausos tyrime. Pusė pirmiausia gavo labiatinį („pa“, „ba“) bloką, o pusė pirmiausia gavo alveolinį („ta“, „da“) bloką. Kiekviename bloke dalyviai išgirdo 12 praktikos žetonų (šeši su šešiais ir be oro pūslelių), po kurių sekė po 16 eksperimentinių žetonų kiekvienai būklei (išsiurbti, palyginti su neįsiurbtais, pūtimas, palyginti su pūtimu, atsitiktinės atrankos būdu), iš viso 64 eksperimentiniai žetonai viename bloke. Individualizuota kompiuterio programa, įrašyta „Java 1.6“, užrašė atsakymus iš pritaikytos klaviatūros ir po kiekvieno atsakymo pristatė naujus žetonus - 1500 ms. Pusė dalyvių paspaudė kairįjį mygtuką, norėdami nurodyti atsakymą, kurį įkvepia, ir pusė paspaudė dešinįjį mygtuką.

Papildoma informacija

PDF failai

  1. 1.

    Papildoma informacija

    Šioje rinkmenoje yra papildomi metodai, 1 papildomas paveikslas ir paaiškinimai bei papildomos 1-3 lentelės.

Komentarai

Pateikdami komentarą jūs sutinkate laikytis mūsų taisyklių ir bendruomenės gairių. Jei pastebite ką nors įžeidžiančio ar neatitinkančio mūsų taisyklių ar gairių, pažymėkite, kad tai netinkama.