Analysing MRI and ultrasound scans in speech synthesis
Fájlok
Dátum
Szerzők
Folyóirat címe
Folyóirat ISSN
Kötet címe (évfolyam száma)
Kiadó
Debreceni Egyetem Egészségügyi Kar
Absztrakt
Leírás
The articulatory speech synthesis is a new trend in producing machine speech which is based on processing visual information related to voice formation. The profound knowledge of static and dynamic geometrical parameters of speech organs plays a fundamental role in the realization of speech synthesis. To visualize these data MRI and ultrasound scans, which have different geometry, could serve as appropriate sources. The pixels of ultrasound frames can conveniently be managed by setting a polar coordinate system, while for the description of MRI frames a Desceartes coordinate system can serve as a start. Since the ultrasound scans, as opposed to MRI, do not show the back part and the apex of the tongue, only partial information is gained on the movement of the tongue. Consequently, it is important and not trivial at all to concert the geometry of MRI and Ultrasound resources. This writing presents a possible way of geometrical transformation.
A gépi beszéd előállításának egyik új vonulata az artikulációs beszédszintézis, ami a hangképzéshez kapcsolódó vizuális információk feldolgozásán alapszik. A hangképző szervek statikus és dinamikus geometriai paramétereinek pontos ismerete alapvető szerepet játszik a beszédszintézis megvalósításában. Ezen adatok vizuális kinyerésének alkalmas forrásai lehetnek a beszéd közben készült MRI- és UH-felvételek, melyek különböző geometriával jellemezhetők. Az UH-keretek képpontjai egy polárkoordináta-rendszer kijelölésével kezelhetők a legkényelmesebben, míg az MRIkeretek képpontjainak leírásához egy descartes-i koordináta-rendszer adhat megfelelő kiindulópontot. Mivel az UH-felvételeken nem látható a nyelv hátsó része és a nyelvhegy, így az MRI-hez képest csak részleges információt kaphatunk a nyelv mozgásáról. Ennélfogva fontos és egyben nem triviális feladat az MRI- és UH-források geometriájának összehangolása. A publikációban bemutatom a geometriai transzformációk egy lehetséges módját.
A gépi beszéd előállításának egyik új vonulata az artikulációs beszédszintézis, ami a hangképzéshez kapcsolódó vizuális információk feldolgozásán alapszik. A hangképző szervek statikus és dinamikus geometriai paramétereinek pontos ismerete alapvető szerepet játszik a beszédszintézis megvalósításában. Ezen adatok vizuális kinyerésének alkalmas forrásai lehetnek a beszéd közben készült MRI- és UH-felvételek, melyek különböző geometriával jellemezhetők. Az UH-keretek képpontjai egy polárkoordináta-rendszer kijelölésével kezelhetők a legkényelmesebben, míg az MRIkeretek képpontjainak leírásához egy descartes-i koordináta-rendszer adhat megfelelő kiindulópontot. Mivel az UH-felvételeken nem látható a nyelv hátsó része és a nyelvhegy, így az MRI-hez képest csak részleges információt kaphatunk a nyelv mozgásáról. Ennélfogva fontos és egyben nem triviális feladat az MRI- és UH-források geometriájának összehangolása. A publikációban bemutatom a geometriai transzformációk egy lehetséges módját.
Kulcsszavak
MRI, ultrasound, speech synthesis, mechanical speech, MRI, UH, beszédszintézis, gépi beszéd