X-Emo: Disentangled Speech Tokens for Cross-Lingual Zero-Shot Expressive Text-to-Speech

Anonymous submission · Audio samples

1Emotion Preservation (Cross-lingual)

The prompt utterance carries the emotion and speaker identity; each system synthesizes the target text in another language. Direction: prompt language → target language.

Indonesian → Englishprompt → target

PromptTarget textConfucius4-TTSX-VoiceOmniVoiceOurs
angry tertawalah sepuasmu sebelum dilarangCan't you ever think about anyone but yourself? Everything you do, you only care about your own interests!
happy berusahalah untuk mengerjakannya sendiriHe was expected to miss the remainder of the season.
sad jangan menuduh sembarangan jika kau tidak memiliki buktiIf these examinations are held orally, they may be known colloquially as orals.

Chinese → Englishprompt → target

PromptTarget textCosyVoice3X-VoiceConfucius4-TTSOurs
angry 县委招待所当经理,不是一般女人干得了的,That jerk, Ethan, I swear I could just kill him with my own hands!
happy 今天看到一个超级好笑的笑话,哈哈哈笑死我了,哈哈哈。He was expected to miss the remainder of the season.
sad 所以她选择一个人去接受这一切。I can't believe they charge ten quid for using the toilets!

Indonesian → Chineseprompt → target

PromptTarget textConfucius4-TTSX-VoiceOmniVoiceOurs
angry tangkap anak kecil itu你根本不懂得感恩,每次都让人为你担心,最后却还这么不在乎!
happy sudilah kiranya bapak dan ibu sekalian untuk mendengarkan penjelasan dari saya哎呀呀呀,国庆节,祖国生日快乐啊!
sad bekerjalah dengan giat karena kami tak mampu membiayai kuliahmu rin数学真的好难啊,不管我怎么努力思考,好像还是不会做这些题,怎么办啊。

English → Chineseprompt → target

PromptTarget textCosyVoice3X-VoiceConfucius4-TTSOurs
angry 1800, he calculated.老喜欢出阴招,使手段,太不厚道了!
happy This is the way that snakes always talk.当阳光洒在脸上,微风轻拂,仿佛一切烦恼都被吹散,只剩下轻松的自在。
sad Annie, please, please don't hurt me.每次闭上眼睛,脑海里全是那些让人痛心的回忆,我忍不住流泪。

English → Indonesianprompt → target

PromptTarget textConfucius4-TTSX-VoiceOmniVoiceOurs
angry Her kind and firm glance.buka gerbang rumah sebelum ayah datang
happy And there you'll find a snap dragonfly.tolong berikan kue ini kepada safira
sad I think I have a doctor's appointment.ingatlah kembali penyesalanmu setelah menganiaya dia

Chinese → Indonesianprompt → target

PromptTarget textConfucius4-TTSX-VoiceOmniVoiceOurs
angry 我从不是什么善男信女,别用宗教那一套来感化我。kamu tak berhak ikut campur atas urusanku
happy 游戏开心就好啦,男或女,让他们揣测去,哈哈。ayo sini biar aku perkenalkan
sad 她倒吸了一口气,难过地垂下眉尾。jangan cemas operasi ini akan berjalan dengan lancar

English → Malayprompt → target

PromptTarget textConfucius4-TTSOmniVoiceVoxCPM2Ours
angry So Tom saw night as it were broad daylight.Mungkin disebabkan rumah saya dikelilingi oleh banyak bangunan-bangunan tinggi.
happy And there you'll find a snap dragonfly.Kekerapan saya menggunakan telefon bimbit adalah sangat kerap.
sad I just, I know, I don't see how they can make you leave me out. You have a new behavior, wherever you can.Ya, saya memandu sebuah kereta setiap hari.

Chinese → Malayprompt → target

PromptTarget textConfucius4-TTSOmniVoiceVoxCPM2Ours
angry 不说话是吧?说不出来啦,对吧?没话说了,对吧?啊?Dia kata pramugari ni hanya untuk orang yang tidak memiliki pendidikan tinggi.
happy 这几天宝宝特别兴奋,好像很忙一样,这边动动那边动动。Itu semua disebabkan oleh aktiviti pembalakan yang tak terkawal.
sad 很多事儿都被慢慢拆下来拼凑在心里,然后物是人非。Ya, sekolah saya menyokong bahasa yang pelbagai.

Indonesian → Malayprompt → target

PromptTarget textConfucius4-TTSOmniVoiceVoxCPM2Ours
angry jangan berpura-pura peduli dengan keadaanku sekarangYang itu memang famous waktu zaman kecil saya.
happy datanglah ke kantor bapak pukul sembilanNamun begitu, sangat cerah itu jugalah yang menyakitkan kulit saya kerana sangat panas.
sad jangan melimpahkan kekecewaanmu ke anak kecil yang tak berdosa ituKerana beliau, saya minat dengan bahasa Melayu.

2Emotion Preservation (Same-lingual)

The prompt and target languages are the same. Each system synthesizes the target text with the emotion and speaker identity of the prompt utterance.

English → Englishprompt → target

PromptTarget textCosyVoice3Confucius4-TTSX-VoiceOurs
angry There are no kitties and half grown use among them.The tower caused minor discontent, because it blocked sight lines of Central Park.
happy So, so unexpected was my charge that I knocked him off his feet.She found walking in the woods a very good way to relax.
sad I just, I know, I don't see how they can make you leave me out. You have a new behavior, wherever you can.Everything has changed. The promises and dreams we once had are shattered. How should I face this?

Chinese → Chineseprompt → target

PromptTarget textCosyVoice3X-VoiceConfucius4-TTSOurs
angry 你是怎么缠上武赫的?你缠着一个江半岛还不够吗?反共与让美国继续使用军事基地确保了美国对他的支持。
happy 和安仔开心地过一个愉快的生日!戴特是位于美国亚利桑那州亚瓦派县的一个非建制地区。
sad 当他死于绞刑架上的时候,比约特再也控制不住自己的悲伤。我本以为这段感情能走到最后,可现在一切都结束了,我该怎么办?

Indonesian → Indonesianprompt → target

PromptTarget textConfucius4-TTSX-VoiceOmniVoiceOurs
angry besok-besok jangan masuk kelas kalau tak bisa taat aturandilarang parkir di depan gerbang
happy betapa lezatnya masakan di kabin kamimarilah untuk saling toleransi dan menghormati satu sama lain
sad temuilah ibumu yang sedang sakit itu untuk terakhir kalinyaberhentilah membenci ibumu karena kau sedang membenci dirimu sendiri

3Multilingual and Cross-lingual TTS

Each sample gives the prompt utterance (speaker and style) and the target text. Direction: prompt language → target language.

English → Englishprompt → target

PromptTarget textConfucius4-TTSOmniVoiceMOSS-TTSVoxCPM2Ours
The resulting wave interference pattern is the basis of diffraction analysis.More visible enforcement of traffic regulations on motorists, bicyclists, and pedestrians has commenced.
Also, the town is pursuing increased tourism based on its ancient Serer culture.These two agencies co-operate in aspects of law enforcement, including their joint marine unit.

English → Chineseprompt → target

PromptTarget textConfucius4-TTSOmniVoiceMOSS-TTSVoxCPM2Ours
Approximately half of the students and faculty members come from overseas.而且全球百分之二十的,新发癌症病人在中国。
The third floor of the terminal has offices for the operating company and airlines.真是个浪漫的邂逅,可以说是英雄救美了。

English → Indonesianprompt → target

PromptTarget textConfucius4-TTSOmniVoiceMOSS-TTSVoxCPM2Ours
The young girl in a cartoon shirt is enjoying a ride on a swing.Sebaiknya kita jangan membicarakan ini lagi.
It is published by the Moscow Digital Media private limited company.Saya lebih memilih berpergian dengan mobil.

English → Malayprompt → target

PromptTarget textConfucius4-TTSOmniVoiceMOSS-TTSVoxCPM2Ours
Accessibility technology benefits healthy people, where we are temporarily disabled.Jadi, selalunya kebiasaan orang tua akan bercakap lebih tegas kepada golongan muda.
On activation, it would have deployed to Europe from bases in the United States.Haiwan terakhir yang saya lihat ialah kucing.

Chinese → Englishprompt → target

PromptTarget textConfucius4-TTSOmniVoiceMOSS-TTSVoxCPM2Ours
从拓宽社会融资渠道到深化房地产调控。I think they perceived that nothing was to be done at the moment.
国王安慰着王子,老头却总不服气。The author is a blogger and social media phenomenon.

Chinese → Chineseprompt → target

PromptTarget textConfucius4-TTSOmniVoiceMOSS-TTSVoxCPM2Ours
万达文化旅游的利润规模,明年将相当可观。垃圾食品油脂含量又高,不过还有另外一个原因。
其中岳阳的阿婆传奇五批次产品不合格。其中包括高超音速滑翔飞行器和超音速,燃烧冲压发动机飞行器。

Chinese → Indonesianprompt → target

PromptTarget textConfucius4-TTSOmniVoiceMOSS-TTSVoxCPM2Ours
请减速慢行,不要连续踩刹车。Pelajaran guru mana yang paling menarik.
什么打仗啦当海盗呀他全无了兴趣。Ia juga telah melakukan tur secara luas dengan aksi tersebut sebagai The Crystal Method.

Chinese → Malayprompt → target

PromptTarget textConfucius4-TTSOmniVoiceMOSS-TTSVoxCPM2Ours
让位于赢得了十二月一日总统选举的巴罗。Kami ada gelaran tersendiri untuk setiap ahli keluarga yang ada di dalam Happy Family itu.
但目前行动上网及购物比率仍偏低。Pelbagai jenis tarian, setiap bangsa dan setiap negeri ada tarian tersendiri.

Indonesian → Englishprompt → target

PromptTarget textConfucius4-TTSOmniVoiceMOSS-TTSVoxCPM2Ours
Indonesia adalah negara terbesar di dunia yang terletak hanya di pulau.And he hadn't perceived them because he had become accustomed to them.
Aku dengar sesuatu jatuh ke tanah.Dense clouds of smoke or dust can be seen through a powerful telescope.

Indonesian → Chineseprompt → target

PromptTarget textConfucius4-TTSOmniVoiceMOSS-TTSVoxCPM2Ours
Ketika musim panas datang, hawa menjadi panas.随后在老帅阮元硕的带领下,北京国安夺取当年中超冠军。
Sepertinya, cuciannya tak akan selesai malam ini但为此案给韩国民众带来烦扰而道歉。

Indonesian → Indonesianprompt → target

PromptTarget textConfucius4-TTSOmniVoiceMOSS-TTSVoxCPM2Ours
Aku bertanya padanya mengenai kecelakaan itu.Tom mengecilkan suaranya sehingga tidak ada orang yang dapat mendengarnya.
Dia menyatakan bahwa bangsa Portugis menjelajahi wilayah itu dan mengklaimnya sebagai milik Portugal.Pemain yang terkenal dengan prestasi di luar Go terdaftar di bagian mereka sendiri.

Indonesian → Malayprompt → target

PromptTarget textConfucius4-TTSOmniVoiceMOSS-TTSVoxCPM2Ours
Setiap pagi saya membaca koran dan pergi ke perusahaan.Jadi ada pelbagai cara untuk membuat pembayaran.
Saya sedang mencari dompet hitam seperti ini.Kami kerap menghadiri sambutan hari raya.

Malay → Englishprompt → target

PromptTarget textConfucius4-TTSOmniVoiceMOSS-TTSVoxCPM2Ours
Saya tidak pasti tentang penghijrahan yang terdapat di negara saya.By very dexterous military and diplomatic operations Vitellius succeeded completely.
Kerajaan saya mempunyai program kebajikan yang kukuh.He studied at the Collegium Capranica and the Pontifical Gregorian University.

Malay → Chineseprompt → target

PromptTarget textConfucius4-TTSOmniVoiceMOSS-TTSVoxCPM2Ours
Kami kerap menghadiri sambutan hari raya.或者位置明显与正常位置,不一样的电源面板等,也值得注意。
Tokoh sejarah yang terkenal di negara saya adalah Tunku Abdul Rahman, iaitu bapa kemerdekaan Malaysia.因为微整形导致毁容的事件接二连三。

Malay → Indonesianprompt → target

PromptTarget textConfucius4-TTSOmniVoiceMOSS-TTSVoxCPM2Ours
Pada pendapat saya, perkhidmatan perbankan dalam talian semakin baik di Malaysia. Teknologi juga semakin berkembang bagus di seluruh Malaysia.Guru itu, tanpa mendengar lonceng, terus saja berbicara.
Saya bangga dengan pencapaian saya setakat ini. Saya baru sahaja menghabiskan master saya.Saya akan mengirim surat kepada Pak Tanaka.

Malay → Malayprompt → target

PromptTarget textConfucius4-TTSOmniVoiceMOSS-TTSVoxCPM2Ours
Sekarang, saya sedang menanam cendawan. Namun, cendawan saya masih belum mengeluarkan hasil untuk dituai.Pada pemikiran saya, AI boleh dan patut digunakan dalam kehidupan seharian dengan baik.
Orang yang berumur lapan belas tahun ke atas terus layak mengundi di negara saya iaitu Malaysia.Zaman kian berubah, apa yang dihadapi oleh golongan yang lebih tua pada zaman mereka muda adalah berbeza dengan zaman kini.