Thai Speech Emotion Dataset

ชุดข้อมูลจำแนกอารมณ์จากเสียงพูดภาษาไทย (Thai Speech Emotion Dataset) ประกอบไปด้วยเสียงพูดภาษาไทยที่สื่ออารมณ์ทั้งหมด 5 อารมณ์ ได้แก่ โกรธ เศร้า สุข หงุดหงิด ปกติ โดยนักแสดง 200 คน (ชาย 87 และหญิง 113) จำนวน 41 ชม. 36 นาที (27,854 ประโยค) พัฒนาโดยสถาบันวิจัยปัญญาประดิษฐ์ประเทศไทย (AIResearch) ร่วมมือกับภาควิชาวิศวกรรมคอมพิวเตอร์ คณะวิศวกรรมศาสตร์ และ ภาควิชาศิลปการละคร คณะอักษรศาสตร์ จุฬาลงกรณ์มหาวิทยาลัย พร้อมทั้งได้รับการสนับสนุนโดยบริษัท แอดวานซ์ อินโฟร์ เซอร์วิส จำกัด (AIS)

ในปัจจุบันมีชุดข้อมูลจำแนกอารมณ์จากเสียงพูดในภาษาต่างๆอยู่ค่อนข้างจำกัด ไม่ว่าจะเป็นภาษาอังกฤษ เยอรมัน อิตาเลี่ยน และอื่นๆ ดังตัวอย่างในตารางที่ 1 แต่สำหรับข้อมูลภาษาไทยยังไม่มีงานวิจัยที่พัฒนาชุดข้อมูลนี้ขึ้นมา ชุดข้อมูลนี้จึงเป็นชุดข้อมูลแรกที่วิจัยในภาษาไทย โดยมีวัตถุประสงค์เพื่อใช้ในการพัฒนาโมเดลการรู้จำอารมณ์จากเสียงพูด และเพื่อนำโมเดลไปประยุกต์ใช้ในอุปกรณ์หรือแอปพลิเคชั่นต่างๆ

ตารางที่ 1: ตัวอย่างชุดข้อมูลจำแนกอารมณ์จากเสียงพูดในปัจจุบัน

รูปแบบการบันทึกข้อมูล

ชุดข้อมูลนี้ประกอบด้วยการบันทึกข้อมูลจำนวน 100 ชุด แบ่งออกเป็น 2 รูปแบบ ได้แก่ การบันทึกข้อมูลในสตูดิโอ (Studio recording) จำนวน 80 ชุด และการบันทึกข้อมูลทางอินเทอร์เน็ต (Zoom recording) จำนวน 20 ชุด

รูปแบบที่ 1: การบันทึกข้อมูลในสตูดิโอ (Studio recording)

การบันทึกข้อมูลในห้องที่มีสภาพแวดล้อมที่แตกต่างกัน 2 ห้อง ได้แก่ ห้องอัดเสียงระดับมืออาชีพและห้องสำหรับใช้งานทั่วไป พร้อมอุปกรณ์คุณภาพสำหรับบันทึกเสียง ได้แก่ ไมค์คอนเดนเซอร์, ไมค์หนีบปกเสื้อ และกล้องดิจิตอล อุปกรณ์สำหรับบันทึกเสียงและวิดีโอ ตำแหน่งนักแสดงและการวางอุปกรณ์แสดงในรูปที่ 1. การบันทึกข้อมูลรูปแบบที่ 1 ทั้งหมด ถูกจัดทำขึ้นที่คณะอักษรศาสตร์ จุฬาลงกรณ์มหาวิทยาลัย

รูปที่ 1: ตำแหน่งนักแสดงและอุปกรณ์

รูปแบบที่ 2: การบันทึกข้อมูลทางอินเทอร์เน็ต (Zoom recording)

การบันทึกข้อมูลผ่านทางเครือข่ายอินเทอร์เน็ต ด้วยโปรแกรม Zencastr สำหรับบันทึกเสียง และ Zoom สำหรับบันทึกวิดีโอ นักแสดงมีอิสระในการบันทึกข้อมูลจากสถานที่, ใช้ไมโครโฟนและกล้องเว็บแคม (webcam) ของตนเอง โดยไม่มีข้อจำกัดของอุปกรณ์

ขั้นตอนการบันทึกข้อมูล

การบันทึกข้อมูล 1 ชุด จะถูกแบ่งออกเป็น 2 ส่วน

ส่วนที่ 1: การแสดงแบบมีประโยคให้ (Sentence)

ส่วนนี้จะบันทึกข้อมูลนักแสดงทีละ 1 คน นักแสดงจะต้องพูดตามประโยคที่กำหนดให้ทั้งหมด 3 ประโยค โดย 1 ประโยคจะแสดงทั้งหมด 5 อารมณ์ อารมณ์ละ 2 ระดับคือ ระดับปกติและระดับเข้มข้น ประโยคละ 2 รอบ นักแสดงจะต้องพูดประโยคอย่างถูกต้องและเป็นธรรมชาติ ห้ามเติมคำหรือเปลี่ยนคำในประโยคเด็ดขาด ประโยคที่ใช้ในการบันทึกเสียงได้แก่

ประโยคที่ 1: พรุ่งนี้มันวันหยุดราชการนะรู้รึยัง หยุดยาวด้วย
ประโยคที่ 2: อ่านหนังสือพิมพ์วันนี้รึยัง รู้มั้ยเรื่องนั้นกลายเป็นข่าวใหญ่ไปแล้ว
ประโยคที่ 3: ก่อนหน้านี้ก็ยังเห็นทำตัวปกติดี ใครจะไปรู้ล่ะว่าเค้าคิดแบบนั้น

ส่วนที่ 2: การแสดงแบบกำหนดสถานการณ์ (Improvisation)

ส่วนนี้จะบันทึกข้อมูลนักแสดงเป็นคู่ นักแสดงแต่ละคนจะได้รับบทบาทที่แตกต่างกัน (บทบาท A และ บทบาท B) ตามสถานการณ์ที่กำหนดไว้ นักแสดงแต่ละคู่จะต้องสนทนาตามบทบาทและอารมณ์ที่กำหนดให้ทั้งหมด 5 สถานการณ์ แต่ละสถานการณ์จะต้องแสดงยาวต่อเนื่องประมาณ 3 นาที และจะบันทึกสถานการณ์เพียงหนึ่งครั้งเท่านั้น สถานการณ์ทั้งหมดแสดงตามตารางที่ 1 ด้านล่าง

ตารางที่ 2: สถานการณ์ บทบาทและอารมณ์ที่กำหนดในการแสดง

การระบุอารมณ์จากเสียงพูด

หลังจากบันทึกข้อมูลเรียบร้อยแล้ว ข้อมูลเสียงทั้งหมดจะถูกตัดเป็นประโยคย่อย และนำมาระบุอารมณ์ ด้วยวิธีคราวด์ซอสซิ่ง (crowdsourcing) ผ่าน wang.in.th และ HOPE data annotation โดยให้ผู้ประเมินฟังเสียงและเลือกอารมณ์ผ่านระบบ ผู้ฟังสามารถเลือกอารมณ์ที่แสดงให้ 5 อารมณ์ ได้แก่ โกรธ เศร้า สุข หงุดหงิด ปกติ หรือสามารถเลือก ‘อื่นๆ’ ได้ในกรณีที่คิดว่าเป็นอารมณ์อื่น ข้อมูลเสียง 1 ประโยคจะใช้ผู้ประเมินทั้งหมด 3-8 คนและใช้วิธีเสียงข้างมากเพื่อเลือกเป็นอารมณ์สำหรับประโยคนั้นๆ (Majority emotion) และคำนวณค่าความเห็นพ้องของอารมณ์ในประโยค (Majority agreement)

ความเชื่อมั่นระหว่างผู้ประเมิน (Inter-rater reliability)

ข้อมูลอารมณ์ที่ได้รับจากผู้ประเมินทั้งหมดจะถูกนำมาความเชื่อมั่นระหว่างผู้ประเมิน ซึ่งเป็นการวัดความสอดคล้องภายในคำตอบทั้งหมดระหว่างผู้ประเมินตั้งแต่ 2 คนขึ้นไป ผู้ประเมินแต่ละคนมีความเป็นอิสระต่อกัน โดยใช้หลักการที่ว่าเมื่อผู้ประเมินทำแบบทดลองด้วยแบบชุดเดียวกัน ผลการสังเกตที่ได้ควรจะสอดคล้องกัน ค่าความสอดคล้องจะขึ้นอยู่กับความคงเส้นคงวาของคำตอบของผู้ประเมินในข้อมูลชุดนี้จะใช้วิธีการคำนวณความสอดคล้องระหว่างผู้ประเมินด้วย Krippendorff’s Alpha ซึ่งสามารถใช้ได้กับผู้ประเมินจำนวนเท่าใดก็ได้ จำนวนคำตอบของแต่ละข้อไม่เท่ากันได้ และใช้มาตรวัดระยะห่าง (Distance metric) ได้หลากหลาย ในที่นี้ใช้ Measuring Agreement on Set-values Items (MASI) [Passonneau et al. 2006] ค่าของ Krippendorff’s alpha มีค่าเท่ากับ 1 แปลว่าข้อมูลชุดนั้นมีความน่าเชื่อเป็นอย่างมาก ในการนำไปใช้ค่า alpha ควรมีค่ามากกว่าหรือเท่ากับ 0.667 ถ้าน้อยกว่านั้นถือว่าคำตอบไม่มีความสอดคล้องกันและไม่น่าเชื่อถือ

เมื่อนำข้อมูลอารมณ์ทั้งหมดมาประเมินค่าความเชื่อมั่นระหว่างผู้ประเมินอยู่ที่ 0.412 ทางผู้พัฒนาถึงทำการคัดเลือกประโยคที่มีค่าความเห็นพ้องของอารมณ์ในประโยคมากกว่าหรือเท่ากับ 0.71 เป็นต้นไป มาคำนวณใหม่ ได้ค่าความเชื่อมั่นอยู่ที่ 0.692 ซึ่งเป็นค่าที่แสดงความความสอดคล้องและน่าเชื่อถือของคำตอบ จำนวนประโยคในแต่ละอารมณ์แสดงในตารางที่ 3

ตารางที่ 3: เปรียบเทียบจำนวนประโยคในแต่ละอารมณ์ก่อนและหลังคัดเลือกประโยคที่มีค่าความเห็นพ้องของอารมณ์ในประโยคมากกว่าหรือเท่ากับ 0.71

รูปที่ 2 และ 3 แสดง confusion matrix ระหว่างอารมณ์ที่ระบุให้นักแสดงแสดง (Assigned emotion) กับอารมณ์จากเสียงข้างมากของผู้ประเมิน (Majority emotion) ซึ่งจะเห็นได้ว่าอารมณ์ที่ผู้ฟังมีความเห็นตรงกับสิ่งที่นักแสดงต้องการจะสื่อมากที่สุดคืออารมณ์ปกติ (Neutral) ในขณะที่อารมณ์โกรธ (Angry) และอารมณ์เศร้า (Sad) ผู้ฟังมักจะสับสนกับอารมณ์หงุดหงิด (Frustrated)

รูปที่ 2: emotion confusion matrix แสดงค่าจากจำนวนประโยคทั้งหมด

รูปที่ 3: emotion confusion matrix แสดงค่าหลังจากคัดกรองค่าความเห็นพ้องของอารมณ์ในประโยคมากกว่าหรือเท่ากับ 0.71 (ปกติ: Neutral, โกรธ: Angry, สุข: Happy, เศร้า: Sad, หงุดหงิด: Frustrated, อารมณ์อื่นๆ: Other, ไม่มีความเห็นพ้อง: None)

อ้างอิง

• Busso, Carlos, et al. “IEMOCAP: Interactive emotional dyadic motion capture database.” Language resources and evaluation 42.4 (2008): 335-359.
• Grimm, Michael, Kristian Kroschel, and Shrikanth Narayanan. “The Vera am Mittag German audio-visual emotional speech database.” 2008 IEEE international conference on multimedia and expo. IEEE, 2008.
• Busso, Carlos, et al. “MSP-IMPROV: An acted corpus of dyadic interactions to study emotion perception.” IEEE Transactions on Affective Computing 8.1 (2016): 67-80.
• Cao, Houwei, et al. “Crema-d: Crowd-sourced emotional multimodal actors dataset.” IEEE transactions on affective computing 5.4 (2014): 377-390.
• Kossaifi, Jean, et al. “Sewa db: A rich database for audio-visual emotion and sentiment research in the wild.” IEEE transactions on pattern analysis and machine intelligence (2019).
• Costantini, Giovanni, et al. “EMOVO corpus: an Italian emotional speech database.” International Conference on Language Resources and Evaluation (LREC 2014). European Language Resources Association (ELRA), 2014.
• Parada-Cabaleiro, Emilia, et al. “DEMoS: An Italian emotional speech corpus.” Language Resources and Evaluation (2019): 1-43.
• Passonneau, Rebecca. “Measuring agreement on set-valued items (MASI) for semantic and pragmatic annotation.” (2006).

ผู้สนับสนุน และเงื่อนไขการใช้งาน

บริษัท แอดวานซ์ อินโฟร์ เซอร์วิส จำกัด (มหาชน) ได้ทำการบริจาคชุดข้อมูลนี้ให้แก่สาธารณะ

ชุดข้อมูลนี้ได้ถูกเผยแพร่สู่สาธารณะภายใต้เงื่อนไขลิขสิทธิ์แบบครีเอทีฟคอมมอนส์ แสดงที่มา-อนุญาตแบบเดียวกัน 4.0 International (CC BY-SA 4.0)