دراسة تصنيف المشاعر على أساس الاندماج متعدد الوسائط
محتوى المقالة الرئيسي
الملخص
في الوقت الحاضر، لم يعد تعبير الأشخاص على الإنترنت يقتصر على النصوص، خاصة مع ظهور طفرة الفيديو القصير، مما أدى إلى ظهور عدد كبير من البيانات النموذجية مثل النصوص والصور والصوت والفيديو. بالمقارنة مع بيانات الوضع الفردي، تحتوي البيانات متعددة الوسائط دائمًا على معلومات ضخمة. يمكن أن تساعد عملية التنقيب في المعلومات متعددة الوسائط أجهزة الكمبيوتر على فهم الخصائص العاطفية البشرية بشكل أفضل. ومع ذلك، نظرًا لأن البيانات متعددة الوسائط تُظهر ميزات سلسلة زمنية ديناميكية واضحة، فمن الضروري حل مشكلة الارتباط الديناميكي داخل وضع واحد وبين أوضاع مختلفة في نفس مشهد التطبيق أثناء عملية الدمج. لحل هذه المشكلة، في هذا البحث، تم إنشاء إطار استخراج ميزة للتوسع الديناميكي ثلاثي الأبعاد بناءً على البيانات المشتركة متعددة الوسائط، على سبيل المثال الفيديو والصوت والنص. إطار عمل مطابق يعتمد على تحسين الميزات المكانية والزمانية، على التوالي لحل الارتباط الديناميكي داخل الأوضاع وفيما بينها، ومن ثم نمذجة معلومات الارتباط الديناميكي قصيرة وطويلة المدى بين الأوضاع المختلفة بناءً على الإطار المقترح. تُظهر التجارب الجماعية المتعددة التي تم إجراؤها على مجموعات بيانات MOSI
أن نموذج التعرف على المشاعر الذي تم إنشاؤه بناءً على الإطار المقترح هنا في هذه الدراسة يمكنه الاستفادة بشكل أفضل من المعلومات التكميلية الأكثر تعقيدًا بين البيانات المشروطة المختلفة. بالمقارنة مع نماذج دمج البيانات متعددة الوسائط الأخرى، فإن إطار دمج البيانات متعدد الوسائط القائم على الاهتمام المكاني والزماني المقترح في هذه الورقة يحسن بشكل كبير معدل التعرف على المشاعر ودقتها عند تطبيقها على تحليل المشاعر متعدد الوسائط، لذلك فهو أكثر جدوى وفعالية.
Received 14/09/2023
Revised 10/02/2024
Accepted 12/02/2024
Published 25/02/2024
تفاصيل المقالة
هذا العمل مرخص بموجب Creative Commons Attribution 4.0 International License.
كيفية الاقتباس
المراجع
Tan, Y., Zhang, J., & Xia, L. A survey of sentiment analysis on social media[J]. Data Anal. Knowl. Discov. .2020;4(1): 1-11. https://doi.org/10.11925/infotech.2096-3467.2019.0769.
Cimtay, Y., Ekmekcioglu, E., & Caglar-Ozhan, S. Cross-subject multimodal emotion recognition based on hybrid fusion. IEEE Access.2020;8: 168865-168878. https://doi.org/10.1109/ACCESS.2020.3023871.
Thandaga Jwalanaiah, S. J., Jeena Jacob, I., & Mandava, A. K. Effective deep learning based multimodal sentiment analysis from unstructured big data. Expert Systems.2023; 40(1): e13096. https://doi.org/10.1111/exsy.13096.
Xuyang, W. A. N. G., Shuai, D. O. N. G., & Jie, S. H. I. Multimodal Sentiment Analysis with Composite Hierarchical Fusion. Front. Comput. Sci. .2023; 17(1): 198-208. https://doi.org/10.3778/j.issn.1673-9418.2111004.
Zadeh, A., Liang, P. P., Poria, S., Vij, P., Cambria, E., & Morency, L. P. Multi-attention recurrent network for human communication comprehension. In Proceedings of the AAAI Conference on Artificial Intelligence.2018; (Vol. 32, No. 1):5642-5649. https://doi.org/10.1609/aaai.v32i1.12024.
Semma A, Hannad Y, Siddiqi I, et al. Writer identification using deep learning with fast keypoints and harris corner detector[J]. Expert Syst. Appl. . 2021; 184: 115473.https://doi.org/10.1016/j.eswa.2021.115473.
Zadeh A, Liang P P, Mazumder N, et al. Memory fusion network for multi-view sequential learning.Proceedings of the AAAI conference on artificial intelligence. 2018; 32(1):5634-5641. https://doi.org/10.1609/aaai.v32i1.12021.
Ibrahim, V., Abu Bakar, J., Harun, N. H. ., & Abdulateef , A. F. A Word Cloud Model based on Hate Speech in an Online Social Media Environment[J]. Baghdad Sci. J. 2021;18(2(Suppl.): 0937-0946. https://doi.org/10.21123/bsj.2021.18.2(Suppl.).0937.
Hameed, N. H., Alimi, A. M., & Sadiq, A. T. Short Text Semantic Similarity Measurement Approach Based on Semantic Network[J]. Baghdad Sci. J. 2022;19(6(Suppl.):1581-1591. https://dx.doi.org/10.21123/bsj.2022.7255.
Gandhi A, Adhvaryu K, Poria S, et al. Multimodal sentiment analysis: A systematic review of history, datasets, multimodal fusion methods, applications, challenges and future directions[J]. Information Fusion. 2022;424-444.https://doi.org/10.1016/j.inffus.2022.09.025.