THÔNG TIN VỀ LUẬN ÁN TIẾN SĨ
Tên đề tài luận án: NGHIÊN CỨU VÀ PHÁT TRIỂN MÔ HÌNH HỌC SÂU CHO NHẬN DẠNG CẢM XÚC TỪ TÍN HIỆU ĐIỆN NÃO TRONG ĐIỀU KIỆN TÀI NGUYÊN HẠN CHẾ
Họ và tên nghiên cứu sinh: Dương Thị Mai Thương
Chuyên ngành: Khoa học máy tính Mã số: 9 48 01 01
Cán bộ hướng dẫn khoa học: PGS.TS Phùng Trung Nghĩa
Tóm tắt các kết quả mới của luận án
- Mục tiêu nghiên cứu:
- Cập nhật các kiến thức tổng quan về bài toán EEG_ER; Nghiên cứu các kỹ thuật quan trọng cần triển khai trong các khâu thu thập, trích chọn đặc trưng tín hiệu EEG và phân lớp cảm xúc; Cập nhật các công trình nghiên cứu gần nhất ứng dụng kỹ thuật học sâu để giải quyết bài toán EEG_ER; Xác định rõ các thách thức cần phải vượt qua khi xây dựng một hệ thống EEG_ER theo định hướng AIoT (cài đặt trên các thiết bị biên có tài nguyên hạn chế).
- Nghiên cứu khả năng ứng dụng của các kỹ thuật trích chọn đặc trưng, các kỹ thuật học sâu khác nhau trong bài toán EEG_ER; Tiến hành các thử nghiệm kiểm chứng để từ đó xác định được đồng thời kiến trúc học sâu nền tảng cùng với dạng đầu vào đặc trưng phù hợp sao cho hiệu quả hoạt động là tốt nhất trong việc giải quyết bài toán EEG_ER.
- Nghiên cứu áp dụng các kỹ thuật mới kết hợp với kiến trúc học sâu nền tảng đã xác định được ở mục tiêu số 2 nhằm xây dựng một kiến trúc học sâu nhẹ có thể triển khai trên các thiết bị xử lý có tài nguyên hạn chế trong khi vẫn đảm bảo được hiệu quả nhận dạng cao đối với bài toán EEG_ER.
- Nghiên cứu áp dụng kỹ thuật học chuyển giao phù hợp nhằm nâng cao hơn nữa hiệu suất nhận dạng, tăng tốc độ suy luận mà không cần tăng kích thước mô hình. Chứng minh hiệu quả hoạt động thông qua toán học cũng như mô phỏng.
- Đối tượng nghiên cứu:
Bài toán EEG_ER; Các phương pháp trích chọn đặc trưng tín hiệu EEG; Các phương pháp học sâu; Các kỹ thuật nâng cao hiệu quả hoạt động của mạng học sâu;
Các kỹ thuật học chuyển giao.
- Phương pháp nghiên cứu:
Phương pháp nghiên cứu lý thuyết: Nghiên cứu lý thuyết về bài toán ER (đặc biệt là bài toán EEG_ER); nghiên cứu lý thuyết về các mạng học sâu, các kỹ thuật nâng cao hiệu quả hoạt động của mạng học sâu; nghiên cứu lý thuyết về các kỹ thuật học chuyển giao nhằm tìm kiếm mô hình học sâu hiệu quả với kích thước nhỏ.
Phương pháp nghiên cứu dựa trên mô phỏng: Sử dụng công cụ mô phỏng số trên Google Colab Pro để hiệu chỉnh và đánh giá các kết quả nghiên cứu dựa trên lý thuyết.
Phương pháp trao đổi khoa học: thảo luận, seminar, lấy ý kiến chuyên gia, công bố các kết quả nghiên cứu trên các hội thảo, tạp chí khoa học trong và ngoài nước.
- Ý nghĩa khoa học:
Luận án là một trong những số ít công trình khoa học ở Việt Nam nghiên cứu vấn đề tìm kiếm mô hình học sâu hiệu quả cho bài toán EEG_ER, nhằm định hướng triển khai trên các ứng dụng AIoT trong thực tế. Luận án đóng góp các giải pháp khoa học để xây dựng mô hình học sâu nhẹ hoạt động hiệu quả đối với bài toán EEG_ER. Mô hình này vừa đảm bảo kích thước nhỏ (có thể triển khai được theo thời gian thực trên những vi điều khiển thông dụng) vừa có hiệu quả hoạt động cao. Hiệu quả hoạt động đã được đánh giá bằng mô phỏng trên các bộ mẫu dữ liệu: DEAP, AMIGOS và DREAMER (được đông đảo cộng đồng quốc tế công nhận). Kiến trúc này đạt được bằng hai biện pháp cải tiến. Trước tiên là việc áp dụng các kỹ thuật Inception và Squeeze and Excitation kết hợp với mạng học sâu 1D-CNN truyền thống để tạo nên một mô hình học sâu có thể triển khai trên các thiết bị tính toán có tài nguyên hạn chế. Tiếp đó là việc áp dụng kỹ thuật học chuyển giao SKD giúp tăng hiệu suất và độ chính xác mà không làm tăng kích thước mô hình.
- Về mặt thực tiễn:
Các kết quả nghiên cứu của luận án là cơ sở cho việc nghiên cứu áp dụng thử nghiệm, nâng cao chất lượng nhận dạng đối với các bài toán EEG_ER theo định hướng AIoT trong đời sống xã hội. Một số ví dụ tiêu biểu cho các ứng dụng này là đánh giá hiệu quả của các video quảng cáo dựa trên EEG_ER, đánh giá năng lực hành vi của người lái xe sau khi sử dụng nồng độ cồn, đánh giá mức độ tự kỷ của trẻ em... Đặc biệt, luận án rất có ý nghĩa trong lớp bài toán ứng dụng hỗ trợ những người mất khả năng vận động toàn thân tái hòa nhập với cộng đồng như: phát hiện nhu cầu của bệnh nhân trong sinh hoạt hằng ngày, điều khiển xe lăn điện, điều khiển thiết bị cho nhà thông minh dựa trên tín hiệu EEG.
- Luận án đã đạt được các kết quả mới sau:
Xây dựng kiến trúc mạng học sâu hiệu quả cho việc triển khai bài toán EEG_ER cho các ứng dụng HCI thực tế, triển khai tại các thiết bị biên của mạng AIoT, nơi mà điều kiện tài nguyên bị hạn chế, là một xu hướng tất yếu. Tuy nhiên, khó khăn gặp phải là cần tìm kiếm một kiến trúc học sâu gọn nhẹ sao cho có thể cài đặt trên các thiết bị bị giới hạn bởi khả năng lưu trữ và xử lý trong khi vẫn phải duy trì được hiệu quả nhận dạng cao. Để giải quyết vấn đề này, trước tiên chúng ta cần phải xác định được kiến trúc học sâu nền tảng. Tiếp đó, cần áp dụng một số biện pháp kỹ thuật để cải tiến kiến trúc này sao cho đạt được mục tiêu về kích thước mô hình cũng như hiệu quả nhận dạng. So với mục tiêu đề ra, luận án đã thực hiện được các nội dung chủ yếu sau:
– Cập nhật các kiến thức tổng quan về bài toán EEG_ER, tập trung sâu vào nghiên cứu các kỹ thuật quan trọng cần triển khai trong các khâu thu thập, trích chọn đặc trưng tín hiệu EEG và phân lớp cảm xúc; xác định rõ các thách thức cần phải vượt qua khi xây dựng một hệ thống EEG_ER theo định hướng AIoT. Một phần của nội dung này cũng đã được công bố trong CB [1].
– Nghiên cứu khả năng ứng dụng của các kỹ thuật học sâu khác nhau trong bài toán EEG_ER; cập nhật các công trình nghiên cứu gần nhất ứng dụng kỹ thuật học sâu để giải quyết bài toán EEG_ER; tiến hành các thử nghiệm kiểm chứng để từ đó xác định được kiến trúc học sâu 1D-CNN cùng với dạng đầu vào đặc trưng FFT là phù hợp nhất đối với định hướng triển khai bài toán EEG_ER trong điều kiện hạn chế về tài nguyên. Công bố các kết quả nghiên cứu trong các bài báo CB [2], CB [3], CB [4].
– Nghiên cứu áp dụng hai kỹ thuật “Inception” và “Squeeze and Excitation” để cải tiến kiến trúc học sâu 1D-CNN truyền thống sao cho phù hợp hơn với các ứng dụng EEG_ER trong điều kiện hạn chế về tài nguyên. Đề xuất hai mô hình học sâu có kích thước nhỏ nhưng hiệu quả nhận dạng cao. Chứng minh được hiệu quả hoạt động của hai mô hình này thông qua các công cụ mô phỏng. Công bố kết quả nghiên cứu trên các công trình CB [5] (mô hình EEG_MCISNet cho bài toán phân loại nhị phân) và CB [6](mô hình EEG_SICNet cho bài toán phân loại đa lớp).
– Dựa trên mô hình học sâu EEG_SICNet đã thu được, nghiên cứu áp dụng kỹ thuật học chuyển giao SKD nhằm tăng hiệu suất nhận dạng, tăng tốc độ suy luận mà không cần tăng kích thước mô hình. Trong đó, kỹ thuật Scaled weight cho student loss giúp mô hình tập trung hơn vào các tín hiệu quan trọng sau khi trích xuất FFT, giúp tăng hiệu suất và độ chính xác mà không cần tăng kích thước mô hình. Hiệu quả hoạt động của kiến trúc đạt được (mô hình EEG_SKDNet) đã được chứng minh thông qua các công cụ mô phỏng. Công bố kết quả nghiên cứu trên công trình CB [7].
Các hướng nghiên cứu tiếp theo
Từ những kết quả đạt được, luận án định hướng một số hướng nghiên cứu và phát triển tiếp theo như sau:
Có thể thấy rằng bài toán EEG_ER là một lĩnh vực nghiên cứu hấp dẫn, đầy tiềm năng, có thể áp dụng trong rất nhiều lĩnh vực trong đời sống thực tế. Đây là một bài toán phức tạp nhưng sẽ được giải quyết nếu ta biết ứng dụng các thành tựu nghiên cứu trong các lĩnh vực như xử lý tín hiệu số, trí tuệ nhân tạo. . . Trong đó, việc áp dụng các giải pháp cải tiến kiến trúc học sâu 1D-CNN truyền thống với đặc trưng đầu vào là FFT (như đã trình bày chi tiết trong luận án) đem lại các kết quả đáng khích lệ khi triển khai các ứng dụng trong điều kiện hạn chế về tài nguyên. Vì vậy, theo quan điểm của NCS, luận án còn có một số hướng phát triển sau:
– Nghiên cứu triển khai thử nghiệm cho một số bài toán hỗ trợ quyết định dựa trên thông tin từ tín hiệu EEG như điều khiển xe lăn điện, điều khiển nhà thông minh …
– Nghiên cứu áp dụng các giải pháp kỹ thuật mới nhằm nâng cao hơn nữa hiệu quả hoạt động của kiến trúc học sâu cho bài toán EEG_ER khi triển khai trên các ứng dụng AIoT thực tế.
– Đặc biệt đối với bài toán EEG_ER, nội dung của luận án mới chỉ tập trung vào việc tìm kiếm kiến trúc học sâu hiệu quả. Bên cạnh đó, dữ liệu cũng đóng vai trò vô cùng quan trọng. Việc thiếu hụt dữ liệu cũng như sự không đồng nhất và mất cân bằng dữ liệu là những vấn đề lớn cần phải giải quyết. Cần tìm kiếm các giải pháp mở rộng và làm giàu dữ liệu hiện có, sử dụng kỹ thuật bán giám sát để gán nhãn tự động, phát triển bộ dữ liệu kiểm tra chuẩn nhằm nâng cao độ chính xác và khả năng tổng quát hóa của các mô hình nhận dạng cảm xúc.
INFORMATION ON DOCTORAL THESIS
Officical thesis title: Research and Development of Deep Learning Models for Emotion Recognition from EEG Signals under Resource Constraints
Full name: Duong Thi Mai Thuong
Major: Computer Science Code: 9 48 01 01
Supervisors: Assoc. Prof. Dr. Phung Trung Nghia
Summary of the new findings of the thesis
- Research objectives:
- Update the state of the art on the EEG_ER problem; study the key techniques to be implemented in data acquisition, EEG feature extraction, and emotion classification; review the most recent studies that apply deep learning to EEG_ER; and clearly identify the challenges to be overcome when building an EEG_ER system oriented toward AIoT (deployment on resource-constrained edge devices).
- Investigate the applicability of feature extraction techniques and various deep learning methods to EEG_ER; conduct verification experiments to determine, simultaneously, the most suitable baseline deep learning architecture and the appropriate feature input format so as to achieve the best performance for EEG_ER.
- Study the application of new techniques in combination with the baseline deep learning architecture identified in Objective 2, with the aim of constructing a lightweight deep learning model that can be deployed on resource-limited processing devices while still ensuring high recognition performance for EEG_ER.
- Investigate the use of appropriate transfer learning techniques to further improve recognition performance and speed up inference without increasing model size, and demonstrate effectiveness through both mathematical analysis and simulation
- Research subjects:
The EEG_ER problem; EEG signal feature extraction methods; deep learning methods; techniques for improving the performance of deep neural networks; transfer learning techniques.
- Research methods:
Theoretical research: Study the theory of emotion recognition (especially EEG_ER); study the theory of deep neural networks and techniques to improve their performance; study transfer learning techniques to identify effective, small-footprint deep learning models.
Simulation-based research: Use numerical simulation tools on Google Colab Pro to tune and evaluate the results derived from theory.
Scholarly communication: Conduct discussions and seminars, seek expert feedback, and publish research results in domestic and international conferences and journals.
- Scientific significance:
The thesis is among the few scientific works in Vietnam that study the search for efficient deep learning models for the EEG_ER problem, oriented toward deployment in practical AIoT applications. The thesis contributes scientific solutions for building lightweight deep learning models that operate effectively for EEG_ER. These models both ensure small size (capable of real-time deployment on common microcontrollers) and achieve high performance. The performance has been evaluated by simulation on the datasets DEAP, AMIGOS, and DREAMER (widely recognized by the international community). This architecture is achieved by two improvement measures. First is the application of Inception and Squeeze and Excitation techniques in combination with the traditional 1D-CNN deep network to form a deep learning model that can be deployed on computing devices with limited resources. Next is the application of the SKD transfer learning technique, which increases performance and accuracy without increasing model size.
- Practical significance:
The research results of the thesis provide a basis for pilot application and for improving recognition quality for EEG_ER problems in the AIoT orientation in social life. Typical examples of such applications include evaluating the effectiveness of advertising videos based on EEG_ER, assessing the behavioral capacity of drivers after alcohol consumption, and evaluating the level of autism in children. In particular, the thesis is very meaningful for the class of applications that support people with total loss of mobility to reintegrate into the community, such as detecting patients’ needs in daily activities, controlling electric wheelchairs, and controlling smart-home devices based on EEG signals.
- The thesis has achieved the following new results:
Building an efficient deep learning architecture for deploying the EEG_ER problem in practical HCI applications—on edge devices within AIoT networks where resources are limited—is an inevitable trend. However, the difficulty lies in finding a compact deep learning architecture that can be installed on devices constrained by storage and processing capabilities while still maintaining high recognition performance. To solve this problem, we first need to determine the baseline deep learning architecture. Next, certain technical measures must be applied to improve this architecture so as to meet the targets for model size and recognition effectiveness. Compared with the stated objectives, the thesis has accomplished the following main tasks:
– Updated the overview knowledge on the EEG_ER problem, with a deep focus on studying the key techniques to be implemented in the stages of EEG signal acquisition, feature extraction, and emotion classification; clearly identified the challenges to be overcome when building an EEG_ER system oriented toward AIoT. Part of this content has also been published in CB [1].
– Investigated the applicability of different deep learning techniques to the EEG_ER problem; updated the most recent studies that apply deep learning to address EEG_ER; and conducted verification experiments to determine that the 1D-CNN deep learning architecture together with FFT feature input is the most suitable for deploying EEG_ER under resource constraints. The research results were published in CB [2], CB [3], and CB [4].
– Studied the application of the two techniques “Inception” and “Squeeze and Excitation” to improve the traditional 1D-CNN deep learning architecture so that it is more suitable for EEG_ER applications under resource constraints. Proposed two deep learning models that are small in size but achieve high recognition performance. Demonstrated the effectiveness of these two models through simulation tools. The research results were published in CB [5] (the EEG_MCISNet model for binary classification) and CB [6] (the EEG_SICNet model for multi-class classification).
– Based on the obtained deep learning model EEG_SICNet, studied the application of the SKD transfer learning technique to increase recognition performance and speed up inference without increasing model size. In this, the scaled weight technique for the student loss helps the model focus more on important signals after FFT feature extraction, thereby improving performance and accuracy without increasing model size. The effectiveness of the resulting architecture (the EEG_SKDNet model) was demonstrated through simulation tools. The research results were published in CB [7].
Futher research directions
From the achieved results, the thesis orients several subsequent research and development directions as follows:
It can be seen that the EEG_ER problem is an attractive, highly promising research field that can be applied in many areas of real life. This is a complex problem but will be solved if we know how to apply research achievements in fields such as digital signal processing and artificial intelligence. Among them, the application of solutions to improve the traditional 1D-CNN deep learning architecture with FFT as the input feature (as presented in detail in the thesis) brings encouraging results when deploying applications under resource-constrained conditions. Therefore, in the view of the doctoral candidate, the thesis still has several development directions as follows:
– Study pilot deployment for several decision-support problems based on information from EEG signals, such as controlling electric wheelchairs and controlling smart homes.
– Study the application of new technical solutions to further improve the operational effectiveness of the deep learning architecture for the EEG_ER problem when deployed in practical AIoT applications.
– Especially for the EEG_ER problem, the content of the thesis has so far focused only on finding an efficient deep learning architecture. Besides that, data also plays an extremely important role. The lack of data as well as data heterogeneity and imbalance are major issues that need to be addressed. It is necessary to seek solutions to expand and enrich existing data, use semi-supervised techniques for automatic labeling, and develop standard test datasets in order to improve the accuracy and generalization capability of emotion recognition models.
Nguồn: Trường Đại học Công nghệ thông tin và Truyền thông - Đại học Thái Nguyên./.
