Abstract
We propose a method for head-pose invariant facial expression recognition that is based on a set of characteristic facial points. To achieve head-pose invariance, we propose the Coupled Scaled Gaussian Process Regression (CSGPR) model for head-pose normalization. In this model, we first learn independently the mappings between the facial points in each pair of (discrete) nonfrontal poses and the frontal pose, and then perform their coupling in order to capture dependences between them. During inference, the outputs of the coupled functions from different poses are combined using a gating function, devised based on the head-pose estimation for the query points. The proposed model outperforms state-of-the-art regression-based approaches to head-pose normalization, 2D and 3D Point Distribution Models (PDMs), and Active Appearance Models (AAMs), especially in cases of unknown poses and imbalanced training data. To the best of our knowledge, the proposed method is the first one that is able to deal with expressive faces in the range from $(-45^circ)$ to $(+45^circ)$ pan rotation and $(-30^circ)$ to $(+30^circ)$ tilt rotation, and with continuous changes in head pose, despite the fact that training was conducted on a small set of discrete poses. We evaluate the proposed method on synthetic and real images depicting acted and spontaneously displayed facial expressions
چکیده
ما روشی را برای تشخیص حالت ثابت چهره پیشنهاد می کنیم که مبتنی بر مجموعه ای از نقاط مشخصه صورت است. برای دستیابی به تغییرناپذیری حالت چهره، ما مدل رگرسیون فرایند گوسی مقیاسی تزویج شده (CSGPR) را برای هنجارسازی (نرمالیزه نمودن) حالت سر پیشنهاد می کنیم. در این مدل، ما ابتدا به صورت مستقل، نگاشت بین نقاط صورت در هر جفت از حالات غیرروبرو (گسسته) و حالت روبرو را می آموزیم و سپس تزویج را به منظور اتخاذ وابستگی ها بین آنها اجرا می کنیم. در مدت استنباط (پردازش)، خروجی های توابع تزویج شده از حالت های مختلف با استفاده از یک تابع قطع متناوب که براساس تخمین حالت سر برای نقاط جستجو تعبیه شده اند، ترکیب می شوند. مدل پیشنهادی، روش های مبتنی بر رگرسیون جدید برای نرمالیزه نمودن حالت سر، مدلهای توزیع نقطه ای دوبعدی و سه بعدی (PDMs)، و مدلهای نمایش فعال (AAMs) را خصوصا در حالات چهره ناشناخته و اطلاعات آموزشی غیرمتعادل بسیار بهبود می بخشد. برای بهترین معلومات، مدل پیشنهادی اولین مدل است که می تواند با چهره های گویا در محدوده چرخش افقی -45◦ تا +45◦ و چرخش عمودی -30◦ تا +30◦ و با تغییرات پیوسته در حالت سر، علیرغم این حقیقت که یادگیری در مجموعه کوچکی از نقاط گسسته انجام شده است، مواجه شود. ما مدل پیشنهادی را در تشریح تصاویر ساختگی و واقعی حالات چهره نمایش یافته عمل شده و بی اختیار ارزیابی می کنیم.