In this paper, we present a new algorithm that utilizes low-quality red, green, blue and depth (RGB-D) data from the Kinect sensor for face recognition under challenging conditions. This algorithm extracts multiple features and fuses them at the feature level. A Finer Feature Fusion technique is developed that removes redundant information and retains only the meaningful features for possible maximum class separability. We also introduce a new 3D face database acquired with the Kinect sensor which has released to the research community. This database contains over 5,000 facial images (RGB-D) of 52 individuals under varying pose, expression, illumination and occlusions. Under the first three variations and using only the noisy depth data, the proposed algorithm can achieve 72.5 % recognition rate which is significantly higher than the 41.9 % achieved by the baseline LDA method. Combined with the texture information, 91.3 % recognition rate has achieved under illumination, pose and expression variations. These results suggest the feasibility of low-cost 3D sensors for real-time face recognition

چکیده

 در این مقاله، الگوریتم جدیدی ارائه می دهیم که از داده های کم کیفیت قرمز، سبز، آبی و عمق (RGB-D) حاصل از سنسور Kinect برای تشخیص چهره تحت شرایط چالش برانگیز استفاده می کند. این الگوریتم چندین مشخصه استخراج کرده و آنها را در سطح مشخصه تلفیق می کند. روش تلفیق مشخصۀ بهتر که اطلاعات اضافی را حذف کرده و فقط مشخصات مهم را برای حداکثر تفکیک کلاسی ممکن حفظ می کند، توسعه داده شده است. همچنین پایگاه دادۀ چهرۀ 3D جدیدی را که از سنسور Kinect به دست آمده و برای جامعۀ پژوهشی عرضه شده است، ارئه می کنیم. این پایگاه داده شامل بیش از 5000 تصویر چهره (RGB-D) از 52 نفر با ژست ها، حالات، شدت نور و پوشش های مختلف می باشد. بر اساس سه تغییر اول و فقط با استفاده از داده های نویزی عمق، الگوریتم پیشنهادی می تواند به نرخ تشخیص 72.5% برسد که به طور قابل توجهی بیشتر از 41.9% است که روش مبنای LDA به آن رسیده است. تحت تغییرات شدت نور، ژست و حالت و با ترکیب با اطلاعات الگو، نرخ تشخیص 91.3% به دست آمده است. این نتایج به امکان استفاده از سنسورهای 3D ارزان برای تشخیص چهرۀ بلادرنگ اشاره می کند.

تشخیص چهره مبتنی بر اطلاعات قرمز، سبز، آبی و عمق (RGB-D) بهتر از روش های سنتی 2D عمل می کند [1, 2]. روش های موجود [3-8] می توانند به دقتی بیش از 99%  در آزمایش های دشوار از قبیل چالش بزرگ تشخیص چهره (FRGC) برسند…