This paper proposes a novel regularization approach for Extreme Learning Machines. Regularization is performed using a priori spatial information expressed by an affinity matrix. We show that the use of this type of a priori information is similar to perform Tikhonov regularization. Furthermore, if a parameter free affinity matrix is used, like the cosine similarity matrix, regularization is performed without any need for parameter tuning. Experiments are performed using classification problems to validate the proposed approach

چکیده

در این مقاله، یک روش جدید منظم سازی برای ماشین های یادگیری با انعطاف حداکثری (یا ماشین یادگیری سریع- یکی از مدل‌ های شبکه‌ های عصبی) پیشنهاد می ‌گردد. فرآیند منظم سازی، با استفاده از اطلاعات فضای پیشین که به وسیله ‌ی یک ماتریس وابستگی (یا به عبارتی ماتریس میل) نمایش داده می ‌شود، صورت می ‌گیرد. نشان داده‌ ایم که استفاده از این نوع اطلاعات پیشین، مشابه با انجام فرآیند منظم سازی تیخانوف می‌ باشد. علاوه بر این، در صورتی که از یک ماتریس وابستگیِ بدون پارامتر (مشابه با ماتریس شباهت کسینوسی) استفاده شود، فرآیند منظم سازی بدون نیاز به تنظیم پارامترها صورت می‌گیرد. آزمایش ‌هایی نیز با استفاده از مسائل دسته ‌بندی صورت گرفته تا به ارزیابی روش پیشنهادی پرداخته شود.

1-مقدمه

مدل‌ های یادگیری نظارت‌ شده، به وسیله ‌ی یک مجموعه‌ ی داده ‌ای که به وسیله ‌ی مشاهدات y_i)، (x_iبه دست آمده است تشکیل می ‌شود. هدف از یادگیری، به دست آوردن یک تابع تقریب عمومیِ ناشی از اتصالات زوجی می ‌باشد. برچسب گذاری در این فرآیند یادگیری، به وسیله ‌ی یک عامل اد هاک اکسترنال (خارجی) و آن‌ هم با در نظر گرفتن توزیع و ساختار نمونه ‌های ورودی x_i صورت می ‌گیرد...