Abstract
Approximations based on random Fourier features have recently emerged as an efficient and formally consistent methodology to design large-scale kernel machines. By expressing the kernel as a Fourier expansion, features are generated based on a finite set of random basis projections, sampled from the Fourier transform of the kernel, with inner products that are Monte Carlo approximations of the original kernel. Based on the observation that different kernel-induced Fourier sampling distributions correspond to different kernel parameters, we show that an optimization process in the Fourier domain can be used to identify the different frequency bands that are useful for prediction on training data. Moreover, the application of group Lasso to random feature vectors corresponding to a linear combination of multiple kernels, leads to efficient and scalable reformulations of the standard multiple kernel learning model \cite{Varma09}. In this paper we develop the linear Fourier approximation methodology for both single and multiple gradient-based kernel learning and show that it produces fast and accurate predictors on a complex dataset such as the Visual Object Challenge 2011 (VOC2011)
چکیده
به تازگی تخمین های بر اساس ویژگیهای تصادفی فوریه، به عنوان یک راهکار کارا و کاملا سازگار برای طراحی ماشین های کرنل بزرگ مقیاس[24]، ظاهر شده اند . با بیان کرنل به عنوان یک بسط فوریه، ویژگی ها بر اساس یک مجموعه متناهی از طرح های پایه، که از کرنل تبدیل فوریه نمونه برداری شده اند، همراه با ضربهای داخلی که تخمین های منتو کارلو از کرنل اصلی است، تولید می شوند . بر اساس این مشاهده که توزیع های نمونه برداری فوریه ی القاشده توسط کرنل، متناظر با پارامترهای کرنل متفاوت است، نشان می دهیم که یک فرآیند بهبود در حوضه فوریه برای تشخیص یکتای باندهای فرکانسی که برای تخمین بر روی داده آموزش مفید هستند، می تواند استفاده شود . علاوه بر این، اعمال Lasso گروهی (group Lasso) به بردارهای ویزگی تصادفی [37]متناظر با یک ترکیب خطی از چندین هسته، منجر به فرمول بندی مجدد مدل استاندارد یادگیری چندین هسته بصورت کارا و مقیاس پذیر شده است[33] . در این مقاله ما راهکار تخمین فوریه خطی را برای یادگیری کرنل مبتنی بر گرادیان را هم بصورت تکی و هم بصورت چندتایی توسعه می دهیم و نشان می دهیم که این مدل، تخمین زن هایی دقیق و سریع را بر روی دیتاست پیچیده ای همچون Visual Object Challenge 2011(VOC2011) تولید می کند .
1-مقدمه
انتخاب مناسب توابع کرنل و ابرپارامترهای آن برای موفقیت در اعمال روش های کرنل روی کاربردهای عملی، حیاتی است . این انتخاب ها تعدادی مساله را پوشش می دهند: از انتخاب یک پارامتر پهنای مستقل در کرنل های پایه ی شعاعی، مقیاس گذاری ابعاد ویژگی مختلف با وزن های متفاوت، تا یادگیری یک ترکیب خطی یا غیر خطی از چندین کرنل . در ماسائل پیچیده ی عملی همانند بینایی کامپیوتر، گاهی اوقات نیاز به چندین کرنل بصورت ذاتی، ایجاد می شود . عکس ها می توانند بوسیله توصیف کننده های مبتنی بر شکل، رنگ و جنس نمایش داده شوند، و این توصیف کننده ها نقشهای متفاوتی در دسته بندی گونه های مختلف دارند..