هدف این مطالعه اجرای انتخاب ویژگی و انتخاب نمونه برمبنای الگوریتم های ژنتیک است که از اولویت های مختلفی استفاده می کنند و نیز برای بررسی کارائی طبقه بندی در دامنه مجموعه داده های مختلف است. به علاوه، نتایج باید مقایسه شوند، که در آن یک مجموعه داده بدون بررسی دو مرحله ی پیش پردازش داده ایجاد می شود، و فقط با انتخاب ویژگی ایجاد می شود، و برخی نیز فقط با انتخاب نمونه ایجاد می شوند.
Abstract
Feature selection and instance selection are two important data preprocessing steps in data mining, where the former is aimed at removing some irrelevant and/or redundant features from a given dataset and the latter at discarding the faulty data. Genetic algorithms have been widely used for these tasks in related studies. However, these two data preprocessing tasks are generally considered separately in literature. It is unknown what the performance differences would be when feature and instance selection and feature or instance selection are performed individually. Therefore, the aim of this study is to perform feature selection and instance selection based on genetic algorithms using different priorities to examine the classification performances over different domain datasets. The experimental results obtained from four small and large scale datasets containing various numbers of features and data samples show that performing both feature and instance selection usually make the classifiers (i.e., support vector machines and k-nearest neighbor) perform slightly poorer than feature selection or instance selection individually. However, while there is not a significant difference in classification accuracy between these different data preprocessing methods, the combination of feature and instance selection largely reduces the computational effort of training the classifiers, as opposed to performing feature and instance selection individually. Considering both classification effectiveness and efficiency, we demonstrate that performing feature selection first and instance selection second is the optimal solution for data preprocessing in data mining. Both SVM and k-NN classifiers provide similar classification accuracy to the baselines (i.e., those without data preprocessing). The decisions regarding which data preprocessing task to perform for different dataset scales are also discussed
چکیده
انتخاب ویژگی و نمونه دو مرحله ی پیش پردازش در استخراج داده هستند، که هدف اولی حذف ویژگی های اضافی و زاید از یک مجموعه داده و هدف دومی رد داده های معیوب است. الگوریتم های ژنتیک به طور گسترده ای برای این وظایف در مطالعات مرتبط به کار می روند. به هرحال، این دو وظیفه ی پیش پردازش داده عموماً به طور جداگانه در مقالات بررسی می شوند. تفاوت های موجود در کارائی انتخاب ویژگی و نمونه و انتخاب ویژگی یا نمونه به طور مستقل هنوز معلوم نیست. از اینرو، هدف این مطالعه اجرای انتخاب ویژگی و انتخاب نمونه بر مبنای الگوریتم های ژنتیک با استفاده از اولویت های مختلف برای بررسی کارائی طبقه بندی در مجموعه دامنه های مختلف است. نتایج آزمایشات به دست آمده از چهار مجمکوعه داده ی کوچک و بزرگ شامل تعداد مختلفی از ویژگی ها و نمونه داده ها است که نشان می دهند کارائی انتخاب ویژگی و نمونه هردو با هم (ماشین های بردار پشتیبان و همسایگی نزدیکترین-k) معمولاً کارائی طبقه بندی را کمی کمتر از انتخاب ویژگی یا نمونه به صورت مستقل می کنند. به هرحال، هرچند تفاوت قابل توجهی در دقت طبقه بندی مابین این روش های پیش پردازش داده ی مختلف وجود ندارد، ترکیب انتخاب ویژگی و نمونه به طور قابل توجهی تلاش محاسباتی یادگیری طبقه بندی کننده ها را کاهش می دهد، که این برعکس اجرای انتخاب ویژگی و نمونه به صورت مستقل است. با بررسی کارائی و تاثیر هر دو طبقه بندی، ما نشان دادیم که کارائی اجرای انتخاب ویژگی در ابتدا و انتخاب نمونه دوم راه حل بهینه ای برای پیش پردازش داده در استخراج داده است. هر دو طبقه بندی کننده ی SVM و k-NN دقت طبقه بندی مشابه ی برای خطوط مبنا ارائه می کنند (برای آنهایی که پیش پردازش داده ندارند). همچنین تصمیم گیری در مورد اینکه وظایف کدام پیش پردازش داده برای مقیاس های مجموعه داده اجرا شود نیز بحث شده است.
1-مقدمه
فرآیند کشف دانش در پایگاه داده ها (KDD)، یا استخراج داده، معمولاً شامل تعدادی مراحل، شامل انتخاب مجموعه داده، پیش پردازش داده، تحلیل داده، و تفسیر و ارزیابی نتیجه می باشد. پیش پردازش داده یکی از مهم ترین مراحل با هدف ایجاد مجموعه داده ی انتخاب شده ی بسیار پاک برای تحلیل و ارزیابی رخداده است. به عبارت دیگر، نتایج استخراج کیفیت را نمی توان به دست آورد اگر کیفیت داده پایین باشد.
انتخاب ویژگی (یا کاهش ابعادی) و انتخاب نمونه (یا کاهش رکورد) دو مسئله ی پیش پردازش فعال در استخراج داده هستند. این به دلیل تعداد ویژگی ها و نمونه های داده ی انتخاب شده معمولاً در بیشتر مسائل استخراج داده ی دنیای واقعی خیلی بزرگ است....