Extracting main content from web page is the preprocessing of web information system. The content extraction approach based on wrapper is limited to one specific information source, and greatly depends on web page structure. It is seldom employed in practice. A new content extraction method is thus proposed in this paper, which can discover web page content according to the number of punctuations and the ratio of non-hyperlink character number to character number that hyperlinks contain. It can eliminate noise and extract main content blocks from web page effectively. Experimental results show that this approach is accurate and suitable for most web sites

چکیده

استخراج محتوای اصلی از صفحات وب پیش­ پردازش سیستم اطلاعاتی وب است. رویه­ی استخراج محتوای بر مبنای wrapper محدود به یک منبع اطلاعاتی خاص بوده و به میزان زیادی به ساختار صفحه­ی وب بستگی دارد. این رویه در عمل به ندرت به کار گرفته شده است. بنابراین یک روش استخراج محتوا در این مقاله پیشنهاد شده است، که می­ تواند محتوای صفحه­ ی وب را با توجه به تعداد نشان ­گذاری ­ها و نسبت تعداد کاراکتر های غیر ­ابر­پیوند به کاراکتر های شامل ابر­پیوند کشف نماید. این روش می ­تواند نویز و حذف نموده و محتوای اصلی صفحه وب را به خوبی از آن استخراج نمود نتایج آزمایشی نشان می­ دهند که این روش دقیق بوده و برای بسیاری از سایت­ های وب مناسب است.

1-مقدمه

جهش اینترنت باعث موفقیت بسیاری از برنامه­های کاربردی از قبیل بازیابی اطلاعات، به اشتراک­ گذاری دانش و ... شده و باعث سربار اطلاعات در همان زمان شده است. بنابراین به دست آورد اطلاعات دقیق و دانش از اینترنت به مشکل بغرنجی تبدیل شده است. استخراج اطلاعات صفحه­ ی وب محتوای صفحات نیمه­ ساخت­ یافته ­ی وب را به متن ساختار­ یافته تبدیل می ­کند، که می­ تواند به سادگی توسط کاربران مورد ­پرس­ و ­جو قرار گیرد. این روزها، استخراج محتوا از صفحه­ ی وب یک گام کلیدی برای کسب دانش و پیش ­پردازش و طرح یک بنیان خوب برای پردازش متن ­های آتی است...