Context: The web has had a significant impact on all aspects of our society. As our society relies more and more on the web, the dependability of web applications has become increasingly important. To make these applications more dependable, for the past decade researchers have proposed various techniques for testing web-based software applications. Our literature search for related studies retrieved 193 papers in the area of web application testing, which have appeared between 2000 and 2013

Objective: As this research area matures and the number of related papers increases, it is important to systematically identify, analyze, and classify the publications and provide an overview of the trends and empirical evidence in this specialized field

Methods: We systematically review the body of knowledge related to functional testing of web application through a systematic literature review (SLR) study. This SLR is a follow-up and complimentary study to a recent systematic mapping (SM) study that we conducted in this area. As part of this study, we pose three sets of research questions, define selection and exclusion criteria, and synthesize the empirical evidence in this area

Results: Our pool of studies includes a set of 95 papers (from the 193 retrieved papers) published in the area of web application testing between 2000 and 2013. The data extracted during our SLR study is available through a publicly-accessible online repository. Among our results are the followings: (1) the list of test tools in this area and their capabilities, (2) the types of test models and fault models proposed in this domain, (3) the way the empirical studies in this area have been designed and reported, and (4) the state of empirical evidence and industrial relevance

Conclusion: We discuss the emerging trends in web application testing, and discuss the implications for researchers and practitioners in this area. The results of our SLR can help researchers to obtain an overview of existing web application testing approaches, fault models, tools, metrics and empirical evidence, and subsequently identify areas in the field that require more attention from the research community

چکیده

مفاد: وب تاثیر شگرفی بر تمام جنبه های جامعه ی ما داشته است. همانطور که جامعه بیشتر و بیشتر بر وب تکیه می کند، قابلیت اطمینان اپلیکیشن های وب نیز بصورت فزاینده ای مهمتر می شود. برای بالا بردن قابلیت اطمینان این اپلیکیشن ها، بالغ بر ده سال است که محققان روش های متفاوتی را برای تست اپلیکیشن های نرم افزاری مبتنی بر وب ارائه کرده اند. ادبیات تحقیق ما، 193 مطالعه ی مرتبط را در حوزه ی تست اپلیکیشن های وب که بین سال های 2000 تا 2013 است را بررسی می کند.

هدف: همانطور که این حوزه ی تحقیق رشد می کند و تعداد مقالات مرتبط با آن زیاد می شود، شناسایی، آنالیز و طبقه بندی تحقیقات انتشار یافته و ارائه ی یک دید کلی از روندها و شواهد تجربی در این زمینه خاص، دارای اهمیت است.

روش ها: ما به شیوه ی سیستماتیک، مروری (systematic literature review (SLR)) بر بدنه ی موضوع مرتبط با تستِ کاربردیِ اپلیکیشن های وب خواهیم داشت. این SLR ادامه و تکمیل کننده مطالعه ی نگاشت سیستماتیک (systematic mapping (SM)) است که اخیرا در این حوزه صورت گرفته است. به عنوان قسمتی از این مطالعه، ما به ارائه ی سه مجموعه از سوالات تحقیق، تعیین معیارهای انتخاب و اخراج، و ترکیب شواهد تجربی در این حوزه خواهیم پرداخت.

نتایج: مطالعات صورت گرفته شامل 95 مجموعه مقاله (برگرفته از 193 بازیابی شده) منتشر شده در حوزه ی تست اپلیکیشن وب در سال های 2000 تا 2013 است. داده های استخراج شده در مطالعه ی SLR از طریق مخازن آنلاین عمومی، قابل دسترس هستند. برخی از نتایج به این صورت هستند: 1- لیست تست ابزار در این ناحیه و قابلیت های آن ها 2- انواع مدل های تست و مدل های خطای پیشنهادی در این دامنه (domain) 3- روش مطالعات تجربی در این ناحیه طراحی و گزارش شده است، و 4- وضعیت شواهد تجربی و وابستگی صنعتی.

نتیجه گیری: ما در مورد روندهای درحال ظهور در تست اپلیکیشن وب بحث کردیم. همچنین مفاهیم برای محققان و پژوهشگران در این زمینه مورد بررسی قرار گرفت. نتایج SLR ما می تواند به محققان برای دستیابی یه یک دید کلی از روش های موجود در تست اپلیکیشن وب، مدل های خطا، ابزارها، متریک ها و شواهد تجربی کمک کند و متعاقبا حوزه هایی را که نیاز به توجه بیشتری از سوی جامعه ی محققین دارد را شناسایی کند.

1-مقدمه

وب تاثیر قابل توجهی بر روی تمام جنبه های جامعه از بیزینس، تحصیلات، دولت، بخش های تفریحی، صنعت گرفته تا زندگی های شخصی، دارد. مزیت اصلی اتخاذ وب برای توسعه ی محصولات نرم افزاری شامل 1- بدون هزینه ی نصب 2- ارتقاء و بهبود اتوماتیک با ویژگی های جدید برای تمام کاربران، 3- دسترسی سراسری (universal access) به تمام ماشین های متصل شده به اینترنت، و 4- مستقل بودن از سیستم عامل مشتری ها...