Abstract
The Swiss Innovation Agency (CTI) has administrated its collaborative research funding scheme since the early 1980s. Between 1989 and 2002 the scheme was evaluated 14 times. In a study combining meta-evaluation and evaluation synthesis, we assessed these existing evaluations against a variety of criteria, including selected evaluation standards of the Swiss Evaluation Society. The meta-evaluation showed that the existing evaluations were mostly qualitative, internal and ex post and that evaluation practice at the CTI was episodic. The evaluations differed in quality, with most evaluation standards being fulfilled adequately to fairly well. The results of the meta-evaluation were central to the ensuing evaluation synthesis by giving information on the adequacy of the existing evaluations. The synthesis compiled the—mostly qualitative— results of the evaluations. Our study shows that there are patterns of outputs and outcomes in evidence across the evaluation studies that suggest that CTI funding is having an effect in terms of outputs and outcomes. But it also shows that there are gaps in the evidence base of the evaluation studies that make it difficult to come to more precise conclusions
چکیده
آژانس نوآوری سوئیس (CTI) از اوایل سال 1980 طرح مالی پژوهش های جمعی را اجرا کرده است. بین سال های 1989 تا 2002، این طرح 14 بار مورد بررسی و ارزیابی قرار گرفته است. در این مطالعه، با ترکیب متا تحلیل و سنتز تحلیل، این ارزیابی های موجود را در برابر انواع شاخص ها، از جمله استانداردهای ارزیابی مورد نظر جامعه ارزیابی سوئیس، مورد بررسی قرار دادیم. متا تحلیل نشان می دهد که ارزیابی های موجود عمدتا کیفی، ارسال هایی داخلی و خارجی هستند و اینکه عملیات ارزیابی در CTI دوره ای بوده است. ارزیابی ها در کیفیت، با اکثر استانداردهای ارزیابی که به اندازه ای کافی نسبتا خوب هستند، تفاوت دارد. نتایج متا تحلیل با دادن اطلاعات در مورد کفایت ارزیابی موجود به عنوان مرکز سنتز تحلیل می باشد. سنتز –عمدتا کیفی- وارد نتایج ارزیابی ها می شود. مطالعات ما نشان می دهد که الگوهایی از ورودی ها و خروجی ها در شواهدی از تمامی مطالعات پیرامون ارزیابی وجود دارد که پیشنهاد می کند که بودجه ی CTI از لحاظ ورودی ها و خروجی ها اثر گذار است. اما همچنین نشان می دهد که شکاف هایی در پایگاه شواهد مطالعاتی ارزیابی وجود دارد که مشکلاتی را برای دستیابی به نتایج دقیق تر به وجود می آورد.
کلمات کلیدی : متا تحلیل، سنتز تحلیل، اشتراک R&D، اثر، سوئیس.
1-مقدمه
تحلیل در زمینه های( RTD تحقیق، فناوری و توسعه) بسیار رایج شده است و ارزیابی ها بیشتر و بیشتر انجام می شوند. اکثر سازمان ها، برای سال های سال تا اکنون ارزیابی ها را انجام داده اند، و اغلب هنوز یکی دیگر از فعالیت های مطالعات ارزیابی در حال انجام است،بدون تلاش برای بررسی آنچه که در گذشته (مین2006) درباره ی مداخلاتی مشابهی آموخته شده است. کلا و روی هم رفته، تحلیل های RTD از تکنیک های جمعی استفاده نمی کنند. در عوض در بسیاری از مطالعات تلاش می کنند (یا مایل به این تلاش هستند) تا برای همهی مراحل در زنجیره ای از علیت ها، از مداخلات تا اثرات اجتماعی و اقتصادی بلند مدت، شواهد تازه ای را فراهم کنند (آرنولد ، 2004). یک سنتز تحلیل، یک رویه ی سیستماتیک برای سازماندهی و جمع آوری یافتههایی از یک سری تحلیل ها می باشد...