الگوی ارزیابی ملی علم، فناوری و نوآوری براساس شاخص‌های کارایی، اثربخشی و سودمندی

نوع مقاله : مقاله پژوهشی

نویسندگان

1 استاد گروه مدیریت فناوری اطلاعات دانشکده مدیریت و اقتصاد دانشگاه تربیت مدرس

2 دکترای سیاستگذاری علم و فناوری دانشگاه تربیت مدرس

چکیده

بررسی تجربۀ ارزیابی علم، فناوری و نوآوری (STI) در کشور نشان می‌دهد که در ابعاد مختلف سیاستی، نهادی، قانونی و فرهنگی چالش‌های بسیاری وجود دارد. این مقاله با هدف ریشه‌یابی دلایل ناکارآمدی تجربۀ فعلی و شناسایی ابعاد بافتاری حاکم بر ارزیابی STI در کشور، عارضه‌یابی نواقص موجود را پی می‌گیرد. به این منظور، تجربیات مشابه ارزیابی ملی STI در پنج سطح نظام، چارچوب، نگاشت، الگو و فرایندِ ارزیابی به‌صورت نظام‌مند تحلیل و جایگاه ایران در مقایسه با سایر کشورها تعیین شده است. نتایج مطالعات اسنادی، پیمایش میدانی و شواهد تجربی نشان می‌دهد که یکی از گلوگاه‌های اصلی عدم کارآمدی نظام ارزیابی ملی STI، رویکرد الگوی شاخص‌محور مبتنی بر کنترل هزینه‌کرد سازمان‌های دست‌اندرکار بوده است؛ لذا در این مقاله الگوی مطلوب ارزیابی، که مبتنی بر تلفیق رویکردهای شاخص‌محور و عملکردگرا است، با هدف ایجاد یادگیری و امکان تخصیص بهینۀ منابع در نظام موجود، به‌صورت مفهومی طراحی شده است. نتایج توسعۀ الگو همراه با انتخاب 45 گونۀ شاخصی و براساس سه گروه سازمانی، پنج حوزۀ تخصصی و سه نوع نتیجۀ عملکردی حاصل شده است که درمورد هر سازمان به یک داشبورد ارزیابی عملکرد مشتمل بر پنج نمودار راداری ختم می‌شود. داشبورد طراحی‌شده از طریق ارزیابی عملکرد سه نهاد دانشگاهی (دانشگاه تهران، دانشگاه صنعتی شریف و دانشگاه شاهد) اعتبارسنجی شده است. نتایج این ارزیابی با خروجی الگوی پیشین مقایسه شده است و مؤید تأثیر جدی الگوی ارزیابی بر تحلیل نتایج سیاست‌گذاری و مدیریت سطح کلان حوزۀ STI است.

کلیدواژه‌ها

موضوعات


1. مقدمه

با ظهور اقتصادهای دانش‌بنیان، علم، فناوری و نوآوری (STI) به یکی از اولویت‌های دولت‌ها بدل شد و به همین دلیل ارزیابی عملکرد پژوهشی سازمان‌های دولتی ضرورت یافت. موفقیت بلندمدت توسعۀ فرایند STI، نیازمند اخذ بازخورد دقیق و مستمر از نتایج، پیامدها و آثار فعالیت نهادهای فعال در این حوزه است که بر یک نظام ارزیابی قدرتمند و قابل‌اطمینان مبتنی باشد. به‌ویژه، در کشورهایی چون ایران که سهم عمدۀ امکانات و بودجۀ STI در قالب تخصیص اعتبار بودجۀ پژوهش و فناوری بخش دولتی تأمین می‌شود و بخش صنعت هنوز به‌طور چشمگیر به این عرصه وارد نشده است، بخش اعظم ارزیابی از طریق ردیابی بودجۀ دولتی تخصیص‌یافته انجام خواهد شد (قاضی‌نوری و دیگران، 1390).

از سوی دیگر، به علت پراکندگی شدید مراکز سیاست‌گذار علم و فناوری در ایران، در سال‌های اخیر هر یک از آن‌ها تلاش کرده‌اند نظام‌های ارزیابی خاص خود را طراحی و پیاده‌سازی نمایند، اما در سال 1388، مجلس نخستین گام قانونی را برای ایجاد یک نظام ارزیابی ملی برداشت و کلیۀ سازمان‌ها، دانشگاه‌ها، مراکز پژوهشی و شرکت‌های دولتی را موظف ساخت که گزارش عملکرد بودجه‌های STI خود را هر سه ماه یک‌بار به وزارت علوم، تحقیقات و فناوری گزارش دهند تا این وزارتخانه بتواند یک گزارش ملی سالانه را به مجلس ارائه کند (دبیرخانۀ شورای عالی عتف، 1395).

در زمینۀ ارزیابی سطح کلان علم و فناوری و سیاست‌های آن، تلاش‌های دیگری نیز در کشور آغاز شده است؛ ازجمله ارزیابی‌های کلان علم و فناوری در جمهوری اسلامی ایران توسط شورای عالی انقلاب فرهنگی و ارزیابی سیاست‌های علم و فناوری مراکز تحقیقاتی دستگاه‌های اجرایی توسط معاونت علمی و فناوری ریاست‌جمهوری (طباطباییان و دیگران، 1391).

همچنین، ستاد راهبری نقشۀ جامع علمی کشور به‌منظور پیاده‌سازی اهداف نقشۀ جامع علمی کشور، شورای عالی عتف در تصویب آیین‌نامۀ اجرایی نظام پایش و ارزیابی علم، فناوری و نوآوری کشور، و پژوهشگاه ایرانداک در راه‌اندازی سامانه‌های متنوعی همچون ساعت، نما و دَر اخیراً اقداماتی انجام داده‌اند.

بنابراین، تنها تجربۀ ارزیابی طرح‌های STI در سطح ملی، پس از تصویب قانونی مجلس از سال 1388 آغاز شد و دولت اقداماتی برای شکل‌دهی و استقرار یک نظام ملی ارزیابی انجام داد. به گواه طراحان سامانۀ مزبور (قاضی‌نوری و فرازکیش، 1395)، این شاخص‌ها براساس الگویی منطقی چیده شده بود، اما به نظر می‌رسد که در عمل، نتایج براساس این الگو تحلیل نشده است. خبرگان حوزۀ سیاست‌گذاری علم و فناوری معتقدند که یکی از دلایل ناکارآمدی نظام ارزیابی فعلی، از الگوی طراحی‌شده ناشی شده است و لازم است با توجه به تجربۀ پیشین در آن تغییراتی اعمال شود. این مقاله با هدف طراحی الگوی مناسب برای ارزیابی STI در کشور نوشته شده است.

 

2. مرور تجربیات بین‌المللی

مروری بر متون مرتبط با ارزیابی علم، فناوری و نوآوری، بیانگر آن است که کشورهای مختلف در تشکیل نظام‌های ارزیابی رویکردهای گوناگونی اتخاذ کرده‌اند و نقش بافتار[1] پیاده‌سازی در این امر بسیار حائز اهمیت بوده است. تا امروز پژوهشگران درخصوص ارزیابی علم، فناوری و نوآوری (STI) روندهای متعدد و قابل‌توجهی را شناسایی نموده‌اند، اما هنوز این پرسش مطرح است که: «چرا نظام ارزیابی STI برخی کشورها کارآمد و برخی دیگر ناکارآمد است؟». پرسشی که طی حدود 70 سال پیشینۀ ارزیابی STI در دنیا، هنوز برجای است، روزبه‌روز بر پیچیدگی آن افزوده می‌شود و کم‌کم به نظر می‌رسد که همگان قانع شده‌اند که هیچ راه‌حل جامع و مانعی در این حوزه وجود ندارد. با این حال یکی از مهم‌ترین محورهای نظری در این حوزه، مطالعات تطبیقی درمورد تجارب بین‌المللی و راه‌حل‌هایی است کشورها اتخاذ کرده‌اند. برای انجام این قبیل مطالعات، ابتدا باید سطوح مختلف مقایسۀ نظام‌های ملی ارزیابی STI شناخته شوند.

ادبیات ارزیابی STI به‌سمت استقرار نظام‌های ملی ارزیابی STI متمایل شده است (Georghiou & Laredo, 2006). از بُعد تحلیلی، نظام مجموعه‌ای از عناصر کران‌دار وابسته به‌هم با خواص نوخاسته است که در قالب یک پارادایم ارائه می‌شود و اجزای آن با یکدیگر در تعامل هستند. با نگاهی به شکل 1 می‌توان رابطۀ یک نظام را با دیگر عناصر فراچارچوب تحلیل موضوع دریافت (Phaal et al., 2004).

 

 

شکل 1. فراچارچوب تحلیل رویکردها و سطوح مدیریت (Phaal et al., 2004)

با استفاده از این فراچارچوب تجربیات ارزیابی ملی STI کشورهای مختلف در پنج سطح تحلیل و طبقه‌بندی شده است (شکل 2). با اینکه موضوع این پژوهش در سطح الگوی ارزیابی STI مطرح است، طراحی مفهومی الگوی مناسب بدون درک صحیح سایر سطوح امکان‌پذیر نخواهد بود؛ لذا پس از شرح مختصر سطوح نام‌برده در شکل 2، وضعیت کنونی نظام ارزیابی STI کشور با توجه به این سطوح تحلیلی در تصویری یکپارچه تبیین شده است تا زمینۀ ورود به مبحث طراحی الگوی ارزیابی ملی STI فراهم شود.

 

شکل 2. سطوح تحلیل تجربیات ارزیابی ملی علم، فناوری و نوآوری

 

2. 1. تحلیل در سطح نظامهای ملی ارزیابی

محور مطالعات انجام‌شده در سطح نظام‌های ارزیابی عمدتاً تأثیر ساختار حاکمیتی پژوهش و فناوری را بر نظام ارزیابی آن بوده است. مقصود از «ساختار حاکمیتی»[2] فرایندهایی است که طی آن‌ها سیاست‌های عمومی تعریف و اجرا می‌شوند، بازیگران نقش خود را در این فرایندها ایفا می‌کنند و تعامل میان آن‌ها شکل می‌گیرد (Jordan, 2008). با توجه به این دیدگاه، گالارت (2012) سه کارکرد اصلی نظام‌های ملی ارزیابی STI را چنین ذکر کرده است (Molas-Gallart, 2012):

ـ کارکرد توزیعی که با هدف تخصیص منابع میان بازیگران بالقوه و ذی‌نفعان مختلف یک سیاست یا برنامۀ خاص انجام می‌شود، مانند سوئد (Coryn, 2007)

ـ کارکرد بهبودی که به‌دنبال یادگیری از تجارب گذشته و پیدا کردن بهترین شیوه و تکرار آن است، مانند انگلیس (Baker, 2007)

ـ کارکرد کنترلی که به بررسی دقیق نحوۀ استفاده از منابع عمومی، افراد و مؤسسات برای انجام فعالیت‌های لازم و دستیابی به اهداف سیاستی می‌پردازد، مانند اسپانیا (Cruz-Castro&Snz-Menendez, 2007).

 

2. 2. تحلیل در سطح چارچوبهای ملی ارزیابی

چارچوب‌های ارزیابی نیز با تعیین نحوۀ نقش‌آفرینی و تعاملات بازیگران در ذیل یک نظام ارزیابی می‌توانند مبنای مقایسۀ تجربیات ملی ارزیابی STI کشورها قرار گیرند (Cetindamar et al., 2009). با توجه به هدف‌گذاری اولیۀ ارزیابی، چارچوب تعامل اجزای آن می‌تواند با یکی از دو رویکرد ذیل طراحی شود (Shehabuddeen, 2000):

ـ رویکرد ایستا که به ساختار و جایگاه بازیگران در یک نظام ارزیابی STI توجه دارد (ازجمله در اسپانیا)؛

ـ رویکرد پویا که روابط علی و تأثیرات متقابل عملکرد هر یک از ذی‌نفعان را در سطوح مختلف نظام ارزیابی در نظر می‌گیرد (ازجمله در انگلیس).

شایان ذکر است که در سال‌های اخیر با توجه به افزایش پویایی‌های محیط‌های ارزیابی و توسعۀ فرایندهای شبکه‌سازی، اقبال کشورها به‌سمت چارچوب‌های ارزیابی پویا بیشتر شده است، به‌گونه‌ای که در کشورهای پیشرو در حوزۀ STI رویکردهای ایستا در ارزیابی به‌تدریج با رویکردهای پویا جایگزین شده است (OECD, 2015).

 

2. 3. تحلیل در سطح نگاشتهای ملی ارزیابی

«نگاشت» درکِ صحیح روابط ایستا بین اجزای یک نظام را نشان می‌دهد (Phaal et al., 2004) و تجزیه‌وتحلیل سطح نگاشت، نحوۀ سازماندهی اجزای نظام را مشخص می‌کند. با توجه به مطالعات انجام‌شده، برای سازماندهی ارزیابی STI در سطح ملی دو روش اصلی به رسمیت شناخته شده است: 1) سازماندهی متمرکز؛ 2) سازماندهی غیرمتمرکز (OECD, 2003). سازماندهی همواره یکی از چالش‌های جدی دولت‌ها بوده است. وزارتخانه‌ها و سازمان‌های مختلف غالباً در هماهنگی با یکدیگر اختلافاتی دارند. در سال‌های اخیر، تعداد و گسترۀ وزارتخانه‌ها و سازمان‌های علاقه‌مند به STI به‌صورت چشمگیری گسترش یافته‌اند و این امر بیشتر ناشی از ظهور ترتیبات حاکمیتی سلسله‌مراتبی و تغییر درک فرایندهای نوآوری و عوامل تعیین‌کنندۀ آن بوده است. بنابراین، با اینکه طیف وسیعی از بازیگران و تعاملات آن‌ها در نظام‌های ارزیابی STI در نظر گرفته می‌شود، اما اکثر کشورها سازماندهی سیاستی متمرکز را انتخاب کرده‌اند. به این ‌ترتیب، سیاست‌های ارزیابی و تخصیص بودجه به‌صورت متمرکز در یک نهاد منتخب حاکمیتی تعیین می‌شود و از طریق نهادهای تخصصی همکار (همانند صندوق‌های ملی) پیاده‌سازی می‌شود (OECD، 2015؛ Coryn، 2007(.

 

2. 4. تحلیل در سطح الگوهای ملی ارزیابی

«الگو» از درک تعامل پویا میان عناصر یک نظام پشتیبانی می‌کند (Phaal et al., 2004). طبقه‌بندی الگوهای ملی ارزیابی STI از حیث ارتباط با نحوۀ تخصیص بودجه (اگرچه بیشتر الگوها دارای عناصری از همه نوع هستند)، در سه نوع اصلی امکان‌پذیر است (Coryn et al., 2007):

1. عملکردمحور (بودجه‌دهی مبتنی بر عملکرد در کشورهایی همچون انگلیس)؛

2. شاخص‌محور (بودجه‌دهی بر مبنای الگوریتم‌های حاصل از برنامه‌های تحقیقاتی دانشجویی یا نهادی یا شاخص‌های کتاب‌سنجی در کشورهایی همچون استرالیا)؛

3. الگوهای ترکیبی (ترکیبی از الگوهای ارزیابی مبتنی بر عملکرد و الگوهای شاخص‌محور با تکیه بر شاخص‌های کیفی و کمی در کشورهایی همچون بلژیک).

 

2. 5. تحلیل در سطح فرایندهای ملی ارزیابی

یک نظام ارزیابی ملی می‌تواند مجموعه‌ای از فرایندهای ارزیابی منظم و مداوم[3] باشد که به‌صورت جامع، قاعده‌مند، منسجم (در سنجش، معیارهای کیفیت یا استانداردهای عملکردی) و روشمند انجام می‌شوند. برای مثال، فرایند نظام ارزیابی استرالیا (در شکل فعلی آن)، منظم و مداوم است و همیشه از رویه‌ها، روش‌ها و شاخص‌های اندازه‌گیری ورودی و خروجی در شکل یک الگوریتم خاص استفاده می‌کند. بنابراین، مشخصۀ اصلی ارزیابی منظم و مداوم این است که هر قدر هم بزرگ باشد، از نظر روش، معیارهای اندازه‌گیری، استانداردها و دیگر ویژگی‌های مربوطه تغییر نمی‌کند (Campbell, 2003).

در مقابل، فرایندهای ارزیابی متکثر (چندگانه)[4] قرار دارد که با توجه به هر موقعیت خاص، از نظر مفاهیم، روش‌ها و برنامه‌های کاربردی متنوع است. به‌عنوان مثال، در نظام ارزیابی پژوهش و فناوری آلمان، از اندازه‌گیری عملکرد برای تخصیص بودجۀ پژوهش استفاده نشده است؛ چراکه در میان دانشگاهیان آلمانی، رقابت عملکردی به‌عنوان یک اصل برای پیشرفت و تشویق کیفیت پژوهش دیده نمی‌شود. اغلب ارزیابی‌های پژوهش در آلمان برای موقعیتی خاص را سازمان‌های ارزیابی منطقه‌ای انجام داده‌اند و برای انجام ارزیابی‌های نظام‌مند در سطح ملی الزامی وجود نداشته است (Orr&Paetzold, 2006).

 

3. وضعیت تجربۀ ارزیابی STI در ایران

به‌منظور تشخیص صحیح وضعیت کنونی ارزیابی STI در کشور، مجموعاً 16 مصاحبه با دست‌اندرکاران (کارشناسان، مدیران و سیاست‌گذاران) شورای عالی عتف و سایر مجموعه‌های همکار صورت پذیرفت که نتایج آن از طریق بررسی داده‌های ثانویه شامل مستندات و آرشیو دیداری و شنیداری موجود در دبیرخانۀ این شورا (از سال 1388 تا 1395)، دقیق‌تر شد. نتایج این بررسی نشان داد که جایگاه فعلی نظام ارزیابی STI کشور به تفکیک سطوح پنج‌گانۀ پیش‌گفته از این قرار است:

ـ هدف از نظام طراحی‌شده، تدوینِ گزارش عملکرد سالیانۀ پژوهش و فناوری دستگاه‌های اجرایی در قالب ارزیابی پسینی است، بنابراین به نظر می‌رسد که کارکرد فعلی آن صرفاً نظارتی است.

ـ در نظام ارزیابی فعلی، ذی‌نفعان مختلف و نقش و اثر متقابل آن‌ها در نظر گرفته نمی‌شود و سازمان‌های دولتی تنها بازیگران منفعلی هستند که اطلاعات خود را در سامانۀ اطلاعاتی سمات وارد می‌کنند. بنابراین سامانۀ فعلی ایستا است.

ـ مجلس شورای اسلامی در سال‌های اخیر تلاش کرده است تا از طریق قانون‌گذاری بر بودجۀ پژوهش و فناوری کشور نظارت داشته باشد. بر این اساس، سازماندهی متمرکز ارزیابی STI تحت نظارت MSRT طراحی شده است. برای مثال، مجلس قانونی تصویب کرده است که بر مبنای آن همۀ سازمان‌های دولتی ملزم‌اند 1 تا 3 درصد از بودجۀ سالانۀ خود را به پژوهش و فناوری اختصاص دهند[5].

ـ الگوی ارزیابی STI فعلی مبتنی بر 57 شاخص کمی است و شاخص‌های کیفی و معیارهای عملکردی همچون کارایی و اثربخشی در آن لحاظ نشده است. درمورد همین شاخص‌های فعلی نیز تفاوتی میان شاخص‌های سازمان‌های مختلف وجود ندارد. برخی سازمان‌های دولتی به این نظام ارزیابی انتقاد دارند؛ مثلاً وزارت بهداشت، درمان و آموزش پزشکی ادعا می‌کند که برای بخش سلامت کشور باید نظام شاخصی متفاوتی در نظر گرفته شود یا وزارت کشور مدعی است که برخی از پیامدهای مهم طرح‌های تحقیق و توسعۀ این وزارت‌خانه، در این نظام قابل گزارش نیست.

ـ همچنین، نظام ارزیابی فعلی به‌منظور انجام ارزیابی‌های نظام‌مند و مستمر سالیانه پی‌ریزی شده است و حدود 700 دستگاه دولتی ملزم‌اند گزارش سالانۀ خود را در سامانۀ سمات ثبت کنند.

درمجموع، به نظر می‌رسد که این نظام در حال حاضر با ابعاد نظارتی، ایستا، متمرکز، شاخص‌محور، نظام‌مند و مستمر شکل گرفته است؛ اگرچه به گواه خبرگان، هدف‌گذاری نظام کنونی نیز به‌طور کامل محقق نشده است.

به‌علاوه،ساختار حاکمیتی نظام ارزیابی STI در کشور متشکل از چندین نهاد مختلف ازجمله شورای عالی انقلاب فرهنگی، شورای عالی امنیت ملی، مجلس شورای اسلامی، مجمع تشخیص مصلحت نظام، شورای عالی عتف و معاونت علمی و فناوری ریاست جمهوری است. با توجه به این موارد به‌عنوان پیش‌فرض‌های حاکمیت فعلی ارزیابی پژوهش و فناوری در کشور و عارضه‌یابی نظام اجرایی فعلی ارزیابی در شورای عالی عتف،[6] می‌توان چالش‌های اصلی نظام موجود را به‌صورت زیر جمع‌بندی کرد:

الف) چالش‌های راهبردی و سیاستی

ـ اگرچه بنا به تکلیف قانونی، تمرکز سازمانی در شورای عتف به‌عنوان متولی امر ارزیابی در نظر گرفته شده است، حتی در سطح دولت نیز بسیاری از مجموعه‌های بزرگ همچون معاونت علمی و فناوری یا وزارت نفت اطلاعات تحت پوشش خود را به عتف گزارش نمی‌کنند. این مورد اریب بسیاری در تحلیل نتایج به همراه خواهد داشت.

ـ نهاد متولی کارِ تصدی‌گری را نیز بر عهده گرفته است و بعضاً چالش‌های اجرا، امر راهبری را تحت‌الشعاع قرار می‌دهد.[7]

ـ نظام فعلی تنها بیانگر بُعد نظارتی ارزیابی است؛ لذا سازمان‌های تحت‌پوشش حاضر به مشارکت داوطلبانه نیستند.

ـ در طراحی نظام فعلی، نیازهای ذی‌نفعان مختلف حوزۀ علم و فناوری در نظر گرفته نشده است.

ـ امکان ردیابی بودجۀ تخصیص‌یافته در نظام فعلی وجود ندارد بنابراین تحلیل وضعیت فرایندی امکان‌پذیر نیست.

ـ گروه‌بندی ارزیابی سازمان‌ها بر مبنای ورودی مالی آن‌ها است و امکان مقایسۀ عملکرد همۀ سازمان‌ها با یکدیگر مهیا نیست.

ـ برای تدوین سیاست‌های جدید، تغییر سیاست‌های فعلی یا نحوۀ توزیع منابع ورودی سازمان‌های دولتی، از نتایج ارزیابی سالیانه هیچ‌گونه بهره‌برداری انجام نمی‌شود.

 

ب) چالش‌های اجرا و پیاده‌سازی

ـ حجم شاخص‌ها زیاد است (57 شاخص)، از استاندارد خاصی برخوردار نیست و نتایج کلیۀ فعالیت‌های حوزۀ مورد هدف را پوشش نمی‌دهد.

ـ تمامی شاخص‌ها برای تمامی سازمان‌ها معنا پیدا نمی‌کند و در عوض دستاوردهایی وجود دارد که به‌ویژه در حوزۀ علوم انسانی در شاخص‌های اعلام‌شده نمی‌گنجد.

ـ نمایندگان متصدی معرفی‌شده توسط سازمان‌ها در اکثر موارد بر تمامی موضوعات موردسؤال اشراف کافی ندارند و به‌نوعی صرفاً در جهت رفع تکلیف اقدام می‌کنند.

ـ سازمان‌های تحت‌پوشش به دلیل تفاوت ماهیت فعالیت‌های سازمانی و میزان بودجۀ تخصیص‌یافته نتایج رتبه‌بندی را نمی‌پذیرند.

 

4. تحلیل وضعیت مطلوب ارزیابی STI در کشور

برای مواجهه با چالش‌های شناسایی‌شده لازم است تغییراتی در کلیۀ سطوح ارزیابی STI کشور صورت گیرد. با توجه به ماهیت سلسله‌مراتبی و جامع‌نگر فراچارچوب تحلیل منتخب در این پژوهش، ضرورت دارد وضعیت مطلوب در هر پنج سطح تبیین گردد تا تأثیر تغییر هم‌راستا در چهار سطح دیگر بر سطح طراحی مفهومی الگوی در نظر گرفته شود.

به این ‌منظور، از سه روش مکمل برای استخراج تغییرات مورد نیاز در هر سطح استفاده شده است؛ در ابتدا اهداف شکل‌گیری نظام ارزیابی موجود مدنظر قرار گرفته است که اساساً بر مبنای تکلیف قانونی مجلس و برای نظارت بر نحوۀ هزینه‌کرد بودجۀ پژوهش و فناوری کشور و مقایسۀ عملکرد سازمان‌های مشمول از این حیث استوار بوده است. این هدف بیانگر آن است که عنصر نظارت باید جزء جدایی‌ناپذیر نظام ارزیابی قلمداد شود؛ اگرچه ترکیب سایر رویکردها با عامل نظارت امکان‌پذیر است.

پس از آن، بر مبنای بررسی تجربیات سایر کشورها، که در بخش دوم این مقاله نیز بیان شد، ترازیابی متناسب با بافتار حاکمیتی و اجتماعی کشور انجام شده است. این روش در تحلیل و طراحی وضعیت مطلوب تمامی سطوح به کار گرفته شده است. در نهایت، با انجام مصاحبۀ نیمه‌ساختاریافته با صاحب‌نظران حوزۀ سیاست‌گذاری ارزیابی STI، جنبه‌های بومی و بافتاری به‌صورت تکمیلی لحاظ شده است. جمع‌بندی نتایج مستخرج از هر سه روش، در سطوح پنج‌گانۀ پیش‌گفته به‌طور خلاصه مشتمل بر موارد ذیل است:

ـ با توجه به لزوم انجام تکلیف قانونی شورای عالی عتف درخصوص ارزیابی عملکرد دستگاه‌های اجرایی در حوزۀ پژوهش و فناوری، ضرورت هدایت سازمان‌های مشمول به‌سمت اجرای طرح‌های پژوهشی اولویت‌دار و افزایش کیفیت طرح‌های پژوهش و فناوری انجام‌شده و ارتباط داشتن نتایج آن‌ها با نیازهای جامعه،[8] به نظر می‌رسد که نظام ارزیابی STI در ایران زمانی به‌سمت مطلوبیت پیش می‌رود که رویکردهای توزیعی و بهبودی نیز اندک‌اندک در فرهنگ ارزیابی سطح ملی وارد شده باشند.

ـ به‌منظور مدیریت چالش ذی‌نفعان چندگانه و عدم ناهماهنگی میان این نهادها در سطح ملی و نیز سازگاری با نظام ارزیابی بهبودی باید چارچوب ارزیابی پویا طراحی شود.

ـ به‌منظور تقویت ابعاد نظارتی ارزیابی، تمرکز بر فرایند اجرایی آن لازم است و این از طریق سازماندهی متمرکز امکان‌پذیر خواهد بود. با توجه به اختیار قانونی MSRT، سازماندهی متمرکز همچنان یک اولویت مهم در آیندۀ ارزیابی STI ایران است؛ البته باید توجه داشت که این تمرکز به ارزیابی طرح‌های STI سازمان‌های دولتی کشور محدود می‌شود.

ـ اتخاذ یک رویکرد بلندمدت و ارزیابی تأثیر طرح‌های STI، توجه به کیفیت طرح‌های هر سازمان، مقایسۀ عملکرد سازمان‌های مختلف و توجه به ماهیت متفاوت طرح‌ها و سازمان‌ها در طراحی الگوی ارزیابی، از مهم‌ترین نکاتی است که خبرگان در این سطح به آن توجه کردند. به نظر می‌رسد که الگوی مطلوب ارزیابی ملی STI می‌تواند عملکردگرا شود، به شرطی که جنبۀ یادگیری نظام نظارتی فعلی به‌تدریج تقویت شو و بودجۀ سازمان‌ها نیز براساس عملکرد قبلی آن‌ها تخصیص یابد تا ضمانت اجرایی لازم هم تأمین شود.[9]

ـ هر سه کارکرد نظارت، توزیع و بهبود نظام ارزیابی از طریق فرایندهای ارزیابی منظم و مستمر تقویت خواهد شد؛ البته ارزیابی‌های مقطعی مبتنی بر نیازهای خاص نیز می‌تواند مکمل آن باشد.

 

5. طراحی مفهومی الگوی مطلوب ارزیابی ملی STI

تحلیل شکاف میان شرایط موجود و مطلوب وضعیت ارزیابی نظام‌مند STI در سطح ملی نشان می‌دهد که از میان پنج سطح پیش‌گفته، سه سطح نظام، چارچوب و الگو به تغییرات اساسی نیاز دارد و دستیابی به آن جز از طریق اجرای یک روند تغییر تکاملی امکان‌پذیر نخواهد بود. با پذیرش لزوم تغییرات راهبردی در سه سطح نظام، چارچوب و الگوی ارزیابی[10] در این پژوهش، طراحی الگوی مطلوب در پاسخ به سه چالش اصلی توسعه خواهد یافت که در بخش پیشین به آن‌ها اشاره شد.

چالشِ اول نظارتی بودن صرف نظام ارزیابی است. برای رفع این معضل و حرکت به‌سمت نظامی یادگیرنده، طرح الگویی نتیجه‌محور لازم است که فرایند کامل ارزیابی همراه با حلقۀ بازخورد از عملکرد موجود داشته باشد (Rossi et al., 2004).

چالشِ دوم ایستا بودن چارچوب ارزیابی فعلی است. همان‌طور که پیش از این نیز بیان شد، پویایی چارچوب ارزیابی حاصل تعامل و مشارکت کلیۀ ذی‌نفعان است و در نتیجۀ آن طرح الگوی ذی‌نفع‌محور مناسب خواهد بود (Hansen, 2005). لازم به ذکر است که هر یک از ذی‌نفعان اصلی طرح‌های علم، فناوری و نوآوری در سطح ملی، به بخش خاصی از فرایند STI مرتبط‌اند؛ اولین گروه ذی‌نفعان، سیاست‌گذاران این حوزه‌اند که وظیفۀ اصلی آنان هدف‌گذاری و به تناسب آن تخصیص بودجه (به‌عنوان ورودی اصلی فرایند) براساس نیازهای جامعه است. بنابراین، کاربر اصلی ارزیابی اهداف و به‌تبع آن ورودی‌ها، سیاست‌گذاران خواهند بود که از آن برای ارزیابی سیاست‌های کلان STI استفاده خواهند کرد.

متخصصان (پژوهشگران و فناوران) دومین گروه ذی‌نفعان کلیدی هستند و معمولاً نتایج مستقیم و بلافاصلۀ طرح‌های STI حاصل کار ایشان است، لذا ارزیابی خروجی‌های فعالیت این گروه در فرایند STI بیانگر میزان کارایی طرح‌ها خواهد بود.

سومین گروه ذی‌نفعانِ کلیدی بهره‌برداران نتایج اغلب میان‌مدت طرح‌های STI هستند که فعالیت‌های آن‌ها معمولاً مربوط به کاربردی‌سازی نتایج پژوهش و فناوری به‌ویژه در راستای تجاری‌سازی و توسعۀ نوآوری است. با توجه به اینکه زمانی یک طرح STI اثربخش خواهد بود که بتوان آن را در عرصۀ عمل به کار برد، ارزیابی پیامدهای فعالیت بهره‌برداران، اثربخشی فرایند STI را در طرح‌های مذکور نشان خواهد داد.

یک طرح زمانی سودمند خواهد بود که منافع نهایی آن به جامعه برسد و نیازهای جامعه را برطرف کند. در این راستا، ملاک ارزیابی سودمندی آن دسته از تأثیرات اغلب بلندمدت طرح‌های STI خواهد بود که عموم مردم جامعه از آن‌ها منتفع شوند.

به این ترتیب، با ایجاد تناظر یک‌به‌یک میان گروه ذی‌نفعان کلیدی فرایند STI با خروجی فعالیت‌های STI در هر مرحله، یک سیر نتیجه‌گرا ایجاد می‌شود که در آن می‌توان مجدداً از تأثیرات یک طرح برای رفع نیازهای جامعه به اهداف سیاست‌گذاری، بازخورد دریافت نمود. این فرایند در قالب یک کمربند مدور حول هستۀ مرکزی و به‌صورت نقطه‌چین در شکل 3 مشاهده می‌شود که از اهداف به ورودی، سپس خروجی‌ها، پیامدها و تأثیرات ادامه می‌یابد. فلش‌های دوطرفه در الگو تناظر ذی‌نفعان کلیدی را با مفاد ارزیابی مرتبط با آن‌ها نشان می‌دهد.

چالشِ سوم شاخص‌محوری صرف الگوی پیشین (متشکل از 57 شاخص) است که برای کلیۀ طرح‌ها در تمامی حوزه‌های تخصصی و سازمان یکسان تعریف شده است. به‌منظور حل این معضل، الگو ترکیبی خواهد شد. بنابراین، لایۀ سوم توسعۀ الگو به اضافه شدن شاخص‌های عملکردی به دو لایۀ پیشین معطوف است که با ماهیت طرح و نوع سازمان (موضوع بخش بعدی) تناسب دارند. در شکل 3 نمایی از این تلفیق سه‌گانه ارائه شده است.

 

شکل 3. توسعۀ طرح الگوی یکپارچه (جامع) پژوهش

همان‌طور که در شکل 3 مشاهده می‌شود، لازم است در لایۀ سوم برای ارزیابی خروجی، پیامد و تأثیرْ نظام شاخص‌ها طراحی شود. مجموعۀ شاخص‌های خروجی‌های فرایند STI در راستای فعالیت‌های متخصصان حوزه، نشان‌دهندۀ کارایی نظام است که در این پژوهش اصطلاحاً «ربع کارایی» نامیده شده است. با توجه به نظام شاخص‌هایی که در این محدوده تعریف خواهد شد، مجموعۀ امتیاز این شاخص‌ها از طرح‌های هر سازمان، کارایی آن را در نمودار راداری نهایی نشان خواهد داد. به همین ترتیب، ربع اثربخشی در ارزیابی فعالیت‌های بهره‌برداران فرایند STI و ربع سودمندی نیز در ارزیابی تأثیرات طرح‌ها بر زندگی مردم جامعه تعریف شده است.

ربع انطباق یا تناسب که نیازهای جامعه، اهداف و ورودی‌های طرح‌های STI را در مقایسه با هم قرار می‌دهد، در محدودۀ ارزیابی سیاست می‌گنجد، لذا از دایرۀ این پژوهش خارج است، اما سایر محققان در این خصوص مطالعاتی انجام داده‌اند (سلطانی، 1390) که می‌توان نتایج آن‌ها را به الگوی مذکور اضافه کرد و ارزیابی کاملی از کل چرخۀ مذکور به دست آورد. در این مقاله، فرض بر آن است که اهداف سیاستی مبتنی بر نیازهای جامعه تدوین شده است و ورودی‌های مالی نیز براساس آن تخصیص یافته است. بنابراین با استفاده از نسبت شاخص‌های خروجی، پیامدی و تأثیر، به بودجۀ ورودی به طرح‌های سازمان‌ها، به‌ترتیب مؤلفه‌های عملکردی کارایی، اثربخشی و سودمندی استخراج خواهد شد.

 

6. توسعۀ الگوی مطلوب ارزیابی ملی STI

برای توسعۀ الگوی مفهومی، لازم است چارچوب شاخص‌ها به‌عنوان ابزار مبین خروجی‌های الگوی ارزیابی با توجه به سطح ارزیابی و تفکیک صحیح موضوعِ ارزیابی طراحی شود. در سطح ارزیابی ملی STI، تجربۀ 14 کشور[11] در تدوین شاخص‌های STI مورد بررسی قرار گرفت. در تمامی الگوهای شاخص‌محور استفاده‌شده در ارزیابی STI این کشورها، طبقه‌بندی خاصی از طرح‌های مربوط به کار گرفته شده است.

در این پژوهش یکی از کاربردی‌ترین طبقه‌بندی‌های مبتنی بر حوزه‌های تخصصی انتخاب شده است که بانک جهانی آن را ارائه داده است (World Bank, 2004). در این تفکیک، طرح‌ها در پنج گروه علوم طبیعی، علوم انسانی، علوم اجتماعی، علوم سلامت و علوم مهندسی تقسیم شده‌اند.

علاوه بر تقسیم‌بندی طرح‌ها در حوزه‌های تخصصی، سازمان‌های متولی نیز از حیث رسالت سازمانی با یکدیگر تفاوت اساسی دارند. در الگوی پیشین این سازمان‌ها برحسب میزان بودجۀ تخصیص‌یافته به سه گروه A، B، و C تقسیم شده بودند، اما در این پژوهش به‌منظور ایجاد امکان مقایسۀ عملکرد سازمان‌ها در یک گروه خاص، شاخص‌های خروجی، پیامدی و تأثیر نسبت به ورودی مالی طرح‌ها بی‌مقیاس (شاخص‌های نسبی) شده است و بودجه معیار عملکرد نخواهد بود؛ به این ترتیب، امکان استفاده از نتایج تحلیل در سیاست‌گذاری توزیع منابع نیز به وجود می‌آید، چراکه عملکرد هر سازمان نسبت به بودجۀ دریافتی آن سنجیده شده است.

پس از مصاحبه با خبرگان حوزه، به نظر می‌رسد که حداقل سه گروه سازمانی: 1) دانشگاه‌ها و پژوهشگاه‌ها؛ 2) دستگاه‌های اجرایی؛ و 3) شرکت‌های دولتی و بانک‌ها تفکیک‌پذیر خواهند بود. به این ترتیب، گونه‌شناسی شاخص‌های توسعۀ الگو 45 گونه خواهد بود.

اگرچه سطح گونه‌شناسی سازمان‌ها (دانشگاه و پژوهشگاه، دستگاه اجرایی، و شرکت‌های دولتی و بانک‌ها) در پرسشنامه ـ مصاحبه با خبرگان منعکس شده است، به‌منظور مشخص نمودن شاخص‌های سنجش (خروجی، پیامدی و تأثیر) در هر حوزۀ تخصصی (علوم طبیعی، مهندسی، سلامت، انسانی و اجتماعی)، که درواقع تلفیق دو سطح گونه‌شناسی حوزه‌های تخصصی با شاخص‌های سنجش خروجی است، ابتدا لازم بود مجموعۀ[12] شاخص‌های هر حوزۀ تخصصی به تفکیک نوع شاخص، در طرح‌های سایر سازمان‌های دولتیِ مشابه در کشورهای دیگر، تدوین شود و پس از غربالگری آن‌ها، در پرسشنامه-مصاحبۀ مذکور خبرگان هر حوزه[13] از میان گزینه‌های موجود تعداد محدودتری را انتخاب کنند که با شرایط مطلوب کشور ما هماهنگی دارند. لازم به ذکر است که در این مجموعۀ شاخص‌ها، فقط آن‌هایی مدنظر قرار گرفته‌اند که به‌صورت عام (در اکثر زیرحوزه‌ها) قابل‌سنجش هستند؛ لذا انتخاب آن‌ها سبب خواهد شد در بودجۀ پژوهش و فناوری جهت‌گیری خاصی به‌سمت آن خروجی‌ها اتفاق بیفتد. به‌عنوان مثال، حمایت از ثبت اختراعات در حوزۀ فنی ـ مهندسی می‌تواند آمار تولید پتنت را در کشور افزایش دهد.

از نظر زمان‌بندی اجرا، طی بازۀ زمانی مردادماه 1394 تا اردیبهشت‌ماه 1395 تعداد 41 مصاحبه ـ پرسشنامه طیّ 57 جلسه با خبرگان منتخب، انجام[14] و نتایج آن در دو بخش کلی جمع‌بندی شد. بخش اول، ارائۀ شاخص‌های منتخب هر حوزۀ تخصصی بر مبنای اخذ بالاترین امتیاز اعطاشده توسط خبرگان در پرسشنامه‌ها، و بخش دوم، پیشنهادهای سیاستی و الزامات پیاده‌سازی درمورد موضوع پژوهش است.

 

6. 1. شاخص‌های منتخب در حوزههای تخصصی

در بخش پیشین بیان شد که در ارزیابی طرح‌های STI، برای هر سازمان سه نوع شاخص خروجی برای هر حوزۀ تخصصی، مجموعاً 15 گونۀ شاخصی وجود دارد. با توجه به محدودیت انتخاب، صرفاً پنج شاخص در هر گروه خروجی‌ها، پیامدها و تأثیرات، و در نظر گرفتن شاخص بودجه به‌عنوان تنها شاخص ورودی، مجموعاً 16 شاخص در هر حوزۀ تخصصی جای خواهد گرفت. به‌عنوان مثال، شاخص‌های منتخب گروه تخصصی علوم مهندسی همراه با درصد وزنی هر شاخص، به تفکیک نوع سازمانی که عملکرد آن سنجیده می‌شود، در جدول 1 ارائه شده است.


 

جدول 1. شاخص‌های منتخب ارزیابی طرح‌های حوزۀ علوم مهندسی همراه با درصد وزنی به تفکیک نوع سازمان

درصد وزنی

شاخص‌های تأثیر

درصد وزنی

شاخص‌های پیامدی

درصد وزنی

شاخص‌های خروجی

 

23

کاهش مصرف انرژی

25

ایجاد شرکت‌های نوپا

27

محصولات، مواد و فرایندهای جدید یا بهبودیافته

دانشگاه‌ها و پژوهشگاه‌ها

22

افزایش کیفیت زندگی عموم افراد جامعه

20

همکاری با صنعت

25

ثبت اختراع/ نشان تجاری/ برند ملی

22

محافظت از محیط زیست

20

درآمدهای پژوهشی

17

ساخت نمونۀ اولیه (پایلوت)

20

ترویج و توسعۀ علمی

18

جذب اعتبار از شخص ثالث

17

گزارش‌های فنی

13

افزایش سرمایه‌گذاری در بخش علوم مهندسی

17

انتقال دانش و فناوری

14

کاهش هزینه‌های تولید

25

افزایش کیفیت زندگی عموم افراد جامعه

26

توسعۀ استانداردهای جدید فنی

34

همکاری‌های بین‌المللی

دستگاههای اجرایی

25

افزایش صادرات

23

بهبود ظرفیت جذب فناوری

19

جوایز معتبر

22

کاهش مصرف انرژی

19

جذب اعتبار از شخص ثالث

16

ساخت نمونۀ اولیه (پایلوت)

16

محافظت از محیط زیست

17

انتقال دانش و فناوری

16

بهبود کیفیت

12

افزایش سرمایه‌گذاری در بخش علوم مهندسی

15

توسعۀ اتحادهای راهبردی فناوری

15

آموزش فنی و حرفه‌ای

28

افزایش صادرات

26

توسعۀ استانداردهای جدید فنی

24

محصولات، مواد و فرایندهای جدید یا بهبودیافته

شرکتهای دولتی و بانک‌ها

28

کاهش مصرف انرژی

23

بهبود ظرفیت جذب فناوری

21

ساخت نمونۀ اولیه (پایلوت)

18

محافظت از محیط زیست

19

جذب اعتبار از شخص ثالث

20

گزارش‌های فنی

14

افزایش سرمایه‌گذاری در بخش علوم مهندسی

17

انتقال دانش و فناوری

18

ثبت اختراع/ نشان تجاری/ برند ملی

12

افزایش امنیت ملی

15

توسعۀ اتحادهای راهبردی فناوری

17

کاهش هزینه‌های تولید

طی مصاحبه‌های انجام‌شده در حوزۀ علوم مهندسی، تغییر قابل‌ملاحظه‌ای در رویکرد فعالان این حوزه مشاهده شد که نتایج آن در شاخص‌های تعیین‌شده مشهود است: همان‌طور که در نظام ارزیابی فعلی حوزۀ STI نیز مطرح است، در حال حاضر، شاخص‌های ارزیابی نتایج پژوهش بیشتر به مقالات و سایر خروجی‌های انتشاراتی معطوف است؛ اما مجموعۀ خبرگان به‌ویژه در حوزۀ علوم مهندسی تأکید کردند که اکنون زمان آن است که خروجی‌های فناورانه و نوآورانۀ پژوهش‌ها مورد حمایت قرار گیرد و عملکرد سازمان‌ها در صورتی کارا و اثربخش خواهد بود که جنبه‌های کاربردی تحقیقات آن‌ها پررنگ شود.

به این منظور، شاخص‌های ارزیابی STI نیز باید به این نوع جهت‌گیری کمک کند، لذا شاخص‌هایی همچون ثبت اختراعات، نمونۀ محصولات، نمونۀ پایلوت، گزارش‌های فنی و رویه‌های کاهش هزینۀ تولید، حتی در سطح فعالیت‌های دانشگاه‌ها و پژوهشگاه‌ها نیز در اولویت قرار گرفته‌اند و دیگر شاخص‌هایی مانند مقاله معیار ارزیابی عملکرد یک دانشگاه در این حوزه نیست. با این رویکرد خبرگان معتقدند که دانشگاه‌ها باید به‌سمت نسل سوم خود (دانشگاه‌های کارآفرین) پیش روند.

مثالی دیگر از چنین تغییر رویکردهایی شاخص‌های گزینش‌شده برای حوزۀ علوم انسانی است (جدول 2).

 

جدول 2. شاخص‌های منتخب ارزیابی طرح‌های حوزۀ علوم انسانی همراه با درصد وزنی به تفکیک نوع سازمان

درصد وزنی

شاخص‌های تأثیر

درصد وزنی

شاخص‌های پیامدی

درصد وزنی

شاخص‌های خروجی

 

24

ترویج و توسعۀ علمی

28

ایجاد شرکت‌های نوپا

30

کتاب (درسی)/ فصل کتاب

دانشگاه‌ها و پژوهشگاه‌ها

24

افزایش سرمایه‌گذاری در بخش علوم انسانی

24

راه‌اندازی کارهای خلاقانه

25

فعالیت‌های بررسی هم‌تراز/ عضویت در شوراهای تخصصی/ مشارکت در جوامع یادگیری

22

حفظ میراث فرهنگی

18

درآمدهای پژوهشی

15

کارهای کتاب‌شناسی عمده/ کارهای مروری سالیانه در یک حوزه

16

تغییر فهم عمومی مردم

17

اجرای موسیقی/ تئاتر

12

حضور در رسانه‌ها/ سخنرانی‌ها

14

تغییر سیاست‌های عمومی

13

آیین‌نامه‌ها و سیاست‌های جدید یا تغییریافته

9

ویژه‌نگاشت یا رساله

27

تغییر فهم عمومی مردم

35

تولید محصولات جدید فرهنگی/ ادبی/ هنری

32

ایجاد پایگاه داده و مجموعه‌های داده

دستگاههای اجرایی

26

حفظ میراث فرهنگی

20

راه‌اندازی کارهای خلاقانه

28

ثبت اختراع/ نشان تجاری/ برند ملی

19

تغییر سیاست‌های عمومی

15

ساخت فیلم

17

همکاری‌های بین‌المللی

18

ترویج و توسعۀ علمی

15

اجرای موسیقی/ تئاتر

13

گزارش حفاظت از هنر

10

بهبود وجهۀ ملی

15

همکاری در سیاست‌گذاری

10

سازماندهی کنفرانس (دانشگاهی)/ کارگاه آموزشی/ سمینار آموزشی

24

بهبود وجهۀ ملی

33

تولید محصولات جدید فرهنگی/ ادبی/ هنری

24

ثبت اختراع/ نشان تجاری/ برند ملی

شرکتهای دولتی و بانک‌ها

22

حفظ میراث فرهنگی

23

راه‌اندازی کارهای خلاقانه

23

فیلم‌نامه (تئاتر/ مستند)/ نت موسیقی

19

افزایش یادگیری یا حافظه‌نهادی

18

ساخت فیلم

20

جوایز معتبر

18

تغییر فهم عمومی مردم

14

اجرای موسیقی/ تئاتر

17

همکاری‌های بین‌المللی

17

افزایش کیفیت زندگی عموم افراد جامعه

12

برپایی نمایشگاه

16

روزنامه/ مجله/ بولتن/ ماهنامه/ مجلات آنلاین

 

خبرگان حوزه معتقدند که ارزیابی پژوهش علوم انسانی تحت تسلط رویکردهای کتاب‌سنجی قرار گرفته است، در حالی که این رویکردها اغلب برای علوم طبیعی کاربرد دارد و گرایش آن‌ها به تولید خروجی‌های جهان‌شمول همانند مقاله است؛ البته چالش اصلی این حوزه، برقراری توازن میان ارزیابی کیفیت علمی و ارتباط اجتماعی- فرهنگی طرح‌های حوزه است. تقریباً هیچ نظام کاملی در این خصوص وجود ندارد؛ طرح‌های حوزۀ علوم انسانی ماهیت متفاوتی را در بر دارند، درنتیجه شاخص‌های دیگری را می‌طلبد. ازجملۀ این تفاوت‌های ماهوی عبارت‌اند از: بومی بودن دانش تولیدی در این حوزه، الگوهای انتشاراتی متفاوت و سهم بیشتر برای جزوات، کتاب‌های درسی، گزارش‌های حفاظت هنری،[15] متن نمایشنامه، مقالات مباحثه‌ای[16] و ...، اهمیت سایر انواع ارجاعات علاوه بر مقالاتْ مثل کتب درسی، کتب عمومی، جزوات، مقالات مباحثه‌ای، سخنرانی‌ها و ...، و به‌ویژه تفاوت گونه‌شناسی انواع تأثیرات پژوهش در حوزۀ علوم انسانی با سایر حوزه‌ها (ازجمله ارتقای کیفیت دانشگاهی حوزه، غنی‌سازی اجتماع علمی حوزه، تشویق یادگیری و آموزش، و کمک به ارتقای درک عمومی جامعۀ مدنی از پژوهش و فناوری).

به همین ترتیب، تغییراتی در رویکرد انتخاب شاخص‌های سه حوزۀ تخصصی دیگر نیز به وجود آمده است که بخشی از نتایج آن در شکل 4 ارائه خواهد شد.

 

6. 2. ارزیابی عملکردمحور طرح‌های STI با استفاده از شاخص‌های منتخب

با استفاده از شاخص‌های وزن‌داده‌شده می‌توان عملکرد سازمان را در هر گروه شاخصی مشاهده نمود. به این منظور، نمایش گرافیکی الگوی شاخص‌محور عملکرد هر سازمان در انجام طرح‌های STI، در هر حوزۀ تخصصی در نمودارهای راداری نمایش داده خواهد شد و مجموعاً برای هر سازمان، پنج نمودار راداری رسم خواهد شد که «داشبورد[17] شاخص‌های ارزیابی سازمان» نام‌گذاری شده است. در شکل 4 داشبورد شاخص‌های ارزیابی STI برای گروه سازمانی دانشگاه‌ها و پژوهشگاه‌ها قابل مشاهده است.

شکل 4.  شاکلۀ داشبورد ارزیابی طرح‌های STIگروه سازمانی دانشگاه‌ها و پژوهشگاهها

 

علاوه بر این، با محاسبۀ ضرایب کارایی، اثربخشی و سودمندی هر سازمان از طریق معادله‌های زیر می‌توان عملکرد سازمان را با گذشتۀ آن یا با سازمانی دیگر مقایسه نمود:

 

در معادلۀ (1)، wp[21] ضریب وزنی و [22]Ipمقدار شاخص‌های خروجی در حوزه‌های تخصصی، در معادلۀ (2)، [23]wcضریب وزنی و Ic[24] مقدار شاخص پیامدی در حوزه‌های تخصصی، و در معادلۀ (3)، wi[25] ضریب وزنی و [26]Ii مقدار شاخص تأثیر در حوزه‌های تخصصی است. در هر سه معادلۀ بالا، [27]B مقدار بودجۀ سازمان، اندیس i سازمان مربوطه در میان سازمان‌های گروه آن، اندیس j(از یک تا 5) شمارۀ حوزۀ تخصصی مربوطۀ طرح شامل علوم طبیعی، علوم مهندسی، علوم انسانی، علوم اجتماعی و علوم سلامت، و اندیس k (از یک تا 5) شمارۀ شاخص مربوطه در حوزۀ تخصصی j ام را نشان می‌دهد.

لازم به ذکر است که تعیین میزان شاخص‌های تأثیر به‌صورت مستقیم ممکن نیست و از طریق تشکیل پانل خبرگان در حوزۀ مورد نظر و امتیازدهی به شاخص‌ها یا استفاده از روش‌هایی همانند محاسبۀ پی‌بَک‌ها[28] انجام خواهد گرفت که به‌ویژه در علوم سلامت استفاده می‌شود.

 

7. مقایسۀ نتایج الگوی طراحیشده با الگوی پیشین

برای اعتبارسنجی عملی الگوی توسعه‌یافته، از مطالعۀ چندموردی استفاده شده است. در گروه سازمانی دانشگاه‌ها و پژوهشگاه‌ها، سه دانشگاه شاهد، صنعتی امیرکبیر و صنعتی شریف برای پیاده‌سازی الگوی پیشنهادی و مقایسۀ نتایج آن با الگوی پیشین انتخاب شده‌اند. به‌منظور پیاده‌سازی الگوی پیشین از اطلاعات بارگذاری‌شدۀ این دانشگاه‌ها در سامانۀ سمات در سال 1393 استفاده شده است. سایر اطلاعات تکمیلی موجود برای پیاده‌سازی الگوی پیشنهادی نیز از طریق میدانی گردآوری شده است.[29]

مطابق با داشبورد ارزیابی طراحی‌شده برای گروه سازمانی دانشگاه‌ها و براساس داده‌های قابل‌گردآوری، امتیاز کارایی و اثربخشی[30] سه دانشگاه محاسبه شده است. همچنین، شاخص‌های الگوی قبلی نیز در محاسبۀ امتیاز کارایی و اثربخشی مجدداً استفاده شده است و نتایج در جدول 3 مشاهده می‌شود.

جدول 3. مقایسۀ ضرایب کارایی و اثربخشی دانشگاههای شاهد، صنعتی امیرکبیر و صنعتی شریف در سال 1393

 

ضریب کارایی

(براساس الگوی پیشنهادی)

امتیاز شاخص‌های خروجی

(براساس الگوی فعلی)

ضریب اثربخشی

(براساس الگوی پیشنهادی)

امتیاز شاخص‌های پیامدی

(براساس الگوی فعلی)

دانشگاه شاهد

0.0448

1215

0.9284

53185

دانشگاه صنعتی امیرکبیر

0 ̴

3500

0.0979

85775

دانشگاه صنعتی شریف

0 ̴

2954

2.2811

469800

نکات زیر از مقایسۀ صورت‌گرفته در جدول 3  قابل جمع‌بندی است:

ـ براساس الگوی پیشنهادی، کارایی دانشگاه شاهد به‌طور قابل‌ملاحظه‌ای بیشتر از دو دانشگاه دیگر است، در صورتی که براساس الگوی پیشین امتیاز شاخص‌های خروجی این دانشگاه کمتر از دو دانشگاه دیگر بوده است. این موضوع بیانگر آن است که خروجی STI در دانشگاه شاهد نسبت به بودجۀ دریافتی آن بیشتر بوده است و عملکرد بهتری نشان داده است.

ـ براساس الگوی پیشنهادی، ضریب اثربخشی دانشگاه صنعتی شریف با اختلاف فاحشی از دو دانشگاه دیگر بیشتر است. به همان نسبت، درجۀ اختلاف ضرایب کارایی دانشگاه شاهد (رتبۀ دوم) و دانشگاه امیرکبیر (رتبۀ سوم) ثبت شده است؛ در صورتی که امتیاز شاخص‌های پیامدی این دو دانشگاه مطابق الگوی پیشین در یک سطح قرار دارد. می‌توان نتیجه گرفت که دانشگاه شاهد از بودجۀ خود نتایج میان‌مدت بیشتری (عمدتاً از نوع کسب درآمد) به دست آورده است. اگرچه در ظاهر مطابق نتایج الگوی پیشین، امتیاز شاخص‌های پیامدی دانشگاه امیرکبیر بیشتر بوده است، اما از منظر الگوی پیشنهادی اثربخشی آن نسبت به بودجۀ صرف‌شده کمتر بوده است و عملکرد ضعیف‌تری نشان داده است.

ـ درمجموع، با توجه به نتایج الگوسازی پیشین دانشگاه شاهد هم از حیث شاخص‌های خروجی و هم پیامدی امتیاز کمتری داشته است، با وجود این با ورود به جزئیات تخصیص بودجۀ آن و متناسب‌سازی شاخص‌های عملکردی با خروجی‌های حوزه‌های تخصصی این روند تغییر می‌کند و روشن می‌شود که این‌دانشگاه از نظر کارایی بهتر از دو دانشگاه دیگر است و از نظر اثربخشی بعد از دانشگاه شریف قرار می‌گیرد.

این نتایج بیانگر آن است که اولاً، با محاسبۀ ضرایب کارایی و اثربخشی و حذف عامل میزان تخصیص بودجه (ورودی‌های طرح)، امکان سنجش عملکرد سازمان‌های یک گروه با یکدیگر فراهم خواهد شد؛ ثانیاً، در الگوی پیشنهادی بسیاری از نتایج حاصل از طرح‌های STI در حال حاضر ارزش‌آفرین محسوب نمی‌شوند.

 

8. نتیجه

هدف اصلیِ این پژوهش شناخت و بررسی وضعیت نظام ارزیابی STI در ایران با تأکید بر ردیابی طرح‌های علم، فناوری و نوآوری، و تجزیه‌وتحلیل گلوگاه‌های آن از منظر ابعاد سیاستی و اجرایی بود تا از طریق شناخت بافتار موجود، الگوی ملی ارزیابی STI مختص کشور طراحی شود.

بررسی‌های این مطالعه نشان می‌دهد که تنها تجربۀ نظام‌مند کنونی ایران، از جنبۀ طراحی، سیاستی، نهادی، اجرایی و فرهنگ‌سازی، چالش‌های اساسی دارد. البته سایر کشورها نیز کم و بیش درگیر چنین چالش‌هایی بوده‌اند و هر یک با توجه به بافتار حاکمیتی خاص خود آن‌ها را رفع نموده است. براساس ترازیابی این تجربیات به همراه مطالعات اسنادی، پیمایش میدانی و مصاحبه‌های ساختارمند با خبرگان حوزه، و با طراحی یک الگوی ملی ترکیبی (شاخص‌محور و عملکردمحور)، این مقاله درصدد برآمد تا برخی چالش‌های وضعیت موجود را مرتفع سازد به‌ویژه از باب توجه به نتایج بلندمدت‌تر طرح‌های STI و میزان انتفاع اجتماع از این نتایج، تخصیص بودجه به طرح‌های اولویت‌دار براساس شاخص‌های به‌روز و ارزش‌آفرین، و ایجاد فضای مقایسۀ عملکرد سازمان‌ها در گروه سازمان‌های مشابه آن‌ها. اگرچه به دلیل عدم وجود پیشینۀ موضوع در الگوی پیشین و نبود اطلاعات لازم در شناسایی شاخص‌های ارزیابی سودمندی و اعتبارسنجی آن محدودیت‌هایی وجود داشته است.

داشبورد ارزیابی جامع که از این الگو به دست می‌آید می‌تواند مبنای تصمیم‌گیری مدیران سطح کلان و سیاست‌گذاران حوزه STI قرار گیرد؛ چراکه وضعیت خرد و کلان عملکرد سازمان‌های دولتی از سه بعد کارایی، اثربخشی و سودمندی طرح‌های حوزه STI مشخص می‌شود. به این ترتیب امکان تخصیص بودجۀ STI براساس نتایج ارزیابی فراهم می‌شود و با ارائۀ بازخوردهای مستمر و منظم به هر سازمان، فرایند بهبود عملکرد آن آغاز خواهد گردید. همچنین در سطح کلان رصد یکپارچۀ نظام STI می‌تواند منشأ شناسایی گلوگاه‌های موجود و ردیابی مؤثر بودجه‌های STI قرار گیرد.

به‌رغم مزایای این الگو به نظر می‌رسد که پیاده‌سازی آن نیازمند پیکربندی مجدد نظام در ساختار ارزیابی STI کشور باشد. تصویب و اجرای مقررات ضمانت اجرایی در بخش قانونی و ایجاد سازوکارهای انگیزشی و فرهنگ‌سازی در بخش سیاست‌گذاری برای پیشبرد این هدف الزامی است.



[1]. Context

[2]. Governing structure

[3] systematic and consistent evaluation

[4] Pluralized evaluation

[5]. گفتنی است به دلیل مشکلات ناشی از دیوان‌سالاری این قوانین اجرایی نشده‌اند و هر سازمانی با توجه به ترجیحات مدیریت آن (که معمولاً کمتر از الزام قانونی است) به STI بودجه اختصاص داده است؛ لذا بسیاری از طرح‌های ارزیابی STI در کشور به‌صورت غیرمتمرکز سازماندهی شده‌اند، درحالی‌که باید تحت نظارت یک سازمان متمرکز (MSRT) هزینه می‌شدند. با این وصف، اگرچه نگاشت موجود به‌صورت متمرکز طراحی شده است، در عمل نسبتاً غیرمتمرکز عمل می‌کند.

[6]. عارضه‌یابی نظام فعلی علاوه‌بر مطالعۀ مستندات موجود، از طریق مصاحبه با خبرگان این حوزه شامل متخصصان سیاست‌گذاری و ارزیابی علم و فناوری در داخل و خارج از مجموعۀ عتف (7 نفر) و کارکنان عتف، که داده‌های سالیانه را از سازمان‌ها اخذ، تدوین و تحلیل می‌نمایند (15 نفر)، انجام شده است.

[7]. مصاحبه‌شوندگان معتقدند که شورای عالی عتف یک نهاد سیاست‌گذار حاکمیتی در حوزۀ STI است و نباید در امر گردآوری داده‌ها (Data Gathering) دخیل شود (درحالی‌که در حال حاضر گردآوری داده‌های سامانۀ سمات توسط کارکنان این شورا انجام می‌شود) و این موارد باید با هماهنگی نهادهایی همچون مرکز آمار ایران انجام شود که از زیرساخت‌های لازم و جایگاه قانونی نیز برخوردارند.

[8]. از اهداف نظام ارزیابی ملی کشورهایی همچون نروژ، هلند و ژاپن است که تحت عنوان سودمندی اجتماعی مطرح می‌شود و ناظر بر رویکرد بهبودی در طراحی نظام‌های ارزیابی STI است.

[9]. توسعۀ این الگو در بخش‌های بعدی تبیین خواهد شد.

[10]. طراحی چنین روندی می‌تواند موضوع مطالعات بعدی قرار گیرد.

[11]. این کشورها عبارت‌اند از: ده عضو اتحادیۀ اروپا شامل اتریش، فرانسه، آلمان، مجارستان، ایتالیا، پرتغال، اسپانیا، نروژ، سوئیس، به‌علاوۀ کرۀ جنوبی، تایوان، استرالیا و کانادا.

[12]. Pool

[13]. به این منظور، ضرورت داشت در این مرحله از اظهار نظر خبرگانی استفاده شود که حداقل دارای سه صلاحیت مهم باشند:

  • · تحصیلات ایشان (مدرک دکترا) با آن حوزۀ تخصصی مرتبط باشند؛
  • · در حوزۀ تخصصی مربوطه بیش از ده سال سابقۀ مدیریت و سیاست‌گذاری داشته باشند؛
  • · در حوزۀ تخصصی خود تجربۀ هدایت طرح‌های پژوهش و فناوری با بودجۀ دولتی داشته باشند.

[14]. لازم به ذکر است که از پاسخ‌دهندگان درخواست شد برای امتیازدهی به پنج شاخص برتر، وضعیت مطلوب (و نه موجود) نظام ارزیابی طرح‌های STI را در نظر بگیرند.

[15] Art conservation is a science-based discipline that aims to preserve artwork, documents, artifacts and other cultural heritage.

[16] Discusions paper reflects differing perspectives, but should provide balanced information on a particular topic.

[17]. برگرفته از ادبیات مدیریت پورتفوی طرح‌ها، در اینجا نیز سهم هر حوزۀ تخصصی در عملکرد مجموع سازمان به‌وسیلۀ این داشبورد (Dashboard) نشان داده شده است.

[18]. Efficiency Coefficient

[19]. Effectiveness Coefficient

[20]. Utility Coefficient

[21]. Weight of Output Indicator

[22]. Output Indicator

[23]. Weight of Outcome Indicator

[24]. Outcome Indicator

[25]. Weight of Impact Indicator

[26]. Impact Indicator

[27]. Organization Budjet

[28]. Paybacks

[29] . لازم به ذکر است که بسیاری از اطلاعات مورد نیاز همچون درآمد شرکت‌های نوپا در آمار دانشگاه‌ها گردآوری نمی‌شود، لذا در این تحلیل برخی داده‌های مورد نیاز موجود نبوده است.

[30]. با توجه به اینکه داده‌های مربوط به تأثیرات پروژه‌های STI در کشور وجود ندارد، ضریب سودمندی قابل محاسبه نبوده است.

دبیرخانۀ شورای عالی علوم، تحقیقات و فناوری. 1395. گزارش عملکرد اعتبارات تحقیقاتی و فناوری کشور در سال 1393.
سلطانی، علی‌محمد. 1390. الگوی ارزیابی سیاست‌گذاری فناوری نانو در ایران. رسالۀ دکتری در رشتۀ مدیریت تکنولوژی. دانشگاه علامه طباطبایی.
طباطباییان، سید حبیب‌الله و دیگران. 1391. ارزیابی سیاست‌های علم، فناوری و نوآوری. مرکز تحقیقات سیاست علمی کشور.
قاضی‌نوری، سید سپهر و علی دیوسالار و سید رضا قاضی‌نوری. 1390. ارزیابی طرح‌های ملی تحقیق و توسعه: ساختارها و روش‌ها. تهران: موسسۀ مطالعات بین‌المللی انرژی.
قاضی‌نوری، سید سپهر و مهدیه فرازکیش. 1395. «ارزیابی فرایند نوآوری دستگاه‌های ملی با نگاهی یکپارچه». مجموعۀ مقالات و مذاکرات. تهران: فرهنگستان علوم.
Barker, K. 2007. "The UK Research Assessment Exercise: The evolution of a national research evaluation system". Research Evaluation. 16(1). Pp 3-12.
Campbell, D. F. 2003. "The evaluation of university research in the United Kingdom and the Netherlands, Germany and Austria". Learning from Science and Technology Policy Evaluation. Pp 98-131.
Cetindamar, D. & Phaal, R. & Probert, D. 2009. "Understanding technology management as a dynamic capability: A framework for technology management activities". Technovation.  29(4). Pp 237-246.
Coryn, C. L. 2007. "Evaluation of researchers and their research: Toward making the implicit explicit".
Coryn, C. L. et al. 2007. "Models and mechanisms for evaluating government-funded research: An international comparison". American Journal of Evaluation. 28(4). pp 437-457.
Cruz-Castro, L. & Sanz-Menéndez, L. 2007. "Research evaluation in transition". In The Changing Governance of the Sciences. pp. 205-223.
Georghiou, L. & Laredo, P. 2006. "Evaluation of publicly funded research: Recent trends and perspectives". Report to the OECD DSTI/STP. 7.
Hansen, H. F. 2005. "Choosing evaluation models A discussion on evaluation design". Evaluation. 11(4). pp 447-462.
Jordan, A. 2008. "The governance of sustainable development: Taking stock and looking forwards". Environment and planning. C, Government & Policy. 26 (1). pp 17.
Molas-Gallart, J. 2012. "Research governance and the role of evaluation: A comparative study". American Journal of Evaluation. 33(4). pp 583-598.
OECD .2003. Governance of Public Research: Toward Better Practices. OECD Publishing. doi: 10.1787/9789264103764-en.
OECD. 2015. STI e-Outlook: STI Governance Structures and Arrangements. Available at  [http://www.oecd.org/sti/outlook/eoutlook/stipolicyprofiles/stipolicygovernance/stigovernancestructuresandarrangements.htm.]
Orr, D. & Paetzold, M. 2006. "Procedures for research evaluation in German higher education: Current fragmentation and future prospects". Critical Perspectives on Communication, Cultural & Policy Studies. 25(2). pp 16.
Phaal, R. & Farrukh, C. J. & Probert, D. R. 2004. "A framework for supporting the management of technological knowledge". International Journal of Technology Management. 27(1). pp 1-15.
Rossi, P. H. & Lipsey M. W. & Freeman, H. E. 2004 . "Evaluation: A Systematic Approach". Thousand Oaks. CA: SAGE.
Shehabuddeen, N. 2000. "Developing a comprehensive technology selection framework for practical application". PhD Thesis. University of Cambridge.
 The World Bank. 2004. "World Development Indicators". Retrieved May 2012. from http://data.worldbank.org/indicator.