新疆25选7微信群

400-968-6178

返回列表

美國先進技術計劃評估實踐的特點與啟示

來源:世界科技研究與發展(globesci)    發布時間: 2019-02-25



摘要:國家科技計劃改革后,為重點研發計劃等新型科技計劃構建評估體系既是改革的緊迫需求,也是支撐計劃管理和決策的必要手段。本文著重介紹和分析了美國先進技術計劃的監測評估方法以及典型的監測評估實踐,包括項目評估、監測系統、經濟社會影響評估、反事實評估等,并在此基礎上從評估導向、評估方法、評估能力建設等方面為構建我國新型科技計劃的評估體系提出幾點建議。

關鍵詞:先進技術計劃;監測;評估;科技計劃

doi:10.16507/j.issn.1006-6055.2018.11.002

1  引言

2014年,國家科技計劃管理改革啟動,國務院印發《關于深化中央財政科技計劃(專項、基金等)管理改革的方案》(國發〔2014〕64號文),明確要求建立統一的計劃評估和監管體系。2018年,中共中央和國務院印發《關于深化項目評審、人才評價、機構評估改革的意見》,旨在改革科技評估活動的不良導向,建立具有中國特色的科技評估體系。構建適應改革要求的科技計劃監測與評估體系已成為迫切需求,也是加強計劃管理、保障計劃實施績效的必然要求。在新時期,借鑒國外科技計劃的監測與評估經驗,對于構建我國科技計劃監測與評估體系十分必要。

美國先進技術計劃(Advanced Technology Program,以下簡稱ATP 計劃)是政府、產業部門和學術界合作的聯邦研發計劃,由美國商務部標準技術研究院(NIST)管理,于1990年開始實施,2007年結束。該計劃的宗旨是通過政府與工業界分擔研發成本,資助私營部門難以獨立承擔的高風險性研發項目,加速技術的開發和商業化,增加美國的高收入就業,帶動美國經濟的增長和產業界的競爭力提升。計劃資助項目分布在先進材料及化學、信息技術、電子通訊、生物技術四個領域。截止2007年,該計劃共支持了824個項目,資助總額達24億美元,直接和間接參與單位1581家,是實現美國技術發展戰略轉型的一項重要計劃。在ATP計劃之前,美國的軍事科技和基礎研究主要由聯邦政府的科研經費資助,產業界僅負責開發民用技術。這一做法一直持續到克林頓政府時期提出ATP計劃這一新的技術戰略和政策,強調讓產業界參與對國民經濟增長有重大影響的技術開發計劃,并分擔研發費用。然而,ATP計劃也備受爭議,反對者認為政府主導使計劃缺乏市場導向,合資企業抑制競爭;支持者認為合資企業可以調和不同部門的優勢和責任。在計劃實施的十余年期間,爭議聲音不斷,對計劃評估產生了前所未有的需求。相繼圍繞ATP計劃開展了類型多樣、方法各異的評估活動,尤其在計劃的長期經濟和社會影響評估方面,開展了不少探索性工作,提出了相關評估的基本思路和框架。ATP計劃評估顯示了在政治辯論的背景下,如何運用評估工具來回應各方關注的問題,進而支撐管理和決策。ATP計劃的評估實踐將科技計劃評估的理論研究和實踐活動推向高潮,在美國乃至世界范圍的科技評估發展歷程中具有重要意義,值得其他科技計劃借鑒,尤其對于政府和產業界共同實施的科技計劃更具參考價值。

國內研究人員對ATP計劃的資助和管理進行過較多研究,但關于評估活動的研究較少且并不全面,僅對評估程序、評估工具,以及績效評估指標和評級系統進行過零散介紹。事實上,在監測評估方面,ATP計劃仍有許多做法值得挖掘和借鑒。此外,我國科技計劃改革后形成了國家科技重大專項、國家重點研發計劃等五大類國家科技計劃,新時期科技計劃的一大特點是在實施時更加強調政府和市場的分工與合作,這與ATP計劃的特點類似。因此,進一步挖掘、歸納ATP計劃的評估經驗,將其借鑒到新時期國家科技計劃的監測評估體系中具有現實意義。本文在系統梳理ATP計劃主要評估方法以及代表性實踐的基礎上,從評估導向、評估方法、評估能力建設等方面為構建科技計劃的監測和評估體系提出建議。

2 ATP計劃的評估需求與評估管理

2.1 評估需求

ATP計劃的評估需求是多方面的,包括國會議員、國會委員會、國家審計辦公室(GAO)、總統執行委員會、總統管理和執行辦公室(OMB)、監察長辦公室、媒體、智庫、工業界等都有提出。這些評估需求主要源于各方對政府支持的爭議和質疑,即對于ATP計劃這種具有技術風險的項目和計劃,政府是否應該使用納稅人的資金對其進行支持,政府支持是否影響了企業公平公開的競爭過程,又是否能夠增加商業研發的利潤。對此,1991年的美國技術卓越法案(American Technology Preeminence Act)明確要求ATP計劃在1996年以前開展深入評估并將評估結果提交給國會的每個部門以及總統。同時,ATP計劃也需服從《政府績效與結果法案(GPRA)》的要求,提交戰略計劃、年度績效計劃和年度績效報告。根據ATP 經濟評估辦公室(Economic Assessment Office,以下簡稱EAO)主任的描述,ATP計劃也許是美國同類預算計劃中評估和審查最為嚴格的計劃。

2.2 評估管理

ATP計劃的評估活動由EAO統一組織和管理。EAO由經濟學家、統計學家、信息專家、社會學家、商業聯絡專家,以及管理支撐人員組成,兼具組織實施相關研究和評估活動,以及就計劃執行結果與內外部利益相關者溝通的職能,主要負責:1)努力實現對ATP計劃結果的外部期望;2)將評估作為管理工具,幫助計劃目標的實現,提升計劃的有效性;3)研究和認識計劃對美國創新體系的貢獻;4)開發創新性方法來衡量公共研發投入的影響。其具體工作包括跟蹤調查、數據收集、統計分析、組織政策研究、委托評估任務、開發評估和研究指南等;此外,還與美國資深經濟學家共同開發ATP計劃的經濟評估方法,定期召開會議討論評估結果和研究進展,并提出建議。

3  ATP計劃的監測與評估方法

圖1是ATP計劃的評估通用邏輯模型,其中計劃產生、實施到評估結果反饋呈閉環狀態。從設定的社會目標出發,根據國家公共政策的策略產生了計劃的動議和任務,進而設計計劃實施的機制,并達到預期結果。評估環節在計劃實施過程中介入,涵蓋計劃的投入、產出、成效和影響,評估結果反饋給計劃管理者和政策制定者。該模型是國外計劃設計與評估中使用的一項經典工具,有助于各利益相關方形成有關計劃評估的共識,也是計劃監測和評估框架設計的基礎。



11.jpg


根據EAO的統計,在ATP計劃實施的第一個十年期間(1991—2000)所開展的45項評估實踐中共使用了81項評估方法。隨著年代推進,實踐活動不斷增加,評估方法的應用也越加豐富。在2000年前后,經濟學模型、社會網絡分析等新興方法開始得到應用。主要評估方法及應用舉例如表1所示。


22.jpg

4  ATP計劃監測與評估典型案例


ATP計劃的評估體系包括多種類型、多種目標的評估實踐,形成了全方位、多元化的監測和評估體系,這些評估實踐大致可歸為微觀和宏觀兩個層次。微觀層次的評估主要是圍繞項目的立項、監測、統計和進展實施,是貫穿每個項目始末的持續性工作,主要針對投入和產出信息。宏觀層次的評估主要圍繞項目群或整體計劃開展,主要針對成效和影響信息,具有階段性和選擇性。為了闡明計劃的宏觀成效和影響,評估人員一般會選擇某些項目群作為研究對象,并明確研究或評估的時間區間。


4.1 微觀層次


4.1.1 項目評估

ATP計劃采取了嚴格的同行評議過程來選擇項目。評估小組成員包括技術專家、商業專家、經濟專家等。衡量標準包括:項目對于國家科學和技術知識基礎的顯著貢獻;技術產生的潛在國家利益和ATP計劃的特殊貢獻;可能的市場化路徑和擴散范圍;申請者克服技術和產品挑戰的努力;項目的組織架構、管理計劃、申請人的經驗、資質和資源等。無論最終是否成功,每個完工的項目都要形成狀態報告(status report),該報告側重于描述小型案例,需要對每個項目給于0~4星的績效評級。其中對失敗項目的分析可以用于加強項目的遴選和管理。

4.1.2 監測系統

ATP計劃的監測系統是在計劃早期就建立起來的,并且在結構、內容和形式上不斷更新,在服務于管理的同時,也用于計劃的評估,可看作是評估體系的縮影,反映了所有具有價值的監測與評估信息。該系統有兩個主要監測數據庫,資助數據庫(award database)和商業報告系統 (Business Reporting System,以下簡稱BRS系統),前者主要提供項目描述性信息,后者則是通過電子問卷(封閉式)調查方式跟蹤獲取的項目商業化和經濟目標進展信息,包含了4種例行性調查報告,分別是基線報告(baseline report)、年度報告(anniversary report)、結題報告(close-out report)、項目后期報告(post-project report)。BRS 系統調查的時點覆蓋項目的全周期;調查對象涉及大學和非盈利機構、企業等不同對象;內容覆蓋廣泛,包括研究的加速效果、參與者滿意程度、大學的角色、知識產權信息、社會效果、技術溢出效應、研究合作、經濟影響等(表2)。


33.jpg

4.2 宏觀層次


宏觀層次的評估實踐針對項目群或某些技術展開,重點關注計劃產生的影響,主要包括經濟影響、社會影響和反事實影響。

4.2.1 經濟影響評估

經濟影響評估是ATP計劃評估體系的重點工作。EAO與國家經濟研究署的經濟學家在ATP計劃早期就開始對溢出效應、生產率等主要經濟指標進行跟蹤,為后續的經濟影響評估打下了基礎。以下介紹兩例經濟影響評估的實踐案例,從中可以發現綜合利用上文提到的方法,能夠在有關ATP計劃宏觀結果方面獲得哪些證據。

1)技術開發周期縮短帶來的經濟效益。該案例主要基于商業報告系統(BRS)開展的問卷調查,對問卷調查獲得的商業信息進行統計和分析,并運用經濟學方法將結果折算為貨幣價值。例如評估人員對28個1991年立項的ATP項目(抽樣率10%)開展問卷調查。參與者將大中小型企業都包括在內,同時涉及營利和非營利機構。問卷要求參與者回答參與ATP計劃后技術開發周期的縮短時間,并估算由此減少的研發成本、產品提前進入市場獲得的經濟效益等。研究發現,大部分案例的開發周期縮短了50%,節約開發時間1年,節省研發成本一百萬~數十億美元。具體而言,13%的機構較正常周期超前1年完成,53%的機構超前1~3年完成,7%的機構提前3年以上完成。

2)產品質量提高對國家經濟的影響。該案例通過設計宏觀經濟產業模型對產品質量提高帶來的經濟影響進行估算,涉及的經濟學參數包括凈現值、內部收益率和效益成本比。以ATP計劃資助的控制自動制造過程研究為例,評估人員要求企業回答和估算新開發技術對生產過程的直接影響(主要涉及自動化制造商采用新技術的比率以及產品質量提高帶來的銷售增加),進而運用經濟學模型估算對國家經濟的影響。結果顯示,五年內工業產出增加了87億美元,并且增加了16萬個工作崗位。

4.2.2 社會影響評估

社會影響包括參與企業的回報和公共回報等,公共回報又包括知識、網絡、市場溢出效應,以及其他的間接收益。盡管衡量社會收益非常困難,EAO還是與各界人士共同就如何評估社會影響開展了一系列探索性工作。例如針對一系列技術和項目進行投入產出分析,包括制冷技術和流動控制加工技術的案例研究等。在衡量知識的溢出效應方面,基于項目結題報告,設計了專利樹來分析專利引用情況。除此之外,還委托實施了一項利用社會網絡分析來衡量知識擴散效果的研究。在市場溢出效應方面,對于50個已經完工的項目,收集項目產業化情況來跟蹤新技術從產生到產業化的全過程。以下介紹知識溢出效應研究和投入—社會收益分析兩個案例。

1)知識溢出效應研究。評估人員通過對專利引用現象進行分析,揭示大學、公司、實驗室之間的研究網絡,進而研究知識的溢出效應。評估人員對微電子制造系統和光學記錄兩種新技術的研究網絡圖譜進行研究發現,美國和日本是微電子制造系統溢出效應的主要來源和接受者。舊金山、洛杉磯和波士頓地區是微電子制造系統在美國的主要來源和接受者,技術擴散主要的推動者是麻省理工學院。光學記錄技術研發網絡的主要成員是美國企業,其中兩家是受ATP計劃資助的合資企業。這兩家企業加入了國家存儲產業聯盟,最終聯盟中的成員和大學、政府實驗室都在光學記錄技術研發網絡中受益。國家存儲產業聯盟中的核心公立研究機構通過參與ATP計劃,形成了促進溢出效應的重要機制。

2)投入—社會收益分析。投入—收益分析是典型的定量研究方法,將其用于衡量社會收益的具體做法是將社會收益折算為貨幣價值,再與計劃的投入值進行比較。研究人員對40個ATP項目的社會影響進行研究發現,1999—2004年間,其凈社會收益約為180億美元;在此期間,ATP計劃僅為項目投入了20億美元,投入產出收益是顯著的。另一個典型的案例是非晶硅探測器低成本制造技術。該技術研發項目是由ATP計劃于1995年資助的。2003年,基于該制造技術的數字化X射線照相技術得到使用,降低了25%的制造成本。該項目的社會收益表現為提高診療率、避免不必要的醫療程序、提高乳腺癌的診斷率、降低病人的輻射,以及減少診療時間等。將這些社會收益折算為貨幣價值發現,在每年330萬例乳腺檢查和680萬例胸部X射線檢查中,ATP計劃每投入1美元,就會收到125~193美元不等的社會收益。

4.2.3 反事實影響評估

反事實影響評估采用對照組的方式,剝離其他因素對結果的影響,有助于解決評估歸因的問題,可以了解政策實施的實際效果,但在科技計劃評估中很少使用。ATP計劃在科技計劃的反事實影響評估方面做出了開創性的工作,分別在1998、2000和2002年對申請者進行調查,將項目申請成功者與失敗者進行比較,開展了反事實評估。其中,國會委托國家審計辦公室(GAO)對ATP計劃開展的反事實評估中邀請了89位ATP計劃的參與者以及39位未參與者參加評估。這39位未參與者具有高度的科學技術水平,也有很強的技術和商業特質,符合計劃資助的標準但未獲得計劃資助,他們成為了對照組。128位受調查者接受了電話問卷調查。問卷包括76項內容,涉及在申請計劃前的努力,被資助與否是否會影響項目的繼續執行等等。未資助者還被問及他們的項目未被資助后的命運。

研究人員將項目組和對照組的回答進行比較發現,未受資助的項目有41%不再執行,40%的以較小規模進行,4/5的報告顯示項目的規模降低到預期的40%。54%的受資助者預計耗時四年或者更長的時間用于研發項目,而在未受資助者中的這一比例為1/3。幾乎所有繼續實施項目的未受資助者都調整了項目周期,實際實施周期晚于他們預計的時間周期。在許多案例中,ATP項目沒有得到私人領域資金的支持。63%的申請者在申請ATP計劃以前沒有嘗試申請其他渠道的資金。那些試圖尋找其他資金支持的申請者則花費了很長時間,也嘗試了多種渠道。7位申請者拒絕了私人領域的資助,因為私人資助不能滿足項目的要求。在45位嘗試申請其他資金的申請者中,大約一半人因項目風險過大或者屬于競爭前項目而不被資助。證據顯示,ATP計劃成功將資金瞄準在那些具有高技術風險和長時間周期的項目上,而這些項目正是私人領域難以獨立資助的。


5  ATP計劃監測評估實踐的啟示


本文介紹了美國ATP計劃的典型評估方法和代表性評估實踐。雖然中美兩國國情不同,但ATP計劃與改革后我國的科技計劃具有共性特點。首先,二者的宗旨都是通過支持研發實現國家公共利益,促進技術進步和經濟社會發展,這是公共支出研發活動的共性特征。其次,在實施方式上,ATP計劃以政府與產業界分擔研發成本的方式實施,通過技術開發帶動美國的經濟發展。隨著市場化進程推進,新時期我國科技計劃的設計也凸顯了政府與產業界合作的特色,采取政府和實施機構分擔成本的方式。第三,在計劃導向方面,ATP計劃接近于市場端,支持面向應用和市場的科研活動,以國家經濟利益為導向,與我國科技重大專項、重點研發計劃等面向應用和市場的計劃設計類似。第四,在目標實現方面,計劃目標的實現都需要較長的時間周期,具有復雜的路徑和影響因素?;諞隕霞傅?,ATP計劃的評估實踐可以為構建我國科技計劃的監測評估體系提供借鑒。

當前,我國科技計劃的監測與評估活動更多沿用了以往計劃評估的傳統,以微觀層次的項目立項、驗收等為主;宏觀層次的監測與評估活動正處于探索中,例如重點研發計劃重點專項的年度監測、專項立項指南的評估活動。總體而言,科技計劃宏觀層次的評估活動較少,計劃的成果和影響體現不足,監測評估活動對計劃管理的支撐有限。從這一角度,ATP計劃通過多樣化監測評估工具支撐管理和決策的做法值得借鑒。


5.1 樹立良好的科技評估導向


2018年,中共中央、國務院印發了《關于深化項目評審、人才評價、機構評估改革的意見》,旨在改革科研項目評審、人才評價、機構評估中存在的問題。文件要求構建科學、規范、高效、誠信的科技評價體系,發揮好評價指揮棒和風向標作用,形成中國特色科技評價體系。長期以來,在我國的科技評估活動中,過度強調論文、專利等微觀評估指標,并將評估結果與獎勵掛鉤,形成了不良的評估導向,忽視了評估在決策和管理中的重要作用?!叭饋備母鎘欣誥勒渙甲齜?,引導健康的評估導向。ATP計劃的評估實踐展示了評估活動支撐決策和管理的經驗,在樹立評估導向方面值得借鑒。首先,ATP計劃運用大量的評估信息來說明計劃的效果,支持利益相關方的辯論,為支撐計劃經費撥付和管理改進提供了依據;其次,ATP 計劃將微觀評估和宏觀評估并重,以多樣化評估實現不同的目的,如利用同行評議來選擇項目,采用經濟學方法來分析計劃影響等,體現了評估的科學性,而不是“一刀切”式地運用一套指標和方法來回答所有問題。第三,評估在計劃、政府、公眾之間建立起溝通的橋梁,滿足國會、媒體、公眾、科學界等不同對象的評估需求,發揮了監督作用。

建議我國科技界在“三評”改革引導下,將科技評估活動的關注點從微觀層次向宏觀層次擴展,更好地發揮評估在揭示效果、支撐決策和改進管理方面的作用,淡化排名獎勵的功能。此外,建議評估人員采取多方法和多角度的分類評估策略,提升評估結果的科學性和準確性。


5.2 建立定量和定性并重的監測系統


ATP計劃的評估活動依賴于其強大的監測系統。該監測系統不僅涵蓋定量、客觀的數據,還將觀點、案例等定性信息納入其中。監測從計劃初期嵌入,覆蓋項目和計劃的全周期,甚至在計劃結束后依然定期搜集信息用于分析。監測活動具有比較明確的目標,針對不同的對象設計了不同的調查方案,滿足不同評估活動的需求,導向性較強。詳盡和實時的監測系統能夠及時反饋計劃信息,幫助管理改進和決策調整,也為評估活動提供了堅實的基礎。我國的科技計劃同樣具有長周期、復雜性等特點,計劃的效果需要較長周期呈現。而高質量的評估活動依賴于扎實的監測和調查活動。

建議管理部門在科技計劃論證時同步考慮設置核心監測指標,不僅包括基礎管理指標,如目標、經費、人員等;還包括調查性指標,特別是面向市場的指標,如應用情況、銷售收入、合作網絡、產業化、增加就業、用戶反饋等。組織專業評估人員根據計劃評估的需求,設計定量和定性監測指標,定期形成監測報告。在計劃執行過程中,根據需求調整計劃的監測體系,及時將有價值的監測需求嵌入系統。


5.3 重視經濟和社會影響的監測與評估


科技計劃改革后,五大類科技計劃是國家公共研發投入的主戰場,投入數額巨大,社會關注度高,影響廣泛。針對重點研發計劃這類面向終端市場和用戶的科技計劃,評估活動除了展現科技創新的進展,更應該說明計劃對國家經濟發展和社會進步的貢獻。長期以來,科技評估唯專利和論文為標準的做法受到質疑?!叭饋備母鏤募刑岢?,應更加注重科技投入的質量、貢獻和績效。經濟和社會影響評估能夠反映科技計劃的績效,也是國內外評估界面臨的挑戰。ATP計劃有關經濟社會影響的監測評估工作,對于向政府和公眾展示計劃的績效發揮了重要作用,相關經驗值得借鑒。

建議管理部門參考ATP計劃的做法,持續開展完工項目的影響調查;增加回溯研究、市場數據為基礎的分析;圍繞科技計劃的經濟和社會影響,從方法研究、案例研究、模型構建等方面加強探索、研討和交流。


5.4 關注科技計劃的比較評估


ATP計劃在科技計劃的反事實評估方面具有代表性。其經驗提示我們,對于復雜科技計劃的效果評估,應關注反事實現象,在監測和評估活動中有針對性的予以設計??萍技蘋募嗖夂推攔藍韻笠部煽悸前ㄊ蘢手吆臀詞蘢手吡礁鋈禾?,通過比較二者的效果差異,來分離影響計劃效果的多重因素,得到計劃產生的真實效果。評估人員在得到評估結論時,不能忽略導致計劃結果的復雜因素,避免得出片面的評估結論。此外,評估人員可以針對科技計劃的效果開展比較評估,例如與國外同類計劃開展比較研究,分析計劃在資助機制、資助對象、資助效果方面與國內外同類計劃的比較優勢與不足,將計劃支持的結果放在國際標準下進行衡量,再提出對策與建議。


5.5 以科技計劃監測評估為契機推動科技評估能力建設


ATP計劃評估是科技計劃評估的里程碑。通過評估活動,探索了評估方法,培養了評估人員,增進了評估共識,對美國科技評估能力的提升作用顯著。較西方國家而言,我國在評估能力、評估文化、人力資源等方面較為落后。當前正值國家大力推動管理體制改革、加強績效管理的時期,建議管理部門以重點研發計劃等科技計劃為抓手,鼓勵多元化的監測和評估探索活動,努力彌補我國在科技評估方面的短板,推動科技評估的能力建設;加強評估結果的交流互動,形成良好的評估氛圍和文化;培養科技評估的專業化隊伍,滿足科技計劃評估日益增長的需求,更好地服務于科技計劃的管理和決策。同時,政府也可以通過多層次評估活動展現公共科研投入的必要性和價值所在。

轉自:世界科技研究與發展(globesci)

作者:陶蕊,翟啟江(科技部科技評估中心)



新疆35选7中奖图:法律聲明

新疆25选7微信群 www.rornxg.com.cn 1111111111111

1111111111111

1111111111111

1111111111111

1111111111111

x

法律聲明

1111111111111

1111111111111

1111111111111

1111111111111

1111111111111

x
x