英國管理雜志，第14卷。207-222 (2003)
通過系統回顧的方法來發展循證的管理知識*。
David Tranfield, David Denyer 和 Palminder Smart 高級管理研究中心（AMRC），克蘭菲爾德管理學院。
克蘭菲爾德大學，克蘭菲爾德，MK43 OAl，英國通訊作者的電子郵件。D. Tranfield@cranfield.ac.uk
進行文獻回顧是任何研究項目的重要組成部分。研究人員對相關的知識領域進行規劃和評估，以便明確一個研究問題，進一步發展知識領域。然而，傳統的 "敘述性 "評論常常缺乏徹底性，而且在許多情況下并不是作為真正的調查性科學作品進行的。因此，他們可能缺乏一種手段來理解這些研究的內容。這些評論可能會被研究者夸大，而且往往缺乏嚴謹性。此外，利用對現有證據的回顧，為干預實踐者和政策制定者的業務需求提供見解和指導，在很大程度上是次要的。對于實踐者來說，要想從大量往往相互矛盾的證據中獲得意義，已經變得越來越難。支持決策和行動的證據的質量受到了質疑，因為不充分或不完整的證據嚴重阻礙了政策的制定和實施。在探索如何實現以證據為基礎的管理審查時，作者評估了醫學科學中使用的系統審查過程。在過去的15年里，醫學界一直試圖改進審查過程，以系統、透明和可重復的方式綜合研究，以達到加強知識庫和為政策制定和實踐提供信息的雙重目的。本文評估了系統性審查過程在多大程度上可以應用于管理領域，以產生可靠的知識儲備，并通過發展對環境敏感的研究加強實踐。本文強調了在制定適當方法方面的挑戰。
導言：需要一個有證據的方法
對文獻進行審查，以提供最好的證據，為政策提供依據。
*本文是在Cran-field IMRC (EPSRC)資助下進行的研究的結果，“利用系統回顧為有證據的管理知識開發一種方法”，David Tranfield教授和David Denyer博士。
在任何學科的實踐中，都是各自學術界和實踐界的一個關鍵研究目標。
二戰后的時代，學術界和從業人員對管理學科和專業的關注非常集中（Blake和Mouton，1976年；Tisdall，1982年）。此后，這一領域的知識生產速度不斷加快，并形成了一個日益零散和跨學科的知識體系，同時也與社會的進步相互依賴。
? 2003 英國管理學院

208
D. 譚菲爾德，D.丹尼爾和P.斯馬特
科學（Friedman, Durkin, Phillips and Volt- singer, 2000）。
在管理研究中，文獻綜述過程是一個關鍵工具，用于管理特定學術調查的知識多樣性。進行文獻綜述的目的通常是使研究者能夠描繪和評估現有的知識領域，并指定一個研究問題來進一步發展現有的知識體系。管理評論通常是敘事性的，并被廣泛批評為對該領域作者所做貢獻的單一描述，而這些描述往往是根據研究者的隱性偏見選擇的（Fink, 1998; Hart, 1998）。不足為奇的是，它們也被譴責為缺乏批判性評估。管理研究界沒有積極地委托進行基礎設施建設，以確保以前在文獻綜述方面的投資不會損失，從而延續了這種做法。這種對知識損失的容忍形成了一種高風險的策略，隨著組織進一步進入網絡化和知識經濟時代，這種策略將不可避免地變得不可持續。
對管理學中的現有證據進行審查，以吸收 “最佳證據”，為實踐者和政策制定者的操作需求提供見解和指導，這在很大程度上已經成為一個次要的考慮因素。
來自學術界、實踐者和政府的充足動力已經激起了重新評估管理學研究人員進行文獻綜述過程的迫切需求。在過去的15年里，醫學界一直在努力提高評審過程的質量。本文提出的觀點是，將醫學科學中使用的系統綜述方法的具體原則應用于管理研究，將有助于通過明確支持綜述的價值和假設來抵制偏見。通過提高所產生的證據的合法性和權威性，系統性審查可以為從業者和決策者提供一個可靠的基礎來制定決策和采取行動。如果考慮到在今天的全球貿易環境中，從業人員面臨著越來越大的壓力，需要在更短的周期內完成這些工作，那么這一點就特別令人擔憂。
在更短的周期內完成這項工作的壓力越來越大。
本文將首先討論醫學科學中的循證方法。
通過有效地使用系統回顧。接下來的章節將比較和對比醫學科學和管理研究中審查的性質，并評估系統審查過程在多大程度上可以應用于管理領域。最后，本文將介紹為管理學重新搜索設計適當方法的挑戰。
循證方法的起源
自20世紀80年代以來，英國中央政府越來越重視確保政策和實踐是通過更嚴格和具有挑戰性的證據基礎來實現的。三E "計劃（經濟、效率和效益）將注意力集中在公共服務的提供上，并導致了許多學科的詳細指導和最佳實踐手冊的制定。在這種情況下，有效性既涉及到專業人員在日常工作中為實現其基本目標所使用的方法的適當性和有效性，也涉及到機構提供所需服務的整體能力（Davies, Nutley and Smith, 2000）。對有效服務交付的關注已經引起了相當大的關注，并將興趣集中在將政策和實踐建立在現有的最佳證據上。因此，在新工黨的領導下，開展了一場以證據為基礎的運動，1997年5月，托尼-布萊爾宣布，“重要的是有效的東西”。
1997 年 5 月，托尼-布萊爾宣布 “什么是最重要的，什么是有效的”，意在表明一種新 的 "后意識形態 "的公共政策方法，在決策過程中證據將占據中心位置（Davies, Nutley and Smith, 2000）。
醫學科學和保健中的循證方法
循證運動對某些學科產生了重大影響。最重要的是在醫學上的應用，在那里，知識生產的速度意味著對經常相互矛盾的大量證據的理解變得越來越困難（Ohls-son, 1994）。特別是在20世紀80年代末，人們對

發展以證據為依據的管理知識 209
引起了人們對二級研究中相對缺乏嚴謹性的關注（Mulrow，1987）。批評者認為，對二手資料的審查準備依賴于隱性的、特異的數據收集和解釋方法（Cook, Mulrow and Haynes, 1997; Greenhalgh, 1997）。此外，基于低質量的文獻評價的做法有時會導致不適當的建議（Cook, Green- gold, Ellrodt and Weingarten, 1997）。1991年，Smith對許多醫學科學的整體智慧提出質疑，認為只有15-20%的醫療干預措施有可靠的醫學證據支持（Smith, 1991）。據認為，其結果是病人經常受到無效的治療和干預，而且對許多做法來說，很少或根本不了解其益處是否大于潛在的危害（Davies, Nutley and Smith, 1999）。
國家衛生服務（NHS）的研究和發展戰略指出，在重要的臨床領域進行的研究太少了，而且現有的研究大多是臨時性的、零散的和糟糕的（Peckham, 1991）。該報告還認為，研究人員而不是實踐者、管理者或政策制定者在推動研究議程。
此外，研究結果沒有得到充分的傳播，更不用說推廣了。該戰略不僅主張提高研究水平，而且還主張對重要的臨床或操作問題的現有研究進行系統的重新審視，評估現有的最佳證據，整理研究結果，并以決策者可獲得的方式將其呈現出來（Peckham，1991）。
系統回顧–發展證據基礎的關鍵工具
在過去的十年中，醫學科學在試圖提高回顧過程的質量方面取得了重大進展，它以系統、透明和可重復的方式綜合研究，為組織和提供健康和社會護理的政策和決策提供信息（Cook, Greengold, Ellrodt and Weingarten, 1997; Cook, Mulrow and Haynes, 1997; Wolf, Shea and Albanese, 2001）。
系統性回顧與傳統的敘述性回顧不同，它采用了一種可復制的、科學的和透明的過程，換句話說，是一種詳細的技術，旨在通過對已發表和未發表的研究進行詳盡的文獻檢索，并對回顧者的決定、程序和結論提供審計跟蹤，從而使偏見最小化（Cook, Mulrow and Haynes, 1997）。系統性回顧的過程及其相關程序–元分析，在過去十年中得到了發展，現在在基于證據的實踐中發揮著重要作用。
系統綜述確定了對某一領域或問題的關鍵科學貢獻，而元分析則提供了一個統計程序來綜合研究結果，以獲得單項研究無法提供的總體可靠性。事實上，進行系統回顧現在被認為是一種 “基本的科學活動”（Mulrow, 1994, p.597）。20世紀90年代，一些組織成立了，目的是為系統回顧建立一致的和正式的程序，并進行系統回顧，以綜合和傳播所有醫療領域的證據。這些組織包括Cochrane合作組織（2001年）、國家衛生科學中心的評論和傳播（2001年）以及國家臨床卓越研究所（2001年）。
其他學科的循證方法
以最佳可得證據為基礎的實踐運動已經從醫學轉移到了其他學科。在英國，教育和技能部（DfES）已經建立了一個教育領域的循證政策和實踐中心。此外，一個 "什么工作？計劃 "是在內政部于1998年7月公布了減少犯罪戰略之后，在緩刑服務中引入的。該計劃的目的是在確鑿證據的基礎上制定成功的干預方案，以便將其作為日常緩刑實踐的模式（HM緩刑監察局，1998；內政部，1998）。有效實踐倡議還試圖解決一個困難的問題，即確保對罪犯的監督與研究證據相一致。
監管的變化與關于什么是有效的研究證據相一致（Furniss和Nutley，2000）。該倡議

210
D. 特蘭菲爾德，D.丹尼爾和P.斯馬特
其他學科，如護理（Evans和Pearson，2001）、住房政策（Davies和Nutley，1999；Maclennan和More，1999）、社會關懷（Macdonald，1999）和刑事司法（Laycock，2000）也調整了這種方法，并取得了不同程度的成功。2001年，經濟和社會研究委員會（ESRC）資助建立了一個由多學科中心組成的網絡（證據網絡），致力于改善政策的證據基礎。
證明社會科學政策和實踐的證據基礎。證據網絡的目的是利用系統的審查，為政府、商業和志愿部門的決策提供信息和改進。
在國際上，2000年2月，大約150名先鋒社會科學家在費城發起了Camp- bell合作組織。這個相當于Cochrane的合作組織的目標是。
幫助人們對社會、行為和教育領域的干預效果做出明智的決定"（Campbell Collaboration, 2001）。
在坎貝爾合作組織采取的方法中，代表們考慮的問題包括：從業人員如何參與評審過程，什么使研究有用和可用，什么標準和質量標準能區分可靠和不可靠的研究？在這個意義上，討論了以下問題
在這個意義上，討論了研究需要有充分的依據和社會的支持。這種對科學基礎的強調，既要有嚴格的表述，又要與實踐相關，是循證方法的一個關鍵特征。
一個學科中被接受為證據的信息的質量取決于一些標準。這些標準包括廣泛的知識方法、研究人員和委托機構采用的價值體系以及通常采用的研究方法（Davies和Nutley，1999年）。醫學科學傳統上采用 "正常科學 "的方法，其中雙bhnded隨機對照試驗被廣泛接受為使用前測試干預措施的最嚴格方法。到目前為止，系統綜述往往被應用于實證主義傳統的領域和學科，并產生于這些領域和學科，試圖為研究綜合提供隨機對照試驗所期望的單一研究（Macdonald，1999）。圖1強調了醫學科學中證據的層次性。
在其他學科，如教育、社會服務和刑事司法中，對于評估證據基礎所采用的適當方法學，往往沒有什么共識，對于如何利用研究證據為政策和實踐提供信息，也沒有什么共識（Davies and Nutley, 1999; Laycock, 2000; Macdonald, 1999; Maclennan and More, 1999），此外，政策
證據的層次結構
I-I 兩項或更多雙盲隨機對照試驗的系統回顧和薈萃分析，1-2 一項或更多大型雙盲隨機對照試驗。
n-1 一項或多項行為良好的隊列研究。
II-2 一項或多項行為良好的病例對照研究。
II-3 一個戲劇性的非控制性實驗。
ni 專家委員會參與評審；同行領導意見，IV 個人經驗。
圖1. 證據的層次性。來源：經出版商許可，轉載自Davies, H. T. O. 和S. M. Nutley (1999)。醫療保健中證據的興起和崛起》。公共資金與管理，19 (l),pp. 9-16. ? 1999 Blackwell Publishing.

發展以證據為依據的管理知識 211
的問題很少通過使用隨機對照試驗來解決。例如，在社會關懷方面，證據的性質常常引起激烈的爭議，而且存在著強烈的阻力，不愿意將一種研究方法置于另一種方法之上。事實上，后現代的觀點通常不信任任何客觀證據的概念。
諸如此類的分歧深深扎根于特定領域的本體論和認識論假設中。盡管有這些困難，戴維斯、納特利和史密斯還是樂觀地認為。
不同專業傳統中不同的本體論和認識論出發點毫無疑問地影響了專業人員處理證據的方法和熱情。然而，顯而易見的是，在所有被研究的領域中，研究證據仍然具有巨大的潛力，其影響力遠遠超過了以往。(2000, p. 4)
管理研究的性質
多年來，管理研究領域的性質一直受到大量分析和討論。這種討論和爭論大多集中在該領域的本體論地位上，特別是其分散和分歧的性質。例如，Whitley（1984a, 1984b）在兩篇有影響力的文章中，調查了管理研究作為一門 “面向實踐的社會科學 “的科學地位。他指出了管理研究的分裂狀態，并認為其后果是
對重要性標準的聲譽控制程度低…。(這)意味著問題的重要性和制定這些問題的首選方式是不穩定的，有爭議的，并由分散的和不同的標準來評估。(Whitley, 1984a, p.343)
Whitley (2000) 進一步完善了這一立場，認為管理領域的持續分裂可能會取代學術界在研究過程中的關鍵利益相關者地位。Hodgkin- son、Herriot和Anderson（2001年，第45頁）在比較管理研究與工業、工作和組織心理學時，也得出結論：學術界和其他利益相關者群體之間存在著相當大的分歧，而且這種分歧可能會進一步擴散不相關的理論和未理論化的無效實踐。
Pettigrew (1997, p. 291)與Whitley的觀點基本相同，他強調在看待管理研究時知識的社會生產的重要性，強調利益相關者的觀點。他的觀點很有影響力，即管理研究面臨一系列挑戰。
最能體現這一點的是一系列同時存在的雙重障礙，它們共同對[管理]研究人員的技能和知識提出了廣泛的認知、社會和政治要求”。
他主張采用一種專題方法。
以滿足嵌入社會科學和政策與實踐世界的雙重障礙”（Pettigrew, 1997, p.292）。
Berry(1995)提出了一個高盧的觀點，有力地論證了定性工作的重要性。一些作者（Aram和Salipante，2000；Pfefler和Sutton，1999；Van de Ven，1998；Wind和Nueno，1998）令人信服地論證了管理研究的應用性質。同樣，Hambrick（1994年）和Huflf（2000年）都利用他們作為管理學院院長的講話來討論該領域的本體論地位。最近，Wilcoxson和Fitzgerald(2001)集中討論了管理學作為一門學科的性質，以及它對澳大利亞背景下的研究人員和從業人員的影響，Van Aken(2001)提出了一種基于設計科學的管理研究觀點，而不是形式或解釋科學。通過這樣的概念化管理研究，他發現一個研究領域不僅需要提供高質量的學術成果，而且還需要對實踐者和環境敏感。他認為，設計科學的使命是以 "經過實地檢驗的、有根據的技術規則 "的形式開發有效和可靠的知識，用于設計、配置和實施解決具體問題的方案。
20世紀90年代，英國管理學院對管理研究的性質進行了廣泛的討論，重點是該領域的本體論地位，特別是學術與實踐者關系的優先程度。Gibbons等人（1994年）關于知識生產模式的工作在這種辯論中的影響越來越大。特別是，他們的模式概念

212
D. D. Tranfield, D. Denyer and P. Smart
2知識生產模式，即 “在理論和實踐之間不斷地來回流動”，以及 “知識是在應用的背景下產生的”，被認為是有關管理研究未來的辯論的核心（Tranfield和Starkey，1998）。英國管理學院和管理教育基金會（Starkey和Madan，2001年）一直在探討創建一個既在理論上合理、方法上嚴謹，又與實踐者群體相關的管理研究的主題。這一討論在《英國管理雜志》的一個特刊中得到了進一步發展（Hodgkinson，2001）。
管理和醫學領域的比較
Tranfield和Starkey(1998)在一篇文章中引用了Becher(1989)從知識社會學中提取的維度，將管理研究描述為 "軟 "而非 “硬”，"應用 "而非 “純”，"農村 "而非 “城市”，"分歧 "而非 “趨同”。通過使用從知識社會學中提取的維度，創建了這樣一個概況，使我們能夠與其他學科進行對比，尤其是醫學，在這些學科中，系統性審查的應用取得了相當大的效果?？梢栽谡J識論和本體論兩個領域進行比較。
醫學研究在認識論上享有相當廣泛的共識，而管理研究則普遍不盡如此。由于缺乏共識，在為高質量的工作建立一致的門檻方面，存在著相應的困難。
管理研究和醫學之間的關鍵本體論差異涉及 "趨同-趨異 "這一維度。據稱，一門學科在多大程度上處于這個維度的一端，取決于研究意識形態、價值觀和質量判斷的相似性，而這些相似性在該領域的研究人員中形成了一種共同的民族意識（Becher，1989）。關于要解決的關鍵研究問題的協議，導致對偏差的容忍度相對較低，但也有界定學科邊界的好處。
的好處是，可以界定學科的邊界，使其易于維護。因此，各學科在多大程度上開放了研究問題，或在多大程度上解決了先前定義和商定的議程，決定了在這個層面上的定位。
管理研究是一個相對年輕的領域，在議程和問題的制定方面，遠不如醫學科學的許多方面發達。因此，對于管理研究中的關鍵研究問題，人們往往缺乏共識。該領域的研究很少解決相同的問題，也很少有共同的研究議程，更重要的是，提出相同的問題。因此，積極的研究綜合方法（如薈萃分析）不太可能適用于管理研究，因為研究的異質性阻礙了對結果的匯集和對干預措施凈有效性的測量。
表1概述了醫學作為源自生物科學的應用研究領域與管理研究作為與社會科學密切相關的應用領域之間的異同。
這里的主要問題是，在努力成為基于證據的領域（如更趨同的醫學領域）開發的審查程序在多大程度上可以為管理領域的審查程序提供參考，以幫助創建嚴格的相關審查。由于管理學研究問題需要明確規定，或者作為現有研究的復制，或者作為現有研究的進一步發展，或者作為一項新的研究來填補文獻中的 “空白”，更系統的文獻綜述過程可以幫助證明/限定所提出的接近/最終研究問題。此外，本文所描述/建議的過程重視并采取措施鼓勵學術界和管理者/決策者的參與，其目的也是務實的。
傳統上，系統性回顧被應用于實證主義和定量傳統的領域和學科中。
實證主義者尋求因果律，這些因果律具有足夠的普遍性，以確保對先前事件的了解能夠合理預測隨后的事件…。因為實證主義者認為知識是不斷積累的，所以他們更加關注研究方法的發展。

發展循證管理知識 表一：醫學研究與管理研究的區別 醫學研究和管理研究之間的差異
213
學科的性質
研究文化
研究問題 干預措施 研究設計 理論
政策的目的
政策投入的比重 方法
文獻回顧
審查的必要性
審查的準備
審查協議
識別研究
選擇研究
研究質量評估
數據提取
數據綜述
報告和傳播
證據進入實踐
分歧的。
實證主義和現象學觀點的分裂。
對研究問題缺乏共識。實驗可能可行，也可能不可行。建議采用三角測量法。
關注為什么某事有效或無效以及其發生的背景。多重性和競爭性，它們之間的平衡可能隨著時間而改變。
許多外在因素。
量化和質化。
主要是敘述性評論。
提出研究問題，并為實證研究實踐提供信息。
通常是一個非正式的/臨時性的過程，涉及研究者、同行和主管人員。
設計/采用協議的正式程度和標準化程度通常很低。不能接受 "嚴格 "的文獻審查計劃，因為這可能會抑制研究者探索、發現和發展想法的能力。
確定研究領域/子領域通常是通過非正式協商進行的。采用隱性的特異性的數據收集方法。基于那些看起來相關或有趣的研究。研究人員的偏見使批判性評價失效。關于選擇的決定沒有記錄，排除了任何審計跟蹤。"原始數據 "通常在學術文章中沒有，通常代表 “部分研究”。精確的納入/排除標準往往沒有正式商定，沒有應用記錄或監測。
對研究方法和研究問題之間的契合度評價不佳。研究人員傾向于依賴某一特定期刊的質量評級，而不是對個別文章采用質量評估標準。
數據提取沒有在明確規定的納入和排除標準的指導下正式進行。提取的數據沒有得到全面的記錄和監控。
一般是敘述性的和定性的。對于從文章中提取的內容進行分析和綜合，主觀性較強。缺少明確的描述性和主題性分析。越來越多地應用定性數據分析領域的具體工具和技術。非標準化的報告結構。解釋性的長稿。通過使用類比、隱喻和同源性提高解釋力。知識生產的過程，被省略了。實踐者有時無法理解，不同文獻之間缺乏聯系。
證據的實施往往是事后的考慮。
醫學
趨同。
受到嚴格的科學評估。
對研究問題的高度共識。
可以通過實驗進行測量。
以證據等級為基礎。
關注什么是有效的–干預措施是否提供整體利益。
一般來說，減少疾病和死亡，改善健康。
科學證據。
主要是定量的。
系統回顧和薈萃分析。
臨床醫生使用有效性審查。
一個審查小組（包括從業人員）指導這一過程。
進行簡短的范圍研究，以確定主題領域的范圍。
評審前的計劃說明包括和排除研究的標準、搜索策略、使用方法的描述、編碼策略和采用的統計程序。
國際機構提供協議，以加強知識交流的網絡。
使用預先確定的關鍵詞和搜索字符串進行全面、結構化的搜索。
納入和排除標準在協議中表達，以確保對最佳可用證據的審查。
從 "整個研究 "中吸取 "原始數據 "進行分析，以形成一個獨立的研究。
根據預先確定的標準對研究進行評估。對研究的內部有效性進行判斷。評估和納入定性研究是有問題的。
使用數據提取表，作為過程中所作決定的歷史記錄，并提供進行數據綜合的基礎。
定性綜述提供了關鍵特征和結果的表格。元分析將各研究的數據集中起來，以增加統計分析的力量。目的是產生 "最佳 "證據。
使用標準化的報告結構 采用非解釋性的風格。記錄簡短的腳本，并通過國際公認的機構廣泛使用?？蔀閺臉I者所理解。
協作過程和以實踐為導向。
管理

214
D. Tranfield, D. Denyer and P. Smart
綜合性，而不是解釋論者’。(Noblit and Hare, 1988, p. 12)
事實上，站在解釋學或現象學立場上的研究人員可能會建議，社會科學不應采用具有實證主義傾向的系統回顧。即使在醫學研究中，也不是所有人都接受系統回顧是必要的或可取的（Pticrew, 2001）。Petticrew (2001, p. 98)認為，人們對系統性回顧的關注是由于這樣一個事實而加劇的：系統性回顧常常被認為是通過元分析過程對單個研究結果進行數字匯總的同義詞，而且 “它們無法處理其他形式的證據，例如來自非隨機研究或定性的再搜索”。然而，薈萃分析 “只是準備系統回顧時使用的工具之一，盡管是特別重要的工具”（Mulrow, Cook and DavidofT, 1997, p.290）。在大多數系統綜述中，研究數據的異質性阻礙了元分析的使用。在這些情況下，綜合是通過總結一組研究的結果來實現的。
歸納一組研究的結果。人們還開發了其他研究綜合方法，如現實主義綜合、元綜合和元民族志，以便通過解釋和歸納方法從一組研究中得出比較和結論。雖然元分析和定性研究綜合之間有根本的區別（Campbell, Pound, Pope, Bitten, Pill, Mogan, and Donovan, 2003），但兩者都關注以某種連貫的方式 “把”（Noblit and Hare, 1988, p.7）一些經驗性研究的結果放在一起（Dingwall, Murphy, Watson, Greatbatch and Parker, 1998）。
本文的以下部分報告了醫學科學中所使用的系統綜述方法，試圖找出該方法的主要特征，強調將該模式轉移到管理領域的主要挑戰，并就如何解決這些問題提出了一些建議。
進行系統回顧
盡管系統綜述還處于相對初級階段，但在其理想的方法學特征方面已經形成了一個合理的共識（Davies
and Crombie, 1998）。) Cochrane合作組織的《Cochrane評審員手冊》（Clarke和Oxman，2001）和《國家衛生服務傳播》（2001）提供了一個進行系統評審的階段清單（見圖2）。
第一階段：計劃回顧
在開始回顧之前，要成立一個回顧小組，包括方法和理論領域的一系列專家。應該努力讓在該領域工作的實踐者加入小組。評審小組應通過定期會議幫助指導這一過程，并解決任何關于研究的納入和排除的爭議。系統回顧的初始階段可能是一個定義、澄清和完善的反復過程（Clarke 和 Oxman，2001）。在管理范圍內，有必要進行范圍研究，以評估文獻的相關性和規模，并對主題領域或主題進行界定。這種研究需要考慮跨學科的觀點和以前處理研究課題的其他方式。范圍界定研究還可能包括對理論、實踐和方法學歷史的簡要概述
圍繞研究領域和子領域的爭論。
第一階段–計劃審查
第0階段–確定回顧的需要 第1階段–準備回顧的建議 第2階段–制定回顧協議
第九階段–進行審查
第三階段–確定研究
第4階段–選擇研究
第五階段–研究質量評估
第6階段-數據提取和監測進展 第7階段-數據綜合
階段in-報告和傳播
第八階段-報告和建議 第九階段-將證據用于實踐
圖2. 系統回顧的階段（來源：經出版商許可，改編自NHS回顧與傳播中心（2001）。進行有效性研究的系統回顧。CRD對進行或委托進行回顧的人的指導。CRD報告第4號（2"'版） ? 2001年NHS評論與傳播中心。
約克大學。

發展以證據為基礎的管理知識 215
研究。如果該領域由半獨立和自主的子領域組成，那么這個過程可能會被證明是困難的，研究者可能會在信息量和建立跨學科的理解方面掙扎。
在醫學科學領域，研究者也會得出一個明確的回顧問題。評審問題對系統性評審至關重要，因為評審過程的其他方面都來自于它。在系統性回顧中，這些決定的結果是通過一個正式的文件，即回顧協議來記錄的。該協議是一個計劃，通過提供明確的步驟描述來幫助保護客觀性。協議中包含的信息有：研究解決的具體問題、作為研究重點的人群（或樣本）、識別相關研究的搜索策略以及在回顧中納入和排除研究的標準（Davies和Crombie，1998），一旦協議完成，就會在適當的回顧組編輯處登記，如Cochrane合作組織。如果令人滿意，審查報告將被公布，以鼓勵有關各方與審查人員聯系，并避免重復研究。
任何管理評審協議都可能包含對研究問題的概念性討論和對問題意義的陳述，而不是一個明確的研究問題。此外，管理評審通常被認為是一個探索、發現和發展的過程。因此，一般認為嚴密地計劃文獻審查活動是不可取的。一個更靈活的方法可以明確說明研究者事先打算做什么，但在研究過程中可以修改。研究者需要明確說明做了哪些修改，以及這樣做的理由。目的是制定一個協議，不影響研究者在文獻綜述過程中的創新能力，同時也確保綜述比更傳統的敘述性綜述更不容易受到研究者偏見的影響。
第二階段：進行回顧
全面的、無偏見的搜索是傳統的敘述性回顧和系統性回顧之間的根本區別之一。盡管有時需要相當長的時間。
盡管有時需要相當長的時間，而且幾乎總是需要堅持不懈地關注細節，但系統性回顧被認為是為識別和評估大量文獻提供了最有效和高質量的方法（Mulrow, 1994），一個系統性的搜索開始于對關鍵詞和搜索術語的識別，這些關鍵詞和搜索術語是由范圍研究、文獻和回顧小組的討論建立的。然后，評審員應該決定最適合該研究的搜索字符串。檢索策略應詳細報告，足以保證檢索可以被復制。檢索不僅應在已出版的期刊和書目數據庫中進行，而且應包括未發表的研究、會議記錄、工業試驗、互聯網，甚至是對已知調查者的個人請求。信息搜索的結果應該是一個完整的文章和論文清單（核心貢獻），審查將基于此。
只有那些符合回顧協議中規定的所有納入標準，并且沒有任何排除標準的研究才需要納入回顧。系統綜述中使用的嚴格標準與希望將綜述建立在最優質的證據之上有關。由于關于納入和排除的決定是相對主觀的，所以系統回顧的這一階段可能由一個以上的審查員進行。分歧可以在評審小組內解決。系統回顧中選擇研究的過程包括幾個階段。評審員將首先對搜索中發現的所有潛在的相關引文進行評審。相關資料將被檢索出來，對全文進行更詳細的評估，并從中選擇一些資料進行系統回顧。審查的每個階段所包括和排除的資料來源的數量以及排除的原因都會被記錄下來。
在醫學領域，包括大量原始研究的統計效益與使用更有選擇性的納入和排除方法標準對較少的研究進行高質量的回顧之間存在著矛盾（Davies，2000），質量評估是指對一項研究的內部有效性以及其設計、實施和分析將偏見或錯誤降至最低的程度的評估。系統綜述中的單個研究是根據一套預先確定的標準來判斷的。

216
D. 判斷。
的標準和檢查表來判斷（Ox-man，1994）。一項研究與審查的相關性取決于其研究問題的相關性和其方法的合理性。審稿人應避免包括。
所有在獨立變量和因變量方面符合廣泛標準的研究，避免對質量進行任何判斷。(Slavin, 1986, p.6)
系統綜述由于其實證主義的起源，對于使用定量方法的研究（如隨機對照試驗、準實驗設計、成本效益和成本效益研究）來說，是一個很好的選擇，因此，在定性研究中建立確定什么是 "相關 "或 "高質量 “的標準是一個進一步的挑戰（Engel 和 Kuzel，1992）。在定性研究中，不可能從統計學上檢驗結果的意義。定性研究，就其本質而言。
非標準的、無限制的、取決于研究者和被研究者的主觀經驗…因此，是否能夠按照《醫學文獻用戶指南》的思路制定一個包羅萬象的批判性評價清單是值得商榷的”（Greenhaigh and Taylor, 1997, p. 741）。
有幾位作者提出了一系列可用于評估定性研究的標準(Blaxter, 1996; Greenhaigh and Taylor, 1997; Mays and Pope, 2000; Popay, Rogers and Williams, 1998)。Popay、Rogers和Williams（1998）建議，質量評估將包括以下內容。

• 主要標志：研究是否旨在探索人們對特定經驗和干預措施的主觀意義？
• 背景敏感：研究的設計方式是否能夠使其對研究期間發生的變化敏感/靈活？
• 抽樣策略：研究樣本的選擇是否以一種有目的的方式，以理論為基礎，并注意研究旨在探索的不同背景和意義？
• 數據質量：是否有不同的知識來源/對問題的理解被探討或比較？
  理論的充分性：研究者是否明確說明他們從數據到解釋的過程？
• 普及性：如果對普及性提出了要求
  這是否符合數據的邏輯性和/或理論性？
  Sandelowski、Docherty和Emden(1997)聲稱，當核對表應用于定性研究時，如果它們被用作從綜述中排除研究的依據，則應謹慎使用。他們接著說，任何有關排除的決定都必須得到審查者對 "好 "和 "壞 "研究的概念以及排除原因的詳細解釋的支持。
  系統性綜述利用的是 “原始數據”，而在管理研究中，這些數據往往不能由作者在文章中提供。在許多情況下，文章只代表滿足特定期刊編輯方向的部分研究結果。因此，關于選擇研究的決定實際上變成了關于選擇’文章’的決定，其依據是作者更主觀的發現和結論，而不是’原始’數據。
  這樣的綜合不太可能涉及對原始數據的重新分析，這些數據可能是訪談記錄的形式，也可能是涉及參與者觀察的研究的現場筆記。相反，要分析的數據很可能是相關研究的結果。這些數據可能采取實質性主題的形式，例如，從深入訪談中產生的主題。在定性研究（也可以說是所有的研究）中，理論在為數據的解釋提供信息方面起著關鍵作用。雖然很少有作者考慮過以理論為主導的跨學科研究結果的綜合的作用，但我們可以論證探討這種方法的潛力。(Clarke and Oxman, 2001, section 4, p.20)
  系統回顧將研究暴露在嚴格的方法學審查之下。在管理領域，我們可以通過評估研究方法和重新搜索問題之間的契合度來對研究文章進行質量評估。然而，管理學的再搜索者通常依賴特定期刊的隱性質量評級，而不是正式地將任何質量評估標準應用于他們的評論中的文章（即參考期刊比從業者期刊 “更好”）。在制定管理研究的系統綜述方法時，對研究的質量評估進行規定和構思的困難是一個主要挑戰。
  為了減少人為錯誤和偏見，系統性綜述采用了數據提取的形式。這些

發展循證的管理知識 111
這些表格通常包含一般信息（標題、作者、出版細節）、研究特點和具體信息（細節和方法），以及對新出現的主題和協同研究細節的說明。Cochrane合作組織指出，數據提取表格至少有三個重要功能。首先，該表格與制定的綜述問題和對所納入的研究的計劃評估直接相關，提供了一個可視化的表示。第二，提取表格作為歷史記錄，記錄了在這個過程中做出的決定。第三，數據提取表是數據存儲庫，分析工作將從這里開始（Clarke和Oxman，2001）。
數據提取過程需要對所有的步驟進行記錄。在許多情況下，會采用雙重提取過程，即由兩個獨立的評估者對一項研究進行分析，并在需要時對他們的發現進行比較和協調。數據提取可以是基于紙張或計算機的。數據提取表的制定是可行的，可能取決于研究的性質。在設計表格時，評審員應考慮構建匯總表和進行數據綜合所需的信息。數據提取表應包括信息來源的細節（標題、作者、期刊、出版細節）和研究的任何其他特征，如人群特征、研究背景和對研究方法學質量的評價。與其他概念的鏈接、新興主題的識別、關鍵結果和附加說明也需要包括在數據提取表中。
研究綜述是一系列方法的總稱，用于總結、整合以及在可能的情況下累積關于某一主題或研究問題的不同研究結果（Mulrow，1994）。最簡單、最著名的研究綜述形式是敘述性評論，它試圖確定關于某一主題或話題的書面內容。這種綜述并不試圖從綜述的內容中尋求歸納或積累知識（Greenhalgh,
1997). 薈萃分析是綜合的另一種方法，它能夠匯集各個研究的數據，從而提高統計能力，更精確地估計效果大小（Glass, 1976）。在管理學研究中，很少有研究能解決相同的研究問題，并以相同的方式測量現象。
現象。此外，研究人員不太關心某些類別的干預措施的有效性，而是更關心對組織和管理過程的理解。因此，元分析不太可能適用于管理研究。
一些作者提出了解釋性和歸納性的研究綜合方法，這些方法更有可能提供一種從研究中獲得洞察力的手段，并解決與管理研究相關的問題。一些作者認為，對定性研究進行 "總結 "存在一些哲學和實踐上的問題，而另一些作者則認為，試圖 “綜合現有的研究被認為是達到更高的分析目標和提高定性研究的普遍性的關鍵”（Sandelowski, Docherty and Emden, 1997, p.367）。為了填補敘述性評論和元分析之間的空白，人們開發了兩種解釋性和歸納性的方法：現實主義綜合和元綜合。
對于Pawson（2001）來說，現實主義綜合法為產生一系列研究類型的綜合提供了一種技術。他認為，在醫學研究中，方案（如醫學治療）具有改變的潛力。系統綜述的目的是對這些方案進行分類，并進行薈萃分析，以提供對凈效應的可靠衡量。實踐者被邀請復制已經發揮了最大效果的治療方法。相比之下，敘述性綜述傾向于解釋方案中的屬性組合，并通常確定最佳實踐的典范。實踐者被邀請去模仿那些成功的方案。根據Pawson的觀點，起作用的不是項目，而是它們提供給受試者的基本原因或資源，從而產生變化。變化是否發生還取決于行動者的性質和方案的情況?，F實主義的綜合法抓住了支撐每個方案的重要成分或機制（積極或消極）的清單。然后，研究者通過積累對一系列方案的理解來建立理論。雖然有些學者會質疑是否可以發展出應急聲明，但Pawson（2001）認為，現實主義的

218
D. Tranfield, D. Denyer and P. Smart
Pawson (2001)認為，現實主義的綜述可以提供一個可轉移的方案理論，其形式是 “在什么情況下對誰有用”。
元綜合也為研究綜合提供了一種解釋性的方法，可以用來確定
理論、宏大敘事、概括或從定性研究結果的整合或比較中產生的解釋性翻譯"。(Sandelowski, Docherty and Emden, 1997, p.366）。)
與元分析不同，元綜合并不局限于通過構建 "解釋，而不是分析，以及通過揭示描述之間的類比 "來綜合嚴格意義上的可比研究（No-blit and Hare, 1988, p.8）。元綜合提供了一種考慮的手段。
所有重要的語言、概念、圖像和其他圍繞目標經驗的想法的相似性和差異。(Sandelowski, Docherty and Emden, 1997, p.669)
元民族志是一種元綜合的方法，為綜合研究提供了三種替代技術。當報告對同一現象給出相互沖突的表述時，可以使用 “反駁性綜合”；當報告涉及類似問題時，可以使用 “互譯”；如果不同的報告對同一現象的不同方面進行研究，可以使用 “論證線綜合”。元民族志類似于基礎理論的方法，用于公開編碼和識別數據中出現的類別，并通過在單個計數之間進行不斷的比較（Beck, 2001）。然后，這些類別被解釋地聯系起來，以提供對整個現象的整體描述（Suri，1999）。
許多元綜合的技術仍然是 “相對未被嘗試和未被研究的，和/或難以編纂和理解的”（Sandelowski, Docherty and Emden, 1997, p.369）。然而，現實主義綜合法和元綜合法都對圍繞著當代研究回顧方法的正統實證主義提出了挑戰，表明綜合法可以是一個解釋、歸納、詮釋和折衷的過程（Jensen和Alien，1996）。雖然元綜合和現實主義綜合方法與系統回顧，特別是元分析有根本的不同，但它們都有一個共同的愿望，即改進傳統的敘述性研究。
它們都希望通過采用明確和嚴格的程序，并通過以下方式來改進傳統的敘述性回顧。
將所選主題的研究結果匯集在一起，其結果應該是實現更高層次的理解，并達到超越任何單個經驗研究的概念或理論發展水平。(Camp- bell et al., 2002, p.2)
與系統回顧一樣，現實主義綜合和元綜合的目的是 “產生影響”，即 “在實踐和政策制定的現實世界中以可獲得和可用的形式呈現”（Sandelowski, Docherty and Emden, 1971, p. 365）。
第三階段：報告和傳播
一個好的系統綜述應該通過綜合廣泛的初級研究論文，使從業人員更容易理解研究。在管理研究中，可能會產生一個兩階段的報告。第一個階段將提供該領域的全面（粗略和詳細）“描述性分析”。這是用一套非常簡單的類別，通過使用提取表格來實現的。例如，誰是作者，有多少核心貢獻來自美國，有多少來自歐洲？文章的年齡特征是什么？從研究方向的數量上看，這些領域是否可以被劃分為不同的時代？簡單的分類是否能劃分出該領域？例如，該領域是否可以按部門劃分？按性別？或者從相關學科如心理學或社會學 "借 "來的簡單類別（例如，解釋主義與實證主義或行為研究與認知研究）。研究者應該能夠對該領域提供廣泛的描述性說明，并提供具體的范例和審計線索。
證明他/她的結論是正確的。
研究者還需要報告 "主題分析 "的結果，無論結果是通過綜合或跨專業的方法得出的，概述那些從核心貢獻的數據提取形式中已經知道和確定的內容。他們可能希望把重點放在不同主題的共識程度上。他們也可能希望確定關鍵的新興主題

發展循證管理知識 219
和研究問題。無論選擇什么樣的總體類別，研究人員都應該提供詳細的審計線索，以證明他們的結論。在可能的情況下，將各種核心貢獻的主題聯系起來，并強調這種聯系是報告過程中的一個重要部分。
系統綜述為實踐者提供了一種手段，使他們能夠利用研究提供的證據為其決策提供依據。然而，將系統綜述的結論轉化為實踐指南一直是醫學界的一個挑戰（Macdonald，1999），因為 “臨床醫生是根據類比、經驗、啟發式方法和理論以及證據來推理個體病人的”（Cook, Mulrow and Haynes, 1997, p.380）。決策者可能會，而且應該被鼓勵使用個人經驗和解決問題的技巧，而不是僅僅依靠系統回顧的結果（Bero and Rennie,
1995; Rosenberg and Donald, 1995）。) 在管理學中，有必要認識到僅有證據往往是不充分和不完整的，只能通過限定可用的選擇為決策提供信息。因此，在管理領域，"證據告知 "甚至 “證據意識”，而不是 “基于證據”（Nutley、Davies和Walter，2002；Nutley和Davies，2002），可能更為恰當，前者也影響了我們對本文標題的選擇。
改善研究證據向實踐的轉化并不是沒有問題的，因為 “研究、知識、政策和實踐之間的關系始終可能是松散的、變化的和偶然的”（Nutley and Davies, 2002, p. 11）。為了實現循證實踐，需要制定戰略，鼓勵吸收和利用證據，而不是簡單地構建和傳播研究基礎（Nutley和Davies，2000）。鼓勵實踐者為審查設定具體問題并參與這一過程，可能有助于發展一種 "環境敏感 "的科學（Nowotny, Scott and Gibbons, 2001），這可能有助于模糊科學、政策和實踐之間的界限。提高可靠證據基礎的精確性，以便政策制定者和實踐者能夠做出更敏感的判斷，是將系統回顧程序應用于管理研究的最終目的。
結論
本文首先認為，對管理領域現有研究證據的審查既缺乏嚴謹性，也缺乏相關性。Anderson、Herriot和Hodgkinson（2001）對應用社會科學提供了一個四方面的特征。他們把那些嚴謹性低但相關性高的研究稱為 “大眾科學”。相比之下，"Ped- antic Science "的嚴謹性高但相關性低，而 "puerile Science “則既不嚴謹也不相關。只有’實用主義科學’同時兼顧了嚴謹性和相關性（見圖3）。
他們承認，追求 “務實 “的研究。
真正具有科學嚴謹性的標志（不管它是否具有定量和/或定性的性質），同時也讓更多的利益相關者參與到知識生產過程中來，在這個時刻，管理研究界面臨著一系列艱巨的挑戰。(Hodgkinson, Herriot and Anderson, 2001, p. S46)
本文概述了在應用知識生產過程中的想法和方法的機會和挑戰。
實用性
高
低 第1象限。
大眾科學”。
第三象限。
庸俗的科學”。
高 第2象限。
務實的科學”。
第4象限。
迂腐的科學
低
理論和方法論的嚴謹性
圖3. 工業、工作和組織心理學研究的四重類型。資料來源：由G. P. Hodgkin- son、P. Herriot和N. Anderson (2001)改編，《英國管理雜志》，12（特刊），第S42頁，來自N. Anderson、P. Herriot和G. P. Hodgkinson，《工業、工作和組織（IWO）心理學中的實踐者與研究者之分：我們現在在哪里，我們從哪里走？職業與組織心理學雜志》，74，第391-411頁。? 2001年英國心理學會和英國管理學院。經兩家出版商的善意許可轉載。

220
D. 特蘭菲爾德，D.丹尼爾和P.斯馬特
為了進一步發展和提高管理評論的質量，并確保其對實踐者和環境的敏感性，我們將醫學科學中使用的方法應用于管理領域。系統回顧的目的是通過理論上的綜合，向各領域和子領域提供集體的見解。對于學術界來說，審查過程提高了方法論的嚴謹性。對于實踐者/管理者來說，系統性回顧有助于通過積累一系列研究的知識來發展一個可靠的知識基礎。在這個意義上，系統性回顧可以被認為是 “實用 “管理研究的核心，其目的是為學術界和實踐者服務。
參考文獻
Anderson, N, P, Herriot和G, P, Hodgkinson (2001), “工業、工作和組織（IWO）心理學中的實踐者和研究者的分歧。我們現在在哪里，我們從哪里開始？”，《職業和組織心理學雜志》，74 (4), pp, 391-411,
Aram, J, D, and J, P. F, Salipante (2000), 'Applied Research in Management: 管理教育者和實踐者學者的標準”，美國管理學院會議–管理教育學習的多種觀點，多倫多。
Becher, A, (1989), Academic Tribes and Territories: 智力調查和學科文化，高等教育研究會和開放大學出版社，米爾頓凱恩斯。
Beck, C, T, (2001), ‘Caring with nursing education: A meta- synthesis’. 護理教育雜志》，40 (3), pp, 101-110, Bero, L, and D, Rennie (1995), 'The Cochrane Collaboration: 準備、維持和傳播關于醫療保健效果的系統性重新觀點”，《美國醫學會雜志》，114(1)。
醫學協會，114（1），第1935-1938頁。
Berry, M. (1995), 'Research and the Practice of Management: A
法國觀點"，《組織科學》，6（2），第104-116頁。布萊克，R.R.和J，S，Mouton（1976），咨詢。Addison-
韋斯利出版公司，雷丁，馬。
布萊克斯特，M，（1996）。定性研究論文的評估標準》，《醫學社會學新聞》（Medical Sociology News）。
研究論文"，《醫學社會學新聞》，22（1），第68-71頁，Campbell, R., P, Pound, C, Pope, N. Britten, R. Pill, M, Morgan, and J, Donovan (2003), “評估元民族志：關于糖尿病和糖尿病護理的非專業經驗的定性研究綜述。社會科學與醫學》。
56 (4), pp, 671-684.
坎貝爾合作組織（2001），http://campbell,gse,upenn,edu/
about.htm。
Clarke, M, and A. D, Oxman (Eds) (2001). 科克倫審查員的
手冊4.1.4[2001年10月更新]，科克倫圖書館，牛津。
Cochrane Collaboration (2001), The Cochrane Brochure, http:// www,cochrane,org/cochrane/cc-broch,htm#BDL
Cook, D, J, N, L. Greengold, A, G. Ellrodt, and S, R. Weingarten（1997）。系統性再觀察和實踐指南之間的關系》，《內科年鑒》，m (3) August, pp, 210-216。
Cook, D. J., C. D. Mulrow, and R. B. Haynes (1997). '系統回顧。臨床決策的最佳證據綜合”，《內科學年鑒》，126（5）年3月，第376-380頁。
Dabinett, G., P, Lawless, J. Rhodes, and P. Tyler (2001), A Review of the Evidence Base for Regeneration Policy and Practice, Department of the Environment Transport and the Regions.
Davies, H. T. O, and L K. Crombie (1998), “Getting to Grips with Systematic Reviews and Meta-Analyses”, Hospital Medicine, 59 (12), pp, 955-958.
Davies, H, T. O. and S. M, Nutley (1999). 醫療保健證據的崛起》，《公共資金與管理》，19（1），第9-16頁。
Davies, H. T. O, S, M. Nutley and P. C Smith (2000). 社論。什么有效？證據在公共部門政策和實踐中的作用"，《公共資金與管理》，19（1），第3-5頁。
Davies, H. T. O., S. M. Nutley and N, Tilley (1999). 社論。Getting Research into Practice, Public Money & Management- ment, 20(4), pp.17-22.
Davies, P. (2000), The Relevance of Systematic Reviews to Educational Policy and Practice, http://www.jiscmail.ac.uk/ flles/BEME/oxreview.htm,
Dingwall R, E, A. Murphy, P, Watson, D, Greatbatch and S, Parker (1998). 捕捉金魚。定性研究的質量"，《衛生服務研究和政策雜志》，3（3），第167-172頁。
經濟和社會研究委員會（1999年），《EPSRC英國循證政策和實踐中心的歷史》，http://vvww,evidencenetwork,org/home,asp。
Engel, J. D. and A. J. Kuzel (1992). 關于什么構成良好的定性調查的想法》。定性健康研究，2，第504-510頁。
Estabrooks, C. A., P. A. Field, and J, M, Morse (1994), 'Aggregating qualitative findings: 理論發展的方法"。定性健康研究》，4，pp，503-511。
Evans, D. and A, Pearson (2001), 'Systematic Reviews: 護理知識的守門人"，《臨床護理學雜志》，10（5），第593-599頁。
Fink, A. (1998). 進行研究文獻回顧。從紙張到互聯網，Sage Publications，倫敦。
Friedman A., C. Durkin, M. Phillips, and E. Voltsinger (2000), The Future of UK Professional Associations, Proceedings for 5th Annual Professional Association Research Network Conference.
Furniss, J. S. and M. Nutley (2000), ‘Implementing What Works with Offenders-The Effective Practice Initiative’, Public Money <￡ Management, 20 (4), pp.23-28,
Gibbons, M, C, Limoges, H, Nowotny, S, Schwartzman, P, Scott and M, Trow (1994), The New Production of Knowl- edge: 當代社會中科學和研究的動態，Sage Publications，倫敦。
Glass, G, V, (1976), “Primary, Secondary, and Meta-analysis of Research”, Educational Researcher, 5 (2), pp, 3-8,

發展以證據為依據的管理知識 221
Greenhaigh, T. (1997), ‘Papers that Summarise Other Papers (Systematic Reviews and Meta-analyses)’, British Medical Journal, 315 (7109), pp.672-675.
Greenhaigh, T. and R. Taylor (1997). 超越數字的論文（定性研究）》，《英國醫學雜志》。315（7110），第740-743頁。
Halladay, M. and L. Bero (2000). 在衛生保健中實施基于證據的實踐》，《公共資金與管理》，20（4），第43-50頁。
Hambrick, D. C. (1994). What if the Academy Actually Mattered?", Academy of Management Review, 19 (1), pp.11. Hart, C. (1998). 做一個文獻綜述。釋出社會
科學研究的想象力，Sage Publications，倫敦?；始揖徯瘫O察局（1998年）。有效犯罪監督的策略。HMIP What Works項目的報告。
項目報告，內政部，倫敦。
Hodgkinson, G. P. (Ed.) (2001). 面對未來：重新評估管理研究的性質和目的。
管理研究的性質和目的的重新評估，英國管理雜志，12（特刊）。
管理雜志》，12（特刊），第S1-S80頁。Hodgkinson, G. P., P. Herriot和N. Anderson（2001）。重新調整管理研究中的利益相關者。來自工業、工作和組織心理學的教訓"，《英國管理雜志》，12（特刊），第1頁。
S4I-S48。
內政部（1998年），減少犯罪。評估
關于處理犯罪行為方式的研究證據，內政部研究和統計局，倫敦。
Huff, A. S. (2000). 組織知識生產的變化》，《管理學院評論》，25（2），第288-293頁。
Jensen, L. A., and M. N. Alien（1996）。定性研究結果的元綜合"。定性健康研究，6（4），第553-60頁。
Laycock, G. (2000), “從中央研究到地方實踐。Identifying and Addressing Repeat Victimization”, Public Money & Management, 19 (1) pp.17-22.
Macdonald, G. (1999), ‘Evidence-based Social Care: Wheels off the Runway?", Public Money & Management, 19 (1), pp.25-32.
Maclennan, D. and A. More (1999). Evidence, What Evidence? The Foundations for Housing Policy’, Public Money & Management, 19 (I), pp.17-24.
Mays, N. and C. Pope (2000). Assessing O^^lity in Quali- tative Research", British Medical Journal. 320（一月），第50-52頁。
Mulrow, C. D. (1987). 'The Medical Review Article: 科學現狀》，《國際醫學年鑒》，106，第485-488頁。Mulrow, C. D. (1994). 系統性回顧-系統性回顧的原理》，《英國醫學雜志》，309（6954），第597-599頁。
597-599.
Mulrow, C. D., D. J. Cook, and F. Davidoff (1997). 系統性
評論。證據大鏈中的關鍵環節"。內科年鑒
內科醫學年鑒》，126，第389-391頁。
國家臨床優化研究所（2001），http://
www.nice.org.uk/。
NHS評論和傳播中心（2001年），Under-
療效研究的系統回顧。
CRD對那些進行或委托進行評論的人的指導。
審評。CRD報告編號4（2"'版）。約克。Noblit, G. W. and R. D. Hare (1988). Meta-ethnography: Synthesizing Qualitative Studies, Sage Publications, London.
Nowotny, H., P. Scott and M. Gibbons (2001), Rethinking Science: 不確定性時代的知識和公眾。布萊克維爾出版社，馬薩諸塞州梅登市。
Nutley, S. M. 和 H. T. O. Davies (2000). 使基于證據的實踐成為現實。創新擴散的一些教訓"，《公共資金與管理》，20（4），第35-42頁。
Nutley S. M.、H. T. O. Davies和I. Walter（2002年）。從知到行。理解 “實踐中的證據 “議程的框架，討論文件1，研究利用的研究單位，http://www.st-and.ac.uk/。
~ cppm/KnowDo%20paper.pdf。
Nutley, S. M. and H. T. O. Davies (2002). 基于證據的政策
和實踐。Moving from Rhetoric to Reality, Discussion Paper 2, Research Unit for Research Utilisation, http://www.st- and.ac.uk/~cppm/Rhetoric%20to%20reality%20NF.pdf。
Ohlsson, A. (1994). 系統評論-理論與實踐》，《斯堪的納維亞臨床與實驗室研究雜志》。54 (219), pp. 25-32.
Oxman, A. D, (1994). 系統評論-評論文章的清單》，《英國醫學雜志》，309（6955），第648-651頁。
Pawson, R. (2001). The Promise of a Realist Synthesis, Working Paper No.4, ESRC Evidence Network, Centre for Evidence Based Policy and Practice, http://www.evidencenetwork.org/ Documents/wp4.pdf.
Peckham, M. (1991). 國家衛生服務的研究與開發》，《柳葉刀》，338，第367-371頁。
Petticrew, M. (2001). 從天文學到動物學的系統回顧：神話和誤解》，《英國醫學雜志》322（13）年1月，第98-101頁。
Pettigrew, A. M. (1997). 管理研究的雙重障礙，《組織行為學的進步》，Ash-gate，Aldershot。
Pfeffer, J. and R. I. Sutton (1999). 知道 “做什么 “是不夠的。將知識轉化為行動》，《加利福尼亞管理評論》，42（1），第83-108頁。
Popay, J., A. Rogers and G. Williams (1998). Rationale and Standards for the Systematic Review of Qualitative Litera- ture in Health Services Research”, Qualitative Health Research, 8 (3), pp.341-351。
Rosenberg, W. and W. Donald (1995). 循證醫學。An Approach to Clinical Problem-Solving”, British Medical Journal, 310 (6987), pp.1122-1126.
Sandelowski, M., S. Docherty, and C. Emden (1997). Quali- tative Metasynthesis: 問題和技術”。護理和健康研究》。20（4），第365-371頁。
Smith, R. (1991), 'Where is the Wisdom. ? 醫學證據的貧乏》[社論]，《英國醫學雜志》，303，第789-799頁。
Slavin, R. E. (1986). 最佳證據綜述。元分析和傳統評論的替代方案”，《教育再搜索》，15（9），第5-11頁。
Starkey, K. and P. Madan (2001). Bridging the Relevance Gap: Aligning Stakeholders in the Future of Management Research", British Journal of Management, 12 (SI), pp.3-26.
Suri, H. (1999). 綜合定性研究的過程。一個案例研究"。定性研究協會年度會議，墨爾本，http://www.latrobe.e-
du.au/aqr/offer/papers/HSuri.htm
Tisdall, P. (1982). 變化的代理人。管理咨詢的發展與
管理咨詢的實踐，Heinemann，倫敦

222
D. Tranfield, D. Denyer和P. Smart
Tranfield, D. and K. Starkey (1998). 管理研究的性質、社會組織和促進。Towards Policy’ British Journal of Management, 9 (4), pp.341-353.
Van de Ven, A. H. (1998). 專業學校的專業科學。Breaking the Code of Change Con- ference, Harvard Business School, Boston, MA。
Van Aken, J. (2001). 基于設計科學范式的管理研究。追求經過實地測試和接地氣的技術規則。工作文件01.1，埃因霍溫創新研究中心，埃因霍溫技術大學，埃因霍溫。
Whitley, R. (1984a), 'The Fragmented State of Management Studies: 原因和后果"，《管理研究雜志》。21（3），第331-348頁。
Whitley, R. (1984b), “管理研究作為實踐導向的社會科學的科學地位”, 《管理研究雜志》。2t（4），第369-390頁。
Whitely, R. (2000), The Intellectual and Social Organization of the Sciences, Second Edition, Oxford University Press, Oxford.
Wilcoxson, L.和E. P. Fitzgerald（2001）。澳大利亞和新西蘭的管理研究的性質和作用，澳大利亞和新西蘭管理學院會議。
Wind, J. and P. Nueno (1998). The Impact Imperative: Closing the Relevance Gap of Academic Management Research, International Academy of Management North America Meeting, New York.
Wolf, F. M., J. A. Shea and M. A. Albanese (2001), ‘Toward Setting a Research Agenda for Systematic Reviews of Evidence of the Effects of Medical Education’, Teaching and Learning in Medicine。13 (1), pp.54-60.

總結

以上是生活随笔為你收集整理的通过系统回顾的方法来发展循证的管理知识*。的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。