نوع مقاله : مقاله پژوهشی

نویسنده

دکترای کتابداری و اطلاع‌رسانی، مرکز تحقیقات مدیریت اطلاعات سلامت، دانشگاه علوم پزشکی کاشان، کاشان، ایران

چکیده

اهداف: مطالعات سنتزپژوهی، راهی برای بازیابی، مرور، ترکیب، تحلیل و یکپارچه‌کردن نتایج مطالعات اصیل است. مطالعة حاضر به‌معرفی انواع روش‌های این نوع مطالعات می‌پردازد. سپس، وضعیت مقالات منتشرشده در PubMed بررسی شده است.
مواد و روش‌ها: در بخش نخست، از روش کتابخانه‌ای استفاده شد. در بررسی وضعیت تولید مقالات، داده‌ها از PubMed استخراج و سپس با نرم‌افزار اکسل تحلیل شد.
یافته‌ها: بررسی‌ها نشان داد که همة مطالعات سنتزپژوهی طی سال‌های اخیر روند رو ‌به رشدی داشته است و پژوهشگران اهمیت آن را درک کرده‌اند.
نتیجه‌گیری: با توجه به افزایش حجم و تعداد اطلاعات تخصصی، آگاهی و استفاده از نتایج مطالعات سنتزپژوهی در تصمیم‌گیری‌های بالینی مبتنی بر شواهد بسیار مؤثر است. با توجه به اینکه در ایران بیشتر مطالعات به سیستماتیک و متاآنالیز محدود شده است، مقالة حاضر  دید جدیدی را به مطالعات سنتزپژوهی ایجاد می‌کند.

کلیدواژه‌ها

موضوعات

عنوان مقاله [English]

Investigation and Introducing a Variety of Synthetic/ Mixed and Review Studies in Medical Research

نویسنده [English]

  • Somayyeh Nadi Ravandi

Health Information Management, Kashan University of Medical Sciences, Kashan, Iran

چکیده [English]

Background: Research synthesis studies are a way to retrieve, review, synthesize, analyze and integrate the original research results. This study introduces a variety of methods such studies and then has investigated the status of published articles in PubMed.
Material and method: In first part, researcher used library method and then investigated the status of the production of articles in PubMed and analyzed extracted data with excel software.
Results: The results showed that all research synthesis studies have been growing in recent years and researchers have recognized their importance.
Conclusion: Due to the increasing size and number of specialized information, awareness and use of the results of research synthesis studies can be very effective in evidence-based clinical decision making. Given that most studies in Iran are systematic review and meta-analysis studies, paper can provide new look to synthesis studies.

کلیدواژه‌ها [English]

  • PubMed
  • qualitative study
  • quantitative study
  • research synthesis

مقدمه

با افزایش حجم انتشارات، مرور مطالعات قبلی، به‌خصوص در حوزة پزشکی سخت و ناممکن شده است ،در صورتی ‌که گاهی مطالعات مشابه نتایج متضادی دارد که بر تصمیم‌‍‌گیری‌های بالینی بسیار اثرگذار است. این مسئله سبب‌ساز رواج سنتزپژوهی (research synthesis) شده است که در آن پژوهشگران در پی ترکیب، تلفیق، تحلیل و تفسیر تازه‌ای از پژوهش‌های قبلی هستند. در این نوع پژوهش‌، فرضیه‌ها آزمون و اعتبارسنجی می‌شود تا پژوهش‌های آینده بهتر طراحی شود [1].

هدف پژوهش حاضر معرفی روش‌های مختلف سنتزپژوهی و بررسی وضعیت آن‌ها در PubMed است.

روش پژوهش

در معرفی مطالعات، روش مرور متون (کتابخانه‌ای) استفاده شد و در تعیین وضعیت، PubMed با پرس‌وجو‌های مناسب (Queries) بررسی گردید. یافته‌ها با استفاده از نرم‌افزار Excel تجزیه‌وتحلیل شد.

انواع سنتزپژوهی

دو رهیافت عمده در سنتزپژوهی عبارت است از رهیافت‌های جمعی (aggregative approaches to synthesis) و رهیافت‌های غیرجمعی (non-Aggregative approaches to synthesis) [2]. همچنین، می‌توان آن‌ها را به سه گروه سنتز مطالعات کمّی، کیفی و کمّی- کیفی تقسیم کرد.

مرور متون (literature review) یا مرور نقلی (narrative review)

معمول‌ترین نوع سنتز عبارت است از مقایسه و مقابلة دیدگاه نویسندگان مختلف در مورد یک موضوع، دسته‌بندی‌کردن نویسندگان با نتایج مشابه، نقد جنبه‌های روش‌شناسی پژوهش‌ها، توجه به حوزه‌هایی که مورد توافق نویسندگان نیستند، برجسته‌کردن مطالعات نمونه و شکاف‌های پژوهشی، نشان‌دادن ارتباط پژوهش شما با مطالعات دیگر و با متون به‌صورت عام و نتیجه‌گیری از خلاصه‌کردن متون [3]. از نظر محتوا بسیار توصیفی است. جستجوی منابع در آن‌ها نظام‌مند انجام نمی‌شود و اغلب روی گروه‌های فرعی مطالعات یک حوزه بر اساس دسترس‌پذیری به پژوهش‌ها یا یک نویسندة مشخص تمرکز دارد و با اینکه بسیار آگاه‌کننده است سوگیری هم دارد [4]. جستجوی زیر در Pubmed برای بررسی وضعیت مطالعات انجام شد.

Search Query (1): literature review [Title] NOT Systematic [Title]

بررسی نشان داد نخستین مقاله در سال 1945 و 44 درصد مقالات در پنج سال اخیر منتشر شده است (شکل 1).

 

مرور سیستماتیک (systematic review)

هدف آن جمع‌آوری بهترین پژوهش‌ها با یک سؤال مشخص است و از پژوهش‌های مرتبط برای یافتن، ارزیابی و تلفیق نتایج حاصل استفاده می‌کند [5]. این نوع مطالعه با طرح و برنامه‌ریزی دقیق و جامع و با استفاده از راهبرد جستجوی مشخص انجام می‌شود تا سوگیری با شناسایی، ارزیابی و ترکیب تمام مطالعات مرتبط در موضوعی خاص کاهش می‌یابد [4]. پنج گام اساسی آن عبارت است از قالب‌بندی پرسش، شناسایی کارهای مرتبط، ارزیابی کیفیت مطالعات، خلاصه‌کردن شواهد، و تفسیر یافته‌ها [6].

Search Query (2): (systematic review [Title]) NOT ((meta analysis [Title]) AND meta-analysis [Title])

بررسی PubMed با پرس‌وجوی [2] نشان داد که نخستین مطالعة مرور سیستماتیک در سال 1948 منتشر شده و 65 درصد مقالات مربوط به پنج سال اخیر است. شکل 1 روند تولید مقالات را نشان می‌دهد.

متاآنالیز (meta-analysis)

متاآنالیز یک مرحله بالاتر از مرور سیستماتیک است و خود ممکن است مروری سیستماتیک باشد، اما عکس آن صادق نیست. متاآنالیز، مطالعه‌ای کمّی، رسمی و اپیدمیولوژیکی است که سیستماتیک، پژوهش‌های قبلی را ارزیابی و نتایج را استخراج می‌کند. نتایج شامل تخمین دقیق‌تر آثار درمان، فاکتورهای خطر بیماری یا هر نتیجة دیگری است که به تحلیل ترکیبی (pooled analysis) کمک می‌کند [7]. هدف آن خلاصه‌کردن حجم زیادی از داده‌ها برای درک آسان، تعیین وجود اثر و بزرگی آن، افزایش قدرت و دقت مطالعات، و حل‌وفصل تضاد میان گزارش‌های مختلف است [8]. تعداد مطالعات در متاآنالیز نسبت به مرور سیستماتیک کمتر است، چون باید جمعیت و آمارهای آن‌ها کاملاً قابل‌مقایسه باشد [2]. تفاوت آن با مرور سیستماتیک همگن‌تربودن جمعیت مطالعات منتخب در متاآنالیز است. همچنین، روش انجام و تحلیل نتایج مطالعات و به‌طور کلی مقیاس‌های اثر [9] در آن بسیار مهم‌تر است.

Search Query (3): meta analysis [Title] AND meta-analysis [Title]

بررسی PubMed با پرس‌وجوی [3] نشان داد که نخستین مطالعه در 1977 منتشر شده و 68 درصد موارد مربوط به پنج سال اخیر بوده است.

شکل 1. روند تولید مقالات مرور متون، مرور سیستماتیک و متاآنالیز در Pubmed بین سال‌های 1945-2016

 

بر اساس شکل 1، مطالعات مرور متون، سیستماتیک و متاآنالیز طی سال‌ها، روند روبه‌رشدی داشته و همان‌طور که می‌بینیم طی سال‌های 2005-2016 شتاب بیشتری گرفته است.

فراقوم‌ نگاری (meta-ethnography)

فراقوم‌نگاری یکی از روش‌های تفسیرگرایانه در ترکیب مطالعات کیفی است [9] و با تعیین کلمات کلیدی، عبارت‌ها، استعاره‌ها و عقاید موجود در مطالعات، به‌جای خلاصه‌کردن نتایج، آن‌ها را تفسیر و رابطة بین مطالعات را مشخص می‌‌کند. تعداد مطالعات مورد بررسی آن اندک است و به «معنا در بافت» (meaning in context) توجه می‌کند. این نوع پژوهش کیفیت تفسیری (interpretive qualitative research) و زمینة اجتماعی و نظری (social and theoretical context) را در نظر می‌گیرد که یافته‌های اصلی در آن بافت ظاهر می‌شود و تلاش می‌کند این بافت را بهبود بخشد و آن را مقایسه کند [2]. در این روش، بعد از انتخاب مطالعات مرتبط، فهرستی از کلیدواژه‌ها، مفاهیم و استعاره‌ها استخراج می‌شود. سپس، پژوهشگر در مورد شباهت‌ها، تناقض‌ها و ارتباط آن‌ها از جنبه‌های مختلف قضاوت می‌کند. این رویکرد شامل هفت گام است.

شکل 2. هفت گام در مطالعات فراقوم‌نگاری و عوامل مؤثر بر تصمیم‌گیری [10] 

در شکل 2، فاکتورهای مؤثر در ارزیابی کیفی مطالعات نیز مشخص شده است، شامل انتخاب‌های کاربردی، منابعی که مطالعات از آن‌ها به‌دست آمده‌اند، فرهنگ پژوهشی غالب در زمان انجام پژوهش و معرفت‌شناسی در پژوهش [10].

 

Search Query (4): Meta-Ethnography OR Meta-Ethnographic

پرس‌وجوی [4] در PubMed نشان می‌دهد 267 مقاله از1998-2016 منتشر شده که 70 درصد آن در پنج سال اخیر بوده است.

 

تحلیل ثانویة داده‌های اولیه (secondary analysis of primary data)

اگر پژوهشگران داده‌های مورد نیاز خود را از طریق داده‌هایی به‌دست آورند که قبلاً دیگران در مطالعات کمّی و کیفی جمع‌آوری کرده‌اند و آن را تحلیل کنند، مطالعة تحلیل ثانویة داده‌های اولیه انجام داده‌اند. دو رهیافت‌ سؤال‌محور (data-driven) و داده‌محور (data-driven) دارد. در رهیافت نخست، از قبل فرضیه یا سؤالی در ذهن وجود دارد. سپس، مجموعة داده‌ها بررسی می‌شود تا به سؤال پاسخ داده شود. در رهیافت دوم، نخست مجموعة دادة موجود بررسی می‌شود تا مشخص شود این داده‌ها به چه سؤالی پاسخ می‌دهد [11]. سه شکل از تحلیل ثانویة داده‌های اولیه وجود دارد:

1. تحلیل عمیق اضافی (additional in-depth analysis). محقق تمرکز زیادی بر یک یافته یا جنبة‌ خاصی از کار اولیه دارد.

2. تحلیل گروه فرعی اضافی (Additional sub-set analysis). پژوهشگر به‌صورت گزینشی روی یک گروه فرعی از نمونة مطالعة (یا مطالعات) اصلی تمرکز می‌کند.

3. چشم‌انداز جدید / تمرکز مفهومی (New perspective/conceptual focus). تحلیل گذشته‌نگر کل یا بخشی از یک مجموعه داده با دیدگاهی متفاوت است تا مفاهیمی بررسی شود که در مطالعة اصلی مورد توجه نبوده یا در پژوهش اولیه اصل نبوده‌ است [12].

Search Query (5): Secondary Analysis of Primary Data [Title/Abstract]

اولین مطالعة آن در سال 1982 در PubMed منتشر شد. 50 درصد آن در پنج سال اخیر بوده است.

 

مقایسة موردی متقاطع (cross-case comparison)

مطالعة موردی محدودیت‌های بالقوه‌ای در تحلیل شواهد و گزارش اهداف دارد و تعمیم‌‌پذیر هم نیست. مطالعة مقایسة موردی متقاطع این مشکلات و کاستی‌ها را ندارد [13] و روی مطالعات کمّی و کیفی انجام می‌شود، هر چند روش‌های مقایسة آن تقریباً همیشه کمّی است [2]. این مطالعه جستجوی الگوها، شباهت‌ها و تفاوت‌های موارد متقاطع در متغیرها و اندازه‌‌گیری نتایج مشابه است [13]. یکی از فنون آن انتخاب طبقات یا ابعادی در مطالعات منتخب بر اساس سؤال پژوهش، متون موجود یا به انتخاب پژوهشگر است. سپس، شباهت‌های درون‌گروهی و تفاوت‌های‌ بین‌گروهی این طبقات موضوعی را مقایسه می‌کند. برای این کار می‌توان با استفاده از ماتریسی 2*2 چندین طبقه یا بعد را یک‌جا مقایسه کرد یا می‌توان از مقیاس اندازه‌گیری پیوسته و سپس نمودار استفاده کرد [14].

Search Query)6): Cross-case Comparison [Title/Abstract]

در سال 1982، نخستین مطالعة آن در Pubmed منتشر شد و 45 درصد آن در بین سال‌های 2011 -2016 بوده است.

فراتفسیر (meta Interpretation)

در سال 2005 روش دیگری از سنتز مطالعات کیفی پیشنهاد گردید که فراتفسیر نام دارد [2]. از ویژگی‌های آن، استفاده از رهیافتی اندیشه‌نگار (ideographic) به‌جای رهیافتی ازپیش‌تعیین‌شده برای تعیین معیارهای خروج از مطالعه است. این مطالعه نیز بر معنا در بافت تمرکز دارد و رهیافتی قابل‌تکرار برای نمونه‌گیری نظری مطالعات و سنتز آن‌هاست.

 

شکل 3. شیوة بالقوه برای فراتفسیر [2]

مطابق شکل 3، این رهیافت با یک حوزة پژوهشی شروع می‌شود. سپس، تعداد چهار یا پنج مطالعة متضاد انتخاب می‌شود. روی این مطالعات تحلیل بافتی و موضوعی انجام می‌شود. در طول این تحلیل ممکن است که برخی موضوعات پدیدار شوند که حکم به خروج برخی مطالعات دهند. همچنین، دامنة وسیعی از موضوعات برای بررسی ظاهر شود. این روند به‌همین شکل ادامه می‌یابد تا به حالت اشباع برسد و در نهایت به توسعة نظریه و ارائة یافته‌ها می‌انجامد. هیچ مطالعه‌ای در PubMed با این رویکرد نمایه نشده است.

فرامطالعه (meta study)

فرامطالعه فرایند یا فن ترکیب نتایج پژوهش‌ها با استفاده از روش‌های آماری برای بازیابی، انتخاب و ترکیب نتایج از مطالعات مجزا اما مرتبط قبلی است [15]. بسیاردقیق‌تر از مرور متون است که اغلب به شدت بر تفسیر شخصی پژوهشگر متکی است. سه سطح تحلیل دارد: تحلیل فراداده (meta-data-analysis) که تحلیل مجدد داده‌ها از مطالعات اولیه است؛ فراروش (meta-method) که به کیفیت مطالعات اولیه و روش و روش‌شناسی توجه دارد که هر کدام برای یافته‌ها استفاده کرده‌اند؛ و فرانظریه (meta-theory) که بر کشف نقادانة چارچوب‌های نظری مورد استفاده و نظریه‌ای تمرکز می‌کند که از پژوهش آمده است [16]. اهمیت فرامطالعه‌ها تا آنجاست که می‌توان از آن‌ها برای مدل‌سازی استفاده کرد [17].

کل مطالعات فرامطالعة نمایه‌شده در PubMed هفتاد مورد است که ۴۶ درصد آن در پنج سال اخیر نمایه شده است. نخستین مقاله در سال ۱۹۹۲ منتشر شده است.

Search Query (7): (metastudy [Title/Abstract] OR meta-study [Title/Abstract])

شکل 4. روند تولید مقالات فراقوم نگاری تحلیل ثانویه داده‌های اولیه و مقایسة موردی متقاطع و فرامطالعه    Pubmed بین سال‌های 1945-2016

 

طبق شکل 4، روند رشد مقالات فراقوم‌نگاری در پنج سال اخیر نسبت به دو مطالعة دیگر بسیار بیشتر بوده است، در حالی که تحلیل ثانویة داده‌های اولیه نسبت به آن پیشگام بوده است. شاید دلیل آن رشد نگاه اجتماعی در بین پژوهشگران بوده است.

سنتزپژوهی آمیخته (mixed research synthesis)

مرور سیستماتیکی است که نتایج مطالعات کیفی و کمّی حوزه‌ای مشترک از پژوهش‌های تجربی را ترکیب می‌کند. در مقایسه با دیگر روش‌های پژوهش ترکیبی که موضوع مجموعه داده‌های ترکیبی از داده‌های کمّی و کیفی (به‌طور مثال، مصاحبه و مانند آن) است داده‌های آن از یافته‌های مطالعات کمّی و کیفی اولیه از پژوهش‌های تجربی به‌دست می‌آید [18]. نتایج آن دقیق‌تر از روش‌های ترکیبی دیگر و هدف آن توسعة خلاصة شواهد و نظریه و قضاوت نظریه‌های رقیب و تعیین عناصر فعال، اثربخشی و پیوندهای ضعیف در زنجیرة انجام مداخلات، برنامه‌ و سیاست‌هاست [29]. مطالعه‌ای از آن در PubMed  منتشر نشده است.

 

جدول 2. خلاصة ویژگی مطالعات مورد بررسی

نام مطالعه

خلاصه

مرور متون

عدم تمرکز بر پرسشی مشخص و بدون پرتکل است. جستجوی آن غیرسیتماتیک است و ممکن است سوگیری داشته باشد.

مرور سیستماتیک

تمرکز بر پرسشی مشخص و دارای پرتکل و هدف دقیق است. ارائه‌کنندة خلاصة دقیقی از مطالعات است.

متاآنالیز

تأکید بر مطالعات کمّی و جستجوی سیستمایتک همچنین، تأکید بر همگن‌بودن جمعیت و روش انجام پژوهش‌ها، حل‌وفصل تضاد میان مطالعات و ارائه‌کنندة نتایج به‌صورت تحلیل‌های کمّی است.

فراقوم‌نگاری

انجام روی داده‌های کیفی و پژوهش کیفی تفسیری با جستجوی سیستماتیک است. ارائة تفسیر بر اساس مفاهیم و استعاره‌های فهرست‌شده از مطالعات با تعداد مطالعات اندک و توجه به معنا در بافت است.

تحلیل ثانویة داده‌های اولیه

مجموعه داده‌های اولیه‌ای که خود پژوهشگر مطالعة اولیة کمّی یا کیفی یا پژوهشگر دیگر است.

مقایسه موردی متقاطع

بر اساس داده‌های جمع‌آوری اولیه از مطالعات کیفی و کمّی انجام است با روش‌های مقایسة کمّی.

فراتفسیر

تمرکز بر معنا در بافت و تعیین‌کنندة معیارهای خروجی است با تحلیل بافتی و موضوعی مطالعات منتخب اندک.

فرامطالعه

فرایند یا فن ترکیب نتایج پژوهش‌های کیفی با استفاده از روش‌های آماری و دقیق‌تر از مرور متون و کمتر وابسته بر تفسیر شخصی است.

سنتزپژوهی آمیخته

تأکید بر نتایج کمّی و کیفی مطالعات تجربی و نتایج آن دقیق‌تر از روش‌های ترکیبی دیگر است.

 

بحث

هدف از انجام این مطالعه، بررسی انواع مطالعات ترکیبی و سنتز پژوهی و بررسی وضعیت این نوع مطالعات در PubMed بود. بررسی اجمالی در گوگل و پایگاه‌های تخصصی پزشکی مانند Medlib و IranMedex در ایران نشان داد که مطالعات سنتزپژوهی در ایران به‌جز مرور متون، مرور سیستماتیک و متاآنالیز مورد توجه قرارنگرفته است. واردکردن نام این نوع مطالعات در گوگل نشان می‌دهد که تعدادی از آن‌ها حتی در ایران ترجمة مشخصی ندارد و در مورد برخی دیگر فقط در حد تعریفی ساده‌ وارد متون شده‌ است. شاید یکی از دلایل مهم در استفاده‌نکردن این روش‌ها عدم آشنایی پژوهشگران است. بررسی کتاب‌های روش تحقیق، چه در حوزة علوم انسانی و چه در پزشکی نشان داد که به‌جز چهار روش گفته‌شده در بالا در کتاب‌ها نیز این روش‌ها زیاد استفاده نشده است. همین عدم‌آشنایی ممکن است باعث شود که بسیاری از مطالعات اصیل به دلیل آنکه ذی‌نفعان فرصت مطالعة همة آن‌ها را ندارند مورد توجه قرارنگیرد. چون مطالعات سنتز ترکیبی به خلاصه‌کردن نتایج یا ارائة تفسیر در مورد مطالعات متعدد می‌پردازد بسیار مفید است. از آنجا که قبل از آنکه مفاهیم وارد کتب درسی و غیردرسی شود قبلاً در مقالات وارد می‌شود و به‌دلیل حجم کم آن‌ها بیشتر مورد توجه قرارمی‌گیرد، نویسندة مقاله بر آن شد تا به بررسی انواع مطالعات سنترپژوهی بپردازد و ضمن معرفی آن‌ها به‌صورت کامل در یک‌جا، زمینة آشنایی پژوهشگران را با آن‌ها فراهم کند. بیان ویژگی‌ها و نوع مطالعات مورد بررسی در این مطالعه نیز کمک می‌کند تا پژوهشگران هم‌زمان بتوانند به مقایسة روش‌ها بپردازند و برای مطالعات بیشتر متون مفصل را مطالعه کنند و از انجام مطالعات ترکیبی و تلفیقی با چند روش محدود پرهیز کنند.

نتیجه‌گیری

مطالعات سنتزپژوهی به‌دلیل حجم زیاد انتشارات به‌ویژه در حوزة پزشکی اهمیت زیادی دارد. مطالعات ترکیبی با تلفیق نتایج مطالعات کمّی و کیفی باعث آگاهی سریع‌تر و کامل‌تر افراد از وضعیت پژوهش می‌شود. در این مقاله سعی شد تا با معرفی انواع مطالعة سنتزپژوهی وضعیت رشد این مطالعات در PubMed نیز بررسی شود. بررسی‌ها نشان داد که در اکثر قریب به اتفاق این مطالعات، روند فزاینده‌ای در مقالات نمایه‌شده، به‌ویژه در پنج سال اخیر، وجود داشته است که نشان از توجه به آن‌ است. در پژوهش‌های آینده می‌توان برای هر رهیافت معرفی‌شده در این پژوهش مقالة جدید منتشرشده‌ای را انتخاب کرد تا ضمن بررسی ویژگی‌های مطالعه، نتایج آن با مطالعات اولیه در آن حوزه نیز مقایسه شود. 

 
[1] Akasofu SI. The importance of synthesis: A suggestion for international research efforts. Trans Am Geophys Union [Internet]. 2007; 88(25): 264.
[2] Weed M. Meta interpretation: A method for the interpretive synthesis of qualitative research. Forum, Qual Socio Res., 2005; 6(1).
[3] Caulley DN. Writing a critical review of the literature. La Trobe University: Bundoora, 1992.
[4] Lindsay SU. Systematic reviews and meta-analyses. J Can Acad Child Adolesc Psych, 2011; 20(1): 57-9.
[5] Jain V, Sharma RSS. Doing  meta-analysis in research A systematic approach. Indian J Dermatol Venereol Leprol, 2012; 78(3): 252-250.
[6] Khan KS, Kunz R, Kleijnen J, Antes G. Five steps to conducting a systematic review. J R Soc Med., 2003; 96(3).
[7] Haidich AB. Meta-analysis in medical research. Hippokratia, 2010; 14, 29-35.
[8] Pai M, Mcculloch M, Gorman JD, Pai N, Enanoria W, Kennedy G, et al. Clinical research methods systematic reviews and meta-analyses : An illustrated, step-by-step guide. Natl Med J India, 2004; 17(2): 86-95.
[9] Atkins S, Lewin S, Smith H, Engel M, Fretheim A, Volmink J. Conducting a meta-ethnography of qualitative literature: Lessons learnt. BMC Med Res Methodol., 2008; 8(1): 1-10.
[10] Toye F, Seers K, Allcock N, Briggs M, Carr E, Barker K. Meta-ethnography 25 years on: challenges and insights for synthesising a large number of qualitative studies. BMC Med Res Methodol, 2014; 14(1): 1-14.
[11] Cheng HG, Philips MR. Secondary analysis of existing data: opportunities and  implementation. Shanghai Arch Psychiatry, 2014; 26(6): 371-5.
[12] Heaton J. Secondary analysis of qualitative data. ANS Adv Nurs Sci., 2003; 20: 66-74.
[13] Eisenhardt KM. Building theories from case study research. Acad Manag J., 1989; 14(4): 532-50.
[14] Ausburn LJ, Martens J, Washington A, Steele D. A cross-case analysis of gender issues in desktop virtual reality learning environments. J Ind Teach Educ., 2009; 46(3): 51-89.
[15] Meta-study . American Heritage® Dictionary of the English Language. 2011.
[16] Morgan M. Meta-study of qualitative health research: a practical guide to meta-analysis and meta-synthesis. Int J Nurs Stud., 2003; 40(2): 217.
[17] Magliocca NR, van Vliet J, Brown C, Evans TP, Houet T, Messerli P, et al. From meta-studies to modeling: Using synthesis knowledge to build broadly applicable process-based land change models. Environ Model Softw, 2015; 72: 10-20.
[18] Sandelowski M, Voils CI, Barroso J. Defining and designing mixed research synthesis studies. Res Sch., 2006; 13(1): 29.
[19] Sandelowski M, Voils CI, Leeman J, Crandell JL. Mapping the mixed methods–mixed research synthesis terrain. J Mix Methods Res., 2012; 6(4): 317-31.