استناد (Citation)
در شاخص اثرگذاری استنادی (Citation Impact) تعداد استنادهای دریافتی مورد بررسی قرار میگیرد. هرگاه تعداد زیادی از آثار به یک مدرک استناد کنند، آن مدرک مهم و دارای اعتبار تلقی میشود. در بررسی ارزش هر مدرک براساس تأثیر آن بر مقالهها و نوشتههای بعدی (استنادهای دریافتی از آثار بعدی) مورد بررسی قرار میگیرد. از طریق ردگیری استنادهای یک حوزه پژوهشی به گروهی از پژوهشگران میرسیم که پیوسته مورد استناد قرار میگیرند و در آن حوزه دارای بیشترین استنادها بودهاند. به این افراد پیشگامان پژوهش (Research Fronts) میگویند.
خود استنادی (Self-Citation)
خود استنادی نویسنده (Author Self-Citation): استناد دادن نویسنده به آثار قبلی خود (زمانی که شخص استنادکننده و استنادشونده یکسان هستند)، استنادی که مقاله استنادکننده و استنادشونده حداقل دارای یک نویسنده مشترک باشند. زمانی که شخص در آن حوزه صاحب نظر است و مهم ترین آثار پیشین در آن حوزه نیز به وی تعلق دارد و آثار زیادی در آن حوزه منتشر کرده و بخواهد ارتباطی میان اثر حاضر و سایر آثار مرتبطی که در گذشته نوشته برقرار کند یا تفاوت کار حاضر با سایر کارهای قبلی که در این حوزه انجام داده را نشان دهد خود استنادی به جاست امّا زمانی که نویسنده تنها بخواهد استنادهای دریافتی خود را با هدف تمجید از خود و قابل نمایش ساختن آثاری که تاکنون استنادی دریافت نکرده اند همچنین دستکاری و افزایش کاذب استنادهای دریافتی نویسنده و مجله و همچنین ضریب تأثیر مجله از طریق خوداستنادی افزایش دهد این امر نابجاست.
تحلیل استنادی (Citation Analysis)
تحلیل استنادی یکی از روشهای کمیدر حوزه علم سنجی است که به بررسی متون علمیبراساس شمارش استنادها (Citation Counting) و پیگیری استنادها (Citation Tracking) میپردازد. تحلیل استنادی شامل تحلیل زوجهای کتابشناختی (Bibliographic Coupling)، تحلیل زوجهای هم استنادی (Co-Citation Coupling)، تحلیل هم استنادی مؤلفان (Author’s Co-citation Analysis)، تحلیل هم استنادی مجلات (Journal’s Co-citation Analysis) است.
مطالعات تحلیل استنادی با اهداف زیر انجام میشود:
بررسی شبکههای استنادی،
کشف گرایش نویسندگان در استفاده از انواع منابع اطلاعاتی (کتاب، مقاله و …)،
بررسی رفتار استنادی (Citation Behaviour) پژوهشگران،
بررسی رابطه فکر و علمیپژوهشگران.
ضریب تأثیر مجلات (Journal Impact Factor (JIF))
شاخص ضریب تأثیر مجله در سال ۱۹۸۳ به جامعه بین المللی معرفی شد. در حال حاضر، مجموعه شاخصهای ضریب تأثیر تحت عنوان Journal Citation Report یا JCR به طور سالانه توسط مؤسسه کلریویت آنالیتیکز منتشر میگردد. با وجود اتکا به این مجموعه شاخص به صورت گسترده در سطح بین المللی، انتقادهایی نسبت به آن مطرح بود که برای جبران نقائص شاخص ضریب تأثیر یا Impact Factor، دو محقق از دانشگاه واشنگتن شاخصهای دیگری، یکی با عنوان EigenFactor در سال ۲۰۰۷ و دیگری با عنوان Article Influence Score در سال ۲۰۰۹ به جامعه علمیدنیا معرفی کردند که در ارزیابی نفوذ مجلات و همچنین هر مقاله از مجله مورد استفاده قرار میگیرد. این شاخصها نیز مشابه شاخص ضریب تأثیر از دادههای استنادی برای ارزیابی نفوذ یک مجله در ارتباط با مجلات دیگر استفاده میکنند. این شاخصها برای مجلاتی قابل دسترسی است که در فهرست اصلی یا Master list مجلات منتخب مؤسسه کلریویت آنالیتیکز وارد شدهاند.
ضریب تأثیر (IF)
ضریب تأثیر (IF) کمیتی است که میزان متوسط استناد به مقالات یک مجله علمیرا نشان میدهد. ضریب تأثیر میتواند معیاری باشد برای نشان دادن میزان نفوذ علمییک مجله در یک حوزه علمیو تحققی خاص. در یک رشته علمی، مجلات دارای ضریب تأثیر بالاتر دارای اهمیت بیشتری نسبت به مجلات دیگر میباشند. از جمله مواردی که میتواند تأثیر مستقیم بر ضریب تأثیر داشته باشد، خوداستنادی است. مجلات دارای ضریب تأثیر بالاتر مقالاتی را منتشر میکنند که در مقایسه با مقالات مجلات دارای ضریب تأثیر پائین تر، بیشتر مورد استناد قرار میگیرند.
ضریب تأثیر رشته (Discipline Impact Factor (DIF))
ضریب تأثیر متوسط عبارت است از میانگین ضریب تأثیر مجلات علمیدر یک رشته یا موضوع خاص. در این روش تعداد اندکی از مجلات که ضریب تأثیر بالایی در یک رشته دارند، شناسایی میشود. در واقع اندازه گیری تعداد دفعات است که یک مقاله در مجله از مقالات هسته مورد نظر مورد استناد قرار میگیرد. روش محاسبه آن شبیه به محاسبه ضریب تأثیر مجلات است. در این روش هم معمولاً یک دوره دو ساله در نظر گرفته میشود در سنجش این ضریب: ابتدا تعدادی از مجلاتی که اهمیت آنها در رشته شناخته شده است، انتخاب میشوند. سپس مجلات دیگر در همین حوزه را که اهمیت و اعتبار آنها روشن نیست به این تعداد میافزایند. در مرحله سوم، ضریب تأثیر رشته این دو گروه از مجلات به منظور تعیین مجلات هسته محاسبه میشوند.
ضریب نفوذ مجله (EigenFactor Score)
محاسبه این شاخص برای هر مجله بر اساس تعداد استنادهای دریافت شده یک مجله در یک دوره ۵ ساله در JCR با در نظر گرفتن این که این استنادها از کدام مجلات دریافت شده است. بر این اساس، مجلات با تعداد استنادهای بالاتر، تأثیر و نفوذ بیشتری نسبت به مجلاتی با تعداد استنادهای کمتر خواهند داشت. همچنین این شاخص خوداستنادیها (self-citation) را مدنظر قرار نمیدهد و خوداستنادی در محاسبه آن تأثیری ندارد؛ یعنی ارجاعات یک مقاله به مقاله دیگر از همان مجله از محاسبه حذف میشود و در نتیجه ضریب نفوذ مجله تحت تأثیر خوداستنادی قرار نمیگیرد. به علاوه مجموع “EigenFactor Score” گزارش شده درJCR برابر با عدد ۱۰۰ است. اصلی ترین ایده در خلق این شاخص این بوده که دریافت یک استناد از مجلات با کیفیت بالا، با ارزش تر از دریافت استنادهای متعدد از مجلات باکیفیت پایین تر میباشد.
ضریب نفوذ مقالات مجله (Article Influence Score)
این شاخص میانگین نفوذ مقالات یک مجله را در طول ۵ سال اول پس از انتشار آن نشان میدهد. در واقع مثل ضریب تأثیر پنج ساله است که در آن نسبت تأثیر استنادی مجله به اندازه سهم مقاله مجله در طی یک دوره پنج ساله محاسبه میشود. میانگین ضریب نفوذ مقالات مجلات در JCR برابر ۱ است و نمرات بالاتر از ۱ نشان میدهد که نفوذ هر مقاله در مجله بالاتر از متوسط است و نمره کمتر از ۱ نشان میدهد که نفوذ هر مقاله در مجله کمتر از متوسط است.
محاسبه “Article Influence Score” به صورت تقسیم ضریب نفوذ مجله (EigenFactor Score) بر تعداد مقالات مجله در دوره پنج ساله و سپس تقسیم بر تعداد مقالات کل مجلات در همان دوره پنج ساله، و ضرب در ضریب یک صدم (۰٫۰۱) میباشد.
شاخص فوریت (Immediacy Index)
شاخص فوریت یا آنی نشان میدهد به چه سرعت مقالههای منتشر شده در یک نشریه استناد دریافت میکنند. برای محاسبه، تعداد استنادهایی را که مقالههای یک نشریه در یک سال مشخص دریافت کرده اند بر تعداد مقالههای نشریه در همان سال تقسیم میشود.
نیم عمر متون یا کهنگی متون (Literature Obsolescence)
شاخص نیم عمر، نقش زمان را در بهره وری از اطلاعات روشن میکند. با استفاده از این شاخص میتوان نشان داد که آیا با گذشت زمان از میزان سودمندی مقالات و کتابها کم میشود یا خیر. منظور از نیم عمر متون مدت زمانی است که در خلال آن نیمیاز متون استنادکننده به متون علمیمورد استناد در حوزههای علمیمورد نظر منتشر شده است. به عبارت دیگر، نیم عمر عبارت است از مدت زمانی که در طول آن نصف ارجاعهای یک نشریه منتشر شده اند. مطالعات نشان میدهد که نیمیاز ارجاعات (استنادها) مقالات تازه چاپ شده در دو سال اخیر، به نوشتههای همان سال باز میگردد.
بعد از مدت ده یا پانزده سال (بسته به موضوع) مقالات رشتههای مختلف، سودمندی خود را به عنوان منبع مورد استناد از دست میدهند. علومیکه بیشتر جنبه نظری دارند (مانند ریاضیات) دارای نیم عمر طولانی و علومیکه به مباحث نوین، روزآمدی و فناوری وابستگی دارند مانند پزشکی دارای نیم عمر کوتاهی هستند.
نیمه عمر استناد (Cited Half – Life)
نیمه عمر ارجاعها یا نیمه عمر استناد، تعداد سالهایی است که از سال ارزیابی باید به عقب برگشت تا شاهد پنجاه درصد کل ارجاعها به مجله در سال مورد ارزیابی باشیم. به عبارت دیگر، این شاخص مدت زمانی که نیمیاز کل استنادها به آن مجله صورت پذیرفته باشد را نشان میدهد و در حقیقت سرعت کاهش میزان ارجاعها به مجله را بیان میکند. بدیهی است که وقتی مقالههای یک مجله ارزش خود را برای ارجاعات، زود از دست بدهند (مقالهها سطحی باشند و خیلی زود بی ارزش شوند)، تنها به مقالههای جدید مجله ارجاع داده میشود. این موضوع باعث میشود که نیمه عمر ارجاعات به مجله کاهش یابد. بنابراین هر چه نیمه عمر ارجاعات به مجله بیشتر باشد، نشان میدهد که ارزش مقالههای مجله در طول زمان بیشتر حفظ شده است و هنوز مورد ارجاع قرار میگیرند. در مجموع هرچه نیمه عمر ارجاعات به یک مجله بیشتر باشد، ارزش مجله بالاتر میرود.
ارزش متیو (Mathew Value)
این شاخص شکل اصلاح شده ضریب تأثیر است که در سال ۲۰۰۶ توسط موییج معرفی شد. ارزش متیو در یک دوره پنج ساله و در موضوعی خاص محاسبه میشود مقالههای همان مجله و در همان دوره تقسیم میکند و عدد به دست آمده را با همین نسبتها درکل حوزه مورد پژوهش اندازه گیری میکند.
نحوه محاسبه آن تقسیم تعداد استنادها به مقالههای یک مجله در یک دوره پنج ساله بر تعداد مقالههای همان مجله در همان دوره زمانی است که عدد حاصل را با همین نسبتها در کل حوزه مورد پژوهش اندازه گیری مینماید.
A = جمع استنادات در یک دوره ۵ ساله در یک مجله،
B = جمع مقالات منتشره در یک دوره ۵ ساله در یک مجله،
C = تعداد کل استنادات حوزه موضوعی مورد نظر در یک دوره ۵ ساله،
D= تعداد کل مقالههای منتشره در آن حوزه موضوعی در یک دوره ۵ ساله.
مجموعه شاخص استنادی (CiteScore)
در ۸ دسامبر سال ۲۰۱۶، مؤسسه الزویر در مجموعه ژورنال متریکس (Journal Metrics) خود از محصول جدیدی رونمایی کرد. این محصول سایت اسکور (CiteScore) نام دارد که به نوعی رقیب (Impact Factor) یا همان ضریب تأثیر معروف مؤسسه کلریویت آنالیتیکز (Clarivate Analytics) محسوب میگردد.
سایت اسکور یک شاخص ساده برای اندازه گیری تأثیر استنادی مجلات است. بر خلاف ضریب تأثیر که انواع خاصی از مقالات (مروری و پژوهشی و فنی) را در محاسبه تعداد مقالات در مخرج کسر در نظر میگیرد، این شاخص همه انواع مقالات را در محاسبه خود در نظر میگیرد.
یک مورد خاص که در سایت اسکور وارد محاسبه نمیگردد، مقالات زیرچاپ (In press) است. از آنجایی که اسکوپوس همه مقالات In press را از ناشران مختلف در بر نمیگیرد، لذا برای اجتناب از bias در محاسبات این شاخص استنادی، مقالاتی که هنوز در شمارهای از مجله وارد نشده اند، در محاسبه سایت اسکور وارد نمیشود. سایت اسکور از تقسیم استنادها به مقالات سه سال اخیر بر تعداد مقالات سه سال اخیر به دست میآید. برای یادگیری اینکه شاخص سایت اسکور چطور محاسبه میشود، این تصویر گویای موضوع است.
برای مثال سایت اسکور ۲۰۱۵ نشریه ی نیچر متدز (Nature Methods)15.62 است که از تقسیم تعداد استنادهایی که مقالات سالهای ۲۰۱۳،۲۰۱۲و۲۰۱۴ این نشریه در سال ۲۰۱۵ دریافت کرده (تعداد ۱۷۱۱۹ استناد- صورت کسر) بر تعداد مقالات این نشریه در سه سال بیان شده (تعداد ۱۰۹۶ مقاله – مخرج کسر) به دست میآید.
CiteScore Tracker
سایت اسکور ترکر شاخص دیگری است که نحوه محاسبه آن همانند سایت اسکور است با این تفاوت که قرار است به صورت ماهیانه برای همان سال به روزرسانی شود. البته سایت اسکور فقط یک بار ارائه میشود و دیگر هم تغییر نمیکند ولی سایت اسکور ترکر به دلیل ماهیت خود نیازمند ۱۶ بار تغییر و به روزرسانی در سال است.
CiteScore Percentile
برای مقایسه دو نشریه در دو حیطه موضوعی مختلف، شاخص CiteScore Percentile معرفی شده است. مثلا برای نشریه ی نیچر عدد ۹۹ ارائه شده است و این بدان معنی است که این نشریه جزء ۱ درصد بالایی حوزه پزشکی محسوب میگردد. چکیده مقالات در این شاخص محاسبه نمیشوند زیرا اسکوپوس آنها را تحت پوشش ندارد.
شاخص اسنیپ (Source Normalized Impact Per Paper (SNIP))
این شاخص که توسط دانشگاه لایدن پیشنهاد شد میزان تأثیر استناد را با وزن دادن به استناد براساس کل استنادهای دریافتی یک حوزه موضوعی میسنجد. بنابراین تأثیر یک استناد میتواند در یک حوزه موضوعی نسبت به یک حوزه موضوعی دیگر ارزش بیشتری داشته باشد. شاخص “ضریب تأثیر به هنجار شده براساس منبع” یا به اختصار اسنیپ بر مبنای دادههای برگرفته از پایگاه اسکوپوس محاسبه میشود. این شاخص با وزن دهی به استنادها براساس تعداد کل استنادهای حوزه موضوعی مربوطه (پتانسیل استنادی پایگاه در رشته ی مربوطه) محاسبه میشود تا تفاوت رشتهها به لحاظ رفتار استنادی و نیز به لحاظ میزان پوشش در پایگاه تصحیح شود.
شاخص (Scientific Journal Rankings (SJR))
معیاری است که بیان میکند تمام استنادها برابر آن چیزی که خلق شده نیست و زمینه موضوعی، کیفیت و شهرت مجله اثر مستقیم بر ارزش استناد دارد. این معیار هم شمار استنادهای دریافتی یک مجله و هم اهمیت یا اعتبار مجله ای که استنادها از آن میآیند را محاسبه میکند. این شاخص بیشتر برای استناد شبکه ای به مجلات بسیار بزرگ و ناهمگن مناسب میباشد. SCImagoاز شاخص رتبه بندی مجلات SJR برای مقایسه مجلات استفاده میکند که در طی دو مرحله محاسبه میشود. ابتدا هر مجله یک مقدار و اعتبار مشابه را به خود اختصاص میدهد. اعتبار مجله با I و تعداد کل مجلات پایگاه با N نشان داده میشود یعنی I/N.
شاخص (IPP) میزان استنادها به هر مقاله منتشر شده در مجله
شاخص IPP (Impact per publication) شاخص “تأثیر به ازای هر مدرک یا ضریب تأثیر خام مجله که مشابه “Impact factor”در پایگاه JCR است. برای یک سال معین براساس تقسیم استنادهای مقالات سه سال قبل بر تعداد مقالات این سه سال محاسبه میگردد.
شاخص اچ (H Index)
شاخص اچ به لحاظ سادگی، سهولت، کاربرد و داشتن مزایای متعدد نسبت به سایر روشها در دستیابی به یک عدد معین مورد توجه پژوهشگران قرار گرفته است. شاخص اچ به این پرسش پاسخ میدهد که هر یک از پژوهشگران به تنهایی چه نقشی در پیشبرد و گسترش مرزهای علوم در حوزههای مختلف دانش بشری دارند؟ در اصل شاخص اچ با استفاده از شمارش استنادها به حاصل کار یک پژوهشگر در طول حیات وی امتیاز میدهد. این شاخص همزمان هم به کمیت (تعداد مقاله) و هم به کیفیت (تعداد استنادها) اهمیت میدهد. اندازه گیری دقیق شاخص اچ به میزان جامعیت پایگاهها بستگی دارد.
شاخص H تنها مقالاتی را شامل میشود که تعداد استناد به هر یک از آنها برابر با H یا بیشتر از آن است، بنابراین شاخص متعادل تری است. شاخص Hیک پژوهشگر، شامل Hتعداد از مقالات اوست که به هر کدام از آنها حداقل H بار استناد شده باشد. برای مثال اگر یک نویسنده، ۶ مقاله داشته باشد که به هر یک حداقل ۶ بار استناد شده باشد، شاخص H آن نویسنده، ۶ خواهد بود. برای به دست آوردن عدد H، پس از انجام جستجو، باید مقالات را بر حسب استناد به ترتیب نزولی مرتب کرد و شماره مقاله را با تعداد استنادها مقایسه نمود تا تعداد استناد مساوی یا بیشتر از شماره مقاله باشد.
Multiple h index
در این شاخص نه تنها به استنادات وزن داده میشود، هسته هیرش، و سن مقالات استناد شده در نظر گرفته میشود، بلکه در محاسبه آن تمامیمقالات یک پژوهشگر که حداقل یکبار مورد استناد قرار گرفته اند نیز مورد لحاظ قرار میگیرد. برای محاسبه این شاخص، همانند شاخص h مقالات و استنادها بصورت نزولی درجدول قرار میگیرد اما در سطری دیگر سن هر مقاله نیز گنجانده میشود. اما بر خلاف محاسبه شاخصهای قبلی، بجای محاسبه یک h و یک هسته، چندین h و چندین هسته محاسبه میشود و سپس با ترکیب hها و هستههای بدست آمده، اچ جدیدی تحت عنوان Multiple h index بدست میآید.
شاخص جی (G Index)
این شاخص توسط “لئو اگه” برای اندازه گیری کمیبرونداد علمیپژوهشگران علم فیزیک و سایر پژوهشگران پیشنهاد شده است. شاخص جی با استفاده از مجذور تعداد مقالهها و مقایسه آن با مجموع استنادها در محاسبات، در واقع مقالههای پراستناد یک پژوهشگر را برجسته تر میکند.
شاخص جی بالاترین تعداد (g) مقالات است که ۲ بار یا بیشتر به آن استناد شده باشد. این شاخص با استفاده از ضرایب خود، سعی دارد تا از تأثیر مقالههای پراستناد و کم استناد بر نتیجه گیری بکاهد و یکی از نواقص شاخص H را برطرف نماید. شاخص g برابر است با بالاترین رتبه در لیست نزولی مقالات به ترتیبی که g مقاله اول حداقل تعداد g2 استناد دریافت کرده باشند و مجموع استنادهای مقالهها تا g، بزرگتر یا مساوی g2 باشد. بنابراین شاخص g نویسنده در مثال زیر برابر خواهد بود با ۸، باید مجموعاً ۸ به توان ۲ یعنی ۶۴ ارجاع داشته باشیم که با جمع هشت عدد ۷۳ داریم که بزرگتر از ۶۴ است.
شاخص وای (Y Index)
این شاخص سعی دارد با در نظر گرفتن کیفیت و کمیّت، نقاط ضعف دیگر شاخصها را برطرف نماید. بدین منظور، از عامل تأثیر به عنوان شاخص کمیو معادل مقبولیت و از رتبه بر اساس وزن یا رتبه پیچ (PageRank) به عنوان شاخص کیفی و عامل ارزش استفاده میکند. شاخص وای، حاصل ضرب عامل تأثیر در رتبه پیچ و در واقع حاصل ضرب کمیّت در کیفیت است و سعی دارد سنجش اعتبار علمیرا تا حد امکان کیفی کند.
شاخص ام (M-Index)
شاخص h هر پژوهشگر به طول مدت فعالیت پژوهشی وی بستگی دارد. زیرا با گذشت زمان، تعداد مقالات و استنادها به آن افزایش مییابد. به همین جهت، برای مقایسه پژوهشگران در مراحل مختلف دوره فعالیت آنها، شاخص M معرفی شد. این پارامتر در نتیجه تقسیم هرش هر پژوهشگر بر سن علمیوی به دست میآید. منظور از سن علمی، شمار سالهایی است که از زمان انتشار اولین مقاله او میگذرد.
شاخص Subject Sameness Index (SSI)
شاخص هم موضوعی را تیرگر و همکاران در سال ۲۰۱۳ معرفی کردند و در نشریه European Science Editing منتشر شد. فرمول شاخص هم موضوعی به شرح زیر میباشد:
SSI= SSP/TP, (0≤SSI≤۱)
SSI = تعداد مقالات هم موضوع یا مترادف پژوهشگر تقسیم بر تعداد کل مقالات وی در دوره زمانی معین،
SSP = تعداد مقالات هم موضوع یا مترادف پژوهشگر طی دوره زمانی معین که در آنها دست کم یک کلیدواژه موضوعی تکراری یا مترادف وجود دارد،
TP = تعداد کل مقالات منتشره از سوی یک پژوهشگر در بازه زمانی معین.
این شاخص میتواند در کنار سایر شاخصها همچون h در ارزیابی بروندادهای علمیپژوهشگران مورد استفاده قرار گیرد. منطق این شاخص در این است که پراکنده کاری محققان در پژوهشهایی که انجام میدهند میتواند به عنوان یک امتیاز منفی در نظر گرفته شود. و محققانی که دارای پژوهشهای همسو و مرتبط با پژوهشهای قبلی هستند در آن حوزه عمیق تر وارد شده و میزان تأثیرگذاری علمیآنها بیشتر خواهد بود.
سنجههای جایگزین (Altmetrics)
آلتمتریکس اندازه گیری تعاملات پژوهشی وب محور است، شامل موضوعاتی از قبیل اینکه چگونه یک پژوهش توییت میشود یا درباره آن بلاگ نوشته میشود یا بوک مارک میشود. مطالعه و استفاده از سنجههای تأثیر علمیبراساس میزان فعالیت در محیطها و ابزارهای آنلاین به عنوان سنجههای جایگزین یا Altmetrics شناخته میشود. در این بحث به جای استفاده از میزان استنادات مجلات به ضریب تأثیر شبکههای اجتماعی نظیر میزان مشاهده (View)، بارگذاری (Download)، علاقهمندی (Likes)، انعکاس در وبلاگ (blog)آ میزان توئیت شدن و … توجه میشود.
منابع
عبدخدا، محمدهیوا. علم سنجی و شاخصهای ارزیابی پژوهش، دانشگاه علوم پزشکی تبریز.
فیروز، یمین (۱۳۹۶). آشنایی با شاخصهای علم سنجی مرداد ۱۳۹۶، دانشگاه علوم پزشکی بابل.
عباسی، فهیمه (۱۳۹۵). محتواهای آموزشی برخط، دانشگاه علوم پزشکی و درمانی تبریز.
نوروزی چاکلی، عبدالرضا (۱۳۹۲). آشنایی با علم سنجی: مبانی، مفاهیم، روابط و ریشهها. تهران: سازمان مطالعه و تدوین کتب علوم انسانی دانشگاهها (سمت).