Совершенствование оценки эффективности деятельности подведомственных Правительству Российской Федерации образовательных и научных учреждений. Коллектив авторов
о цитируемости, но также указывают на способы провести результативный анализ, прежде всего идентифицируя и сравнивая эффективность сопоставимых групп ученых[18].
Кроме того, есть много проблем в отношении техники измерений, связанных с количеством цитирований. В частности, проблемы связаны с конкуренцией между базами данных. Самыми признанными являются базы Thompson Reuters ISI Web of Science, Scopus и Google Scholar. Прозрачность информации баз данных и критериев, на основе которых материалы включаются и исключаются из подсчетов, находятся пока на недостаточном уровне. Из-за различий в степени покрытия базами данных поиски в различных системах часто дают разные результаты. Кроме того, базы данных могут быть склонны к ошибке, и степень покрытия меняется в зависимости от области исследований. Для получения, обработки и интерпретации информации о цитировании из баз данных от специалиста требуется владение комбинацией библиометрических и академических навыков в определенной области исследования.
Поскольку и количество публикаций, и степень цитируемости значительно разнятся в зависимости от областей исследований, то возможности для проведения сравнений очень ограничены. Существует рекомендация сравнивать «подобное с подобным». Так, для анализа цитируемости на предмет оценки успешности университетского исследования данные должны быть нормализованы, например, путем соотнесения среднего числа цитирований статьи с мировым средним значением по конкретной области исследований. Такой подход позволяет учесть различную степень воздействия отдельных исследовательских направлений.
В количественной оценке цитирования работ по социальным и гуманитарным наукам существуют специфические проблемы. В этих предметных областях статьи в журналах могут отражать лишь отдельные аспекты проводимых исследований, что сказывается на уровне их цитирования[19].
Индикаторы трансфера знаний и коммерциализации результатов исследований в последние годы приобрели особую значимость, поскольку исследования и политики в области инноваций стали более интегрированными. Эти индикаторы могут базироваться на измерении количества лицензий и стартапов, но могут также быть связаны с проведением совместных исследований, консультационной деятельностью, а также с возможностями трудоустройства выпускников со степенью PhD и удовлетворенностью работодателей уровнем подготовки выпускников.
Индикаторы второго уровня. В результате выявленных методологических проблем с оценкой цитируемости были разработаны несколько индексов, которые доступны в большинстве баз данных. Но к их использованию в качестве индикаторов необходимо относиться с большой осторожностью, что не всегда имеет место на практике.
Основными индексами являются импакт-фактор журнала и индекс Хирша. Импакт-фактор журнала – показатель, дающий характеристику среднему числу цитирований статей, опубликованных в данном журнале в пределах определенного срока. Однако существуют значительные
Lehmann S., Lautrup B. E. and Jackson A. (2009) Comment: Citation Statistics.
Hicks D. (2006) The Dangers of Partial Bibliometric Evaluation in the Social Sciences.