Ошибки в оценке науки, или как правильно использовать библиометрию. Ив Жэнгра
торые могут в ней обнаружиться.
Введение
«Оценка»… Это слово вот уже несколько лет сотрясает академический и университетский мир. Особенно это ощущается в Европе, где с начала 2000-х годов идет процесс реформирования высшего образования[2]. Оценивать стремятся всех и вся: преподавателей, профессоров, исследователей, учебные программы и сами университеты. Показателей превосходства (excellence) и качества становится все больше, однако не всегда понятно, на каких основаниях эти показатели сконструированы.
Среди инструментов, используемых для создания многочисленных индикаторов превосходства, которые менеджерский подход к высшему образованию и науке повсеместно навязывает как некую очевидность, одно из почетных мест принадлежит сегодня библиометрии. В качестве критериев оценки научной продукции и ее различных применений этот исследовательский метод использует научные публикации и их цитирование. Подсчет числа публикаций и ссылок, производимый с целью рейтингования университетов, лабораторий или исследователей, часто выдается за объективную меру ценности тех или иных научных результатов.
Реагируя на распространение этих количественных показателей, многие исследователи критикуют библиометрию, ее изъяны и побочные эффекты, связанные с тем, что количество публикаций, а главное, число ссылок на них стали показателем качества и импакта их работ. Однако, как ни парадоксально, зачастую сами исследователи, принадлежащие к разным дисциплинам, спешат упомянуть об импакт-факторе журналов, в которых они публикуются, и кичатся своим индексом Хирша, как будто это гарантия их ценности и успеха. При этом они не всегда указывают на источник этих цифр и даже не вполне понимают реальное значение подобных показателей. Иными словами, невозможно всерьез вменять в вину одним лишь бюрократам всю эту «измерительную лихорадку». Ее сопровождает бешеная гонка к вершинам многочисленных рейтингов университетов, тогда как – и мы это покажем – эти рейтинги не имеют под собой ни малейшего научного основания.
Во Франции в результате принятия закона 2007 года об автономии университетов и попыток реформирования организации научных исследований возникла повышенная чувствительность к вопросам оценивания, которые прежде мало обсуждались во французских академических кругах. Под влиянием этого контекста и несмотря на то что использование библиометрии редко является единственным критерием оценки, утвердилось ложное и опасное представление о тождестве между библиометрией и оцениванием, как если бы библиометрия была нужна лишь для оценки исследователей. А ведь именно отсутствие серьезной методологической рефлексии дает простор для хаотического, если не сказать дикого использования библиометрии. Например, на страницах журналов Nature, Science или в блогах полным-полно писем, опубликованных учеными, которые записались в «оценщики»… в основном своих конкурентов. Пока исследователи занимаются вычислением своего h-индекса в базах данных, не особо понимая, что он в действительности означает, профессора разглядывают под лупой многочисленные мировые рейтинги, чтобы выбрать из них тот самый, в котором их университет займет наилучшее место. Как отмечается в отчете Жоэля Бурдена, сенатора департамента Ер (Eure), в разных рейтингах почему-то систематически оказываются на первых позициях университеты разных стран: «Шанхайский рейтинг очень благоволит американским университетам… английский же рейтинг подчеркивает достижения вузов Соединенного королевства… а по Лейденскому рейтингу на лучших местах оказываются нидерландские университеты»[3]. Автор мог бы еще добавить, что рейтинг парижской Горной школы (Ecole des mines) отдает предпочтение французским высшим школам (grandes écoles)…[4]
Хотя самые известные рейтинги университетов (включая Шанхайский) часто основываются и на библиометрических данных, проблемы, которые они поднимают, относятся не только к оценке научных исследований. Несмотря на частую критику в адрес этих рейтингов, большинство их защитников довольствуются тем, что указывают на их ограничения, не поднимая вопроса об их эпистемологических основаниях: действительно ли выбранные для рейтингования показатели обладают тем значением, которое им приписывается? В этой связи необходимо всерьез задуматься о компетентности многих руководителей вузов. Так, во Франции 61 % из них заявляют о том, что хотят повысить позицию своего университета в Шанхайском рейтинге, хотя можно с большой долей уверенности предполагать, что они не знают, что именно он измеряет![5]
С середины 2000-х годов проходят многочисленные конференции и появляется множество публикаций об оценке научных исследований. В них постоянно всплывают одни и те же вопросы по поводу применения библиометрии, которые свидетельствуют о сложности в определении способов оценки науки[6]. Эти вопросы часто возникают, с одной стороны, из-за непрозрачности используемых концептов и показателей, а с другой стороны, из-за несогласия по поводу того, на каком уровне они могут применяться с пользой. По моему мнению, ясное понимание специфических характеристик самых распространенных библиометрических
См.: Abélard,
Информационный доклад от лица комиссии Сената по планированию:
См.: http://www.mines-paristech.fr/Ecole/Classements/.
Доклад Бурдена,
См., например, специальные номера по оценке научных исследований следующих журналов: