Оценить по-английски: Impact of Research

Обозреватель STRF.ru Иван Стерлигов пробует разобраться в инициативах правительства Великобритании, которое пытается изменить условия финансирования университетов. Грядущими преобразованиями довольны далеко не все.

Система

Система финансирования вузов в Соединённом Королевстве устроена довольно специфически: в каждой из четырёх частей государства есть своё агентство при правительстве, ответственное за распределение денег между университетами. Главное из них – Higher Education Funding Council for England (HEFCE). В партнёрстве с аналогичными агентствами Шотландии, Уэльса и Северной Ирландии HEFCE раз в 5–6 лет проводит оценку всех вузов-претендентов на получение госденег и распределяет финансирование согласно результатам.

Бюджет HEFCE на 2010/11 учебный год составляет £7,4 миллиарда, выделенные правительством через Department for Business, Innovation and Skills (никакого Минобрнауки в Великобритании сейчас нет). Из этих средств £4,7 миллиарда идёт на teaching, и £1,6 миллиарда – на research. Бюджет HEFCE снизился на £573 миллиона из-за кризиса, но для половины из 130 вузов-реципиентов выделяемые суммы возрастут.

Деньги идут в вузы в форме так называемых «блочных грантов», которые можно тратить по своему усмотрению, как угодно. Есть только одно требование: не набирать на первый курс студентов больше, чем в 2008/9 учебном году. В Англии в 2009/10 году набрали 389 тысяч новых студентов (цифра включает иностранцев лишь из ЕС). Их слишком много, и денег не хватает.

Помимо блочных грантов HEFCE и его шотландско-валлийских аналогов университетам достаётся около £1 миллиарда «обычных» исследовательских грантов и аспирантских стипендий, которые выделяют семь государственных грантовых фондов, распределённых по тематикам. Такая система называется «двойной поддержкой», и англичане ей заслуженно гордятся.

Блочные и обыкновенные гранты – финансовая база как для слабых, так и для сильных университетов. Скажем, из £608 миллионов дохода Оксфорда (без колледжей) в 2005/6 году на исследовательские гранты, в том числе европейские и негосударственные, пришлось £213 миллионов, а на HEFCE – £166 миллионов. В 2010/11 Оксфорд получит от HEFCE £188 миллионов, Кембридж – £180 миллионов, Университет Манчестера – £187 миллионов. Впереди всех Открытый университет (£190 миллионов, дистанционное обучение, национальный лидер по числу студентов). На сайте HEFCE можно узнать не только размер блочных грантов по каждому вузу, но и соотношение teaching и research-составляющих. Для Оксфорда оно равно 1 к 3, а, скажем, для Университета Плимута – 10 к 1. Треть всех исследовательских денег концентрируют пять ведущих университетов.

Абсолютное большинство английских вузов автономны, но получают госфинансирование.

Оплата со стороны студентов из Великобритании и ЕС не может превышать £3225 в год и в значительной мере покрывается государственными образовательными кредитами. В Шотландии плату за студентов (кроме иностранцев из-за пределов ЕС) вносит специальное правительственное агентство. До 1997 года обучение для граждан UK было бесплатным по всей стране.

Так как основная роль в финансировании высшего образования принадлежит государству, размер и роль университетских эндаументов малы. В отличие от США крупные эндаументы есть лишь у Оксфорда и Кембриджа. У сильного Университета Манчестера эндаумент составляет всего £130 миллионов против $12,6 миллиарда у Принстона.

Агентство определяет размеры финансирования на основе результатов общенациональных оценок, которые проводятся каждые 4-6 лет.

Поэтому роль денег HEFCE для английских университетов крайне велика.

Методика проведения оценок принципиально значима, и именно здесь правительство добивается серьёзных изменений.

RAE

Блочные гранты от HEFCE вузы могут тратить по своему усмотрению, но складываются они из двух разных составляющих: образования и науки. Нынешняя спорная реформа касается науки.

Деньги на образование (£4,7 миллиарда в 2010/11 году) распределяются в зависимости от числа студентов (с рядом нюансов). Контроль уровня образования раз в шесть лет проводит независимое Quality Assurance Agency, которое устраивает институциональный аудит на местах силами внешних экспертов. Вдобавок вузы своими силами собирают статистику по качеству обучения и удовлетворённости студентов, которая доступна абитуриентам на специальном сайте.

Деньги на науку (£1,6 миллиарда) пока в основном выделяются по результатам оценки Research Assessment Exercise (RAE), последний раунд которой прошёл в 2008 году. В основу RAE, проводившегося с 1986 года, был положен так называемый «Принцип Холдейна», сформулированный в начале XX века при создании прообраза HEFCE: решать, на что тратить выделенные на науку деньги, должны учёные, а не политики. RAE походил на формализованный peer review.

Любой вуз мог представить на анализ свои подразделения (факультеты и т.п.), разбитые по 67 дисциплинам. Каждое такое подразделение – Unit of Assessment – характеризовалось набором ведущих учёных, который составлял вуз. Работу учёных анализировали внешние эксперты, ставившие им оценки по пятибалльной шкале – world-leading, internationally excellent, internationally recognized, nationally recognized и unclassified. Среди экспертов преобладали сотрудники английских вузов, но были и иностранцы, в основном из США.

Предметом оценки по большинству дисциплин служили научные работы, опубликованные в 2001–2007 годах. По каждому сотруднику, выставленному вузом, нужно было предоставить 4 лучших статьи. Каждый предложенный к оценке учёный получал свой балл, затем считалось соотношение набравших разные баллы учёных в каждом подразделении, и после учёта общего числа его сотрудников вычислялся показатель качества.

REF

Правительство было давно недовольно такой академической вольницей. Критический взгляд на науку как на чёрный ящик, требующий постоянного увеличения финансирования и огрызающийся при словах о реальной отдаче от вложений, возобладал в среде чиновников к середине 2000-х годов.

В 2006 году, ещё до старта RAE 2008, с инициативой реформы выступило Казначейство (sic!), предложившее вместо peer review использовать набор метрик, который бы более полно учитывал и вознаграждал прикладные R&D. Правительство объявило, что на смену RAE придёт Research Excellence Framework (REF). (REF).

В 2007 году HEFCE выпустило циркуляр, в котором были уточнены подробности реформы. Для дисциплин STEM (Science, Technology, Engineering, Medicine) peer-review было предложено заменить количественными индикаторами, характеризующими публикационный выход, софинансирование со стороны бизнеса и активность аспирантов. В качестве аргументов приводились сравнимость библиометрических данных с показателями других стран, слабая вероятность обмана, присутствовавшего в RAE, и масштабное снижение затрат и трудоёмкости.

Для гуманитарных и общественных наук предлагалось оставить peer review, но дополнить его аналогичными формальными показателями. Довольно быстро было решено также сохранить peer review для математики и статистики.

Естественно, решение обратиться к библиометрии вызвало праведный гнев у научного сообщества.

После десятков статей и интервью в более мелких изданиях с критикой «библиометрического» варианта REF выступил Nature, и правительству пришлось отказаться от своих планов. Сейчас на сайте REF библиометрия упоминается вскользь: «Мы ожидаем, что некоторые из [тематических] экспертных панелей будут использовать информацию о цитированиях, чтобы подвести базу под свои оценки». В марте 2010 года руководство HEFCE пошло ещё дальше и объявило, что может полностью отказаться от использования показателей цитирований. Оправдываясь, директор по науке HEFCE сообщил, что использование библиометрии может поставить женщин в неравное положение. Впрочем, вполне вероятно, что на возвращении библиометрии может настоять Казначейство.

Помимо цитирований HEFCE упорно предлагает учитывать отдачу (impact) от исследований, что расстраивает учёных гораздо больше.

Планируется распределять, согласно отдаче, 25 процентов средств на науку по результатам REF. Как именно оценивать отдачу, пока не решили, но она включает блага не только для экономики, но и общества, культуры, медицины и т.д. При этом речь идёт об уже произошедшей отдаче, а не о планах на будущее типа «моё исследование поможет победить рак».

Конкретные параметры вычисления отдачи пока не раскрываются, но уже запущено пилотное исследование в 26 вузах, которое завершится осенью. Скорее всего, за основу взята Research Quality and Accessibility Framework (RQF) – методика, разработанная и тестированная в Австралии, но не принятая там из-за смены правительства. Использовать австралийскую наработку рекомендует RAND Europe, нанятый HEFCE для анализа существующего опыта.

RQF строится не на метриках, а на кейсах, которые должны оценивать специальные экспертные панели, в которых учёные объединены с потребителями результатов R&D. Не обязательно показывать отдачу от каждого учёного, можно вынести на оценку несколько кейсов на факультет. Индикаторы должны использоваться лишь для подкрепления претензий на наличие отдачи, а не для оценки. Предложенный набор таких индикаторов весьма эклектичен и включает «размер роялти», «число спасённых жизней», «число упоминаний в отчётах правительства и стенограммах парламентских заседаний».

Что получится в ходе освоения австралийского виртуального опыта, пока неясно. В прессу просочились выдержки из руководства HEFCE для участников пилотного исследования отдачи. В пример приводится Леон Литвак, специалист по Диккенсу из Университета Белфаста. Его переиздание «Нашего общего друга» – «новое культурное переживание для читателей» и «финансовый успех» для издателя. Выступив консультантом для Sky и ITV, Литвак добился «более точного представления Диккенса на ТВ».

Публичные отзывы учёных о готовящейся оценке в основном отрицательные. Вот лишь пара характерных примеров: 1, 2. Петицию об исключении оценки отдачи из REF подписали 17500 учёных, в том числе 6 нобелевских лауреатов. Все они уверены, что оценить их сравнительную полезность обществу невозможно. Зато объединение руководителей вузов Universities UK «полностью поддерживает включение отдачи в REF», но вносит массу предложений по методике оценки и просит на первых порах выделять по отдаче не 25, а 15 процентов средств.

Правительство планирует запустить REF в 2014 году. Противникам новшества остаётся надеяться на поражение лейбористов. Впрочем, консерваторы не обещают отменить REF, а лишь говорят, что его нужно отложить. Инновационно-импактный прессинг неминуемо возрастает.

Очень надеюсь, что REF стартует в срок – будет интересно.