Почему рейтинги, включая рейтинги университетов, — это ерунда

Хотя рейтинги (особенно университетские рейтинги) имеют ненулевую ценность, они имеют значительно меньшую ценность, чем мы, как общество, похоже, им приписываем. Чтомы собрали здесьэто набор данных (основанный на произвольных критериях), которому был присвоен вес (основанный на произвольных значениях). В лучшем случае это субъективно, а в худшем — в корне ошибочно. В конечном счете, я твердо убежден, что любые рейтинги, созданные людьми, гораздо ближе к «в корне ошибочному» концу спектра. Для этого есть причины, которые существуют как в универсальном масштабе, так и в более детальном масштабе, который специфичен для нашего проекта.

Этот пост является частьюНеделя образования.

Начиная с макро, большинство рейтингов ограничены просто потому, что они навязывают порядок вещам, которые по своей сути не имеют порядка. Общие заявления редко бывают верными при любых обстоятельствах; мы живем в мире пограничных случаев. Распространенный пример, используемый в дискуссиях о том, почему рейтинги университетов в целом следует отменить (позиция, которая может иметь свои достоинства), заключается в том, что школа № 1 (скажем, Оксфорд, вРейтинг Times Higher Education 2022 года) не должен быть выбором номер ONE для каждого. Индивидуальные обстоятельства, будущие цели, типы личности и ETC. — все это создает сложный ландшафт, в котором Оксфорд не является универсально хорошим (или даже посредственным) выбором. То, что он занимает первое место, на самом деле означает, что кто-то думает, что Оксфорд, возможно (но не обязательно), имеет больше того, что он лично ценит, чем большинство других школ. Это интересный момент данных, который многие люди воспринимают как абсолютную истину.

Для более наглядного примера, было бы довольно легко для кого-то создать рейтинг еды (или, в качестве альтернативы, «вставьте сюда предпочитаемую вами крайне субъективную вещь»). Если бы я был ONE, кто его создает, мои собственные предубеждения и мысли направляли бы эти рейтинги до такой степени, что, я надеюсь, люди сочтут это неприемлемым. Я бы собрал объективные данные о таких вещах, как вероятность аллергической реакции, стоимость, простота коммерческой доступности, воздействие на окружающую среду и так далее. Я мог бы количественно оценить эти точки данных в симпатичной маленькой электронной таблице, провести аналогичную нормализацию и сгенерировать «объективный» рейтинг лучшей еды. Никто, за редкими исключениями, не должен менять свои предпочтения в еде на основе этого списка. Базовые данные могут быть полезны (возможно, если все, что вас волнует, это воздействие на окружающую среду, вы могли бы изменить свое питание на основе этого узкого набора данных), но крайне маловероятно, что ваши конкретные ценности по каждому измерению данных будут отражены в методологии. Люди интуитивно понимают тщетность ранжирования чего-то столь субъективного, как еда. Чего мы не осознаем, так это того, что школьные рейтинги ничем не отличаются.

Те же субъективные предпочтения, которые лежат в основе мыслей о ранжировании продуктов питания, следует применять и к университетам: так же, как некоторые люди ценят вкус, здоровье или аллергию в разной степени в контексте еды, разные люди ценят разные вещи в университетском опыте. На самом деле, я бы зашел так далеко, чтобы сказать с большой долей уверенности, что лучшие, самые полезные рейтинги на самом деле T являются рейтингами вообще. Вместо этого это было бы не более чем интерфейсом к данным, позволяющим каждому человеку подстраивать методологию под свои индивидуальные потребности. К сожалению, это не только не создает никакого порядка, но и не является особенно ярким или заслуживающим освещения в печати.

В микромасштабе наши рейтинги также имеют свои собственные уникальные недостатки. Мы страдаем от всех проблем, изложенных выше (за исключением того, что здесь мы точно знаем, чьи предубеждения проскальзывают в методологию и кто виноват, и этот человек — я, как создатель и консультант CoinDesk Best Universities for Blockchain рейтинги с 2020 года), а также несколько новых, которые являются неудачными артефактами нашего ограниченного размера и сферы охвата. Хотя всегда BIT унизительно (граничит с унизительным) размышлять о том, в чем несостоялось собственное исследование/анализ, более важно, чтобы любой читатель KEEP об этом, читая рейтинги. По крайней мере, я надеюсь, что это вселит некоторый скептицизм в рейтинги как нечто большее, чем грубое руководство по тому, что школы делают что-то близкое к тому, что, по моему личному мнению, они должны делать для продвижения блокчейн-образования.

Образовательная неделя CoinDesk:Лучшие университеты для изучения блокчейна в 2022 году

Не умаляя других недостатков нашего исследования, следует отметить, чтодве метрикикоторые вызывают особую озабоченность из-за проблем со сбором данных, и я выделяю их, чтобы указать на виды проблем, которые пронизывают исследования такого рода. Первое — это данные о занятости. По моему мнению, это представляет собой самую большую дельту между относительной важностью данных (в данном случае, благоприятные результаты учащихся) и простотой сбора этих данных (по многим причинам, не в последнюю очередь из-за отсутствия отслеживания результатов учащихся с необходимой степенью детализации). В настоящее время мы полагаемся на сочетание охвата школ, которое получает около нулевого уровня ответов, и ручного сбора данных. Лучший способ (и основной способ), который мы нашли, чтобы получить разумный прокси для этих данных, — это посмотреть на крупные международные компании на LinkedIn и посмотреть, где учились их сотрудники. Беспокоит ли вас западная предвзятость LinkedIn, субъективный характер выбора компаний для сбора данных, перекошенная выборка, найденная на LinkedIn, или что-то еще... вы абсолютно правы. Мы все больше снижали важность этой метрики из года в год, чтобы бороться с переизбытком искаженных данных, и нашли все более полезные прокси для этих данных, поэтому мы меньше полагаемся на LinkedIn. Тем не менее, это должно заставить рационального читателя задуматься.

Вторая метрика, вызывающая беспокойство, — это весь наш качественный раздел (еще одна метрика, которая с каждым годом становится все менее и менее важной в нашей методологии). В какой-то степени, ONE больше всего меня расстраивает, потому что мы могли бы собрать обоснованные данные. Проблема в отсутствии творческого решения проблем с моей стороны. Мы выпускаем очень публичный опрос каждый год, чтобы попытаться собрать надежное представление о том, как общественность (студенты, ученые, заинтересованные стороны в отрасли и ETC.) видит различные университеты и получить представление о том, какие университеты воспринимаются как имеющие наибольшее влияние. Все ожидаемые опасения весьма обоснованы (CoinDesk перекошен в сторону США и ETC.), но самая большая проблема, безусловно, заключается в том, что я T могу понять, как правильно стимулировать точные ответы.

Каждый год мы обращаемся к участникам опроса с одной и той же Request : пожалуйста, расскажите, какие школы, по вашему мнению, лучше всего работают в сфере блокчейна. И каждый год результаты показывают, что все просто делятся школами, которые, если бы они были высоко оценены, принесли бы наибольшую пользу отдельному респонденту. Конечно, я довольно BIT редактирую, но подавляющее большинство ответов, которые мы получаем, Социальные сети весьма предсказуемой схеме ответов одной школы, сгруппированных школой в течение 0-5 часов после того, как школа публикует твит о нашем опросе. Есть некоторая доля логики в идее, что студенты/преподаватели/выпускники считают, что их школа отлично работает (возможно, именно поэтому они выбрали это учреждение), но шокирующее количество ответов, которые мы получаем в соответствии с этой схемой, иногда даже предполагая, что школа, не имеющая заметной активности в сфере блокчейна, является единственной лучшей школой в этой сфере, говорит мне о том, что, возможно, мы не стимулируем то, что нужно. В будущем я надеюсь поэкспериментировать с другими механиками (Кейнсианские конкурсы красоты, и ETC.), но на данный момент я считаю эти данные сильно искаженными. То, что мы стимулировали до сих пор, похоже, является конкурсом популярности, а не объективным анализом.

Тем не менее, эти проблемы мешают рейтингам всех видов. Я T делюсь этими фактами, чтобы принизить ценность наших рейтингов, потому что я все еще считаю, что при правильном контекстуализации некоторая комбинация рейтингов и базовых данных имеет по крайней мере некоторую ценность. Однако, если они не контекстуализированы должным образом, они являются отстоем. В конечном счете, возможно, самое полезное, что мы можем сделать, это оставаться приверженными открытости и прозрачности в отношении нашей методологии, наших данных, наших процессов и, что самое важное, наших неудач. Наши рейтинги не идеальны; все, что мы можем сделать, это улучшать их год за годом и предостерегать людей от применения разумного количества контекста при оценке списка. Пожалуйста, свяжитесь с нами, если вы хотите поговорить об этих рейтингах, о том, как их можно улучшить или почему их следует отменить.