Чому рейтинги, включаючи рейтинги університетів, є лайном

Хоча рейтинги (особливо рейтинги університетів) мають ненульову цінність, вони мають значно меншу цінність, ніж ми, як суспільство, здається, приписуємо їм. Що ми зібрали тут це набір даних (на основі довільних критеріїв), яким присвоєно вагу (на основі довільних значень). У кращому випадку це суб’єктивно, а в гіршому – фундаментально помилкове. Зрештою, я твердо переконаний, що будь-які рейтинги, створені людьми, набагато ближчі до «фундаментально несправного» кінця спектру. Для цього є причини, які існують як в універсальному масштабі, так і в більш детальному масштабі, який є специфічним для нашого проекту.

Ця публікація є частиною Тиждень освіти.

Починаючи з макросу, більшість рейтингів обмежені просто тому, що вони нав’язують порядок речам, які за своєю суттю не мають порядку. Загальні твердження рідко бувають правильними за будь-яких обставин; ми живемо у світі крайніх випадків. Поширеним прикладом, який використовують у дискусіях про те, чому університетські рейтинги взагалі слід скасувати (позиція, яка може мати переваги), є те, що школа №1 (скажімо, Оксфорд, у Рейтинг Times Higher Education за 2022 рік) не має бути вибором номер ONE для кожного. Індивідуальні обставини, майбутні цілі, тип особистості ETC. усі вони створюють складний ландшафт, у якому Оксфорд не є універсально вдалим (або навіть посереднім) вибором. Перше місце насправді свідчить про те, що хтось там думає, що Оксфорд, можливо (але не напевно), має більше речей, які вони особисто цінують, ніж більшість інших шкіл. Це цікаві дані, які багато людей сприймають як абсолютну істину.

Для більш суттєвого прикладу, комусь було б досить легко створити рейтинг їжі (або, як альтернативу, «вставте сюди свою улюблену дуже суб’єктивну річ»). Якби я був ONE, хто його створював, мої власні упередження та думки керували б цими рейтингами настільки, що, я сподіваюся, люди визнали б неприйнятними. Я б зібрав об’єктивні дані про такі речі, як ймовірність алергічної реакції, вартість, легкість комерційної доступності, вплив на навколишнє середовище тощо. Я міг би кількісно визначити ці дані в милій маленькій електронній таблиці, запустити аналогічну нормалізацію та створити «об’єктивний» рейтинг найкращої їжі. Ніхто, за деякими винятками, не повинен змінювати свої харчові уподобання на основі цього списку. Дані, що лежать в основі, можуть бути корисними (можливо, якщо ви дбаєте лише про вплив на навколишнє середовище, ви можете змінити своє харчування на основі цього вузького набору даних), але малоймовірно, що ваші конкретні значення в кожному вимірі даних будуть відображені в методології. Люди інтуїтивно усвідомлюють марність оцінювати щось таке суб’єктивне, як їжа. Ми не можемо зрозуміти, що рейтинги шкіл нічим не відрізняються.

Ті самі суб’єктивні уподобання, які лежать в основі думок про ранжирування продуктів харчування, мають бути застосовані до університетів: так само, як деякі люди цінують смак, здоров’я чи алергію різною мірою в харчовому контексті, різні люди цінують різні речі в досвіді навчання в університеті. Насправді я б зайшов так далеко, щоб сказати з високим ступенем впевненості, що найкращі, найкорисніші рейтинги насправді T є рейтингами. Натомість це буде трохи більше, ніж інтерфейс до даних, що дозволить кожній людині налаштувати методологію відповідно до власних індивідуальних потреб. На жаль, це не тільки не створює жодного порядку, це також не особливо кричущий чи заслуговує на публікацію.

У мікромасштабі наші рейтинги також мають свої унікальні вади. Ми страждаємо від усіх проблем, викладених вище (за винятком того, що тут ми точно знаємо, чиї упередження прослизають у методологію та кого звинувачувати, і цією людиною є я, як автор і консультант CoinDesk Best Universities for Блокчейн рейтинги з 2020 року), а також деякі нові, які є невдалими артефактами нашого обмеженого розміру та обсягу. Хоча це завжди BIT принизливо (на межі з принизливим) міркувати про те, якими способами не вдалося власне дослідження/аналіз, важливіше, щоб будь-який читач KEEP про це, читаючи рейтинги. Якщо нічого іншого, я сподіваюся, що це викличе певний скептицизм щодо рейтингів як чогось більшого, ніж грубо викроєного посібника щодо того, що школи роблять щось схоже на те, що я особисто вважаю, що вони повинні робити для просування освіти блокчейн.

Освітній тиждень CoinDesk: Найкращі університети для блокчейну 2022

Не применшуючи інших недоліків нашого дослідження, вони є дві метрики які викликають особливе занепокоєння через проблеми зі збором даних, і я виділяю їх, щоб вказати на види проблем, які пронизують дослідження такого характеру. По-перше, це дані про зайнятість. На мій погляд, це найбільша різниця між відносною важливістю даних (тут сприятливі результати учнів) і легкістю збору цих даних (з багатьох причин, не в останню чергу через відсутність відстеження результатів учнів з необхідною деталізацією) . На даний момент ми покладаємося на поєднання інформаційно-роз’яснювальної роботи в школах, яка отримує приблизно нульовий відсоток відповідей, і ручного збору даних. Найкращий спосіб (і основний спосіб), який ми знайшли, щоб отримати розумний проксі-сервер для цих даних, це подивитися на великі міжнародні компанії в LinkedIn і побачити, де їхні працівники навчалися. Незалежно від того, чи вас турбує західна упередженість LinkedIn, суб’єктивний характер вибору компаній для перевірки, спотворена вибірка в LinkedIn чи щось зовсім інше… ви абсолютно праві. З кожним роком ми все більше знижували важливість цього показника, щоб допомогти боротися з надмірним представленням спотворених даних, і знайшли все більш корисні проксі-сервери для цих даних, тому ми менше покладаємося на LinkedIn. Тим не менш, це повинно дати розумну паузу читачеві.

Другий показник, який викликає занепокоєння, — це весь наш якісний розділ (ще один показник, який з кожним роком стає все менш важливим у нашій методології). Певною мірою це мене найбільше засмучує, оскільки ми цілком могли зібрати вагомі дані. Проблема полягає у відсутності творчого вирішення проблем з мого боку. Ми гасимо дуже публічне опитування щороку, щоб спробувати зібрати чітке уявлення про те, як громадськість (студенти, науковці, зацікавлені сторони галузі ETC) бачать різні університети та отримати уявлення про те, які університети сприймаються як такі, що мають найбільший вплив. Усі очікувані занепокоєння цілком обґрунтовані (CoinDesk орієнтований на США ETC), але найбільша проблема полягає в тому, що я T можу зрозуміти, як правильно стимулювати точні відповіді.

Щороку ми звертаємося до учасників опитування з одним і тим же Request : розкажіть, будь ласка, які школи, на вашу думку, найкраще працюють у сфері блокчейну. І щороку результати вказують на те, що всі просто діляться школами, які, якби вони отримали високі оцінки, принесли б найбільшу користь окремим респондентам. Звісно, ​​я додаю BIT коментарів, але переважна більшість відповідей, які ми отримуємо, Соціальні мережі дуже передбачуваній моделі відповідей однієї школи, згрупованих школою протягом 0–5 годин після того, як школа повідомила про наше опитування у Twitter. Є певна логіка в ідеї, що студенти/викладацький склад/випускники вважають, що їхня школа добре працює (можливо, саме тому вони обрали цей заклад), але приголомшлива кількість відповідей, які ми отримуємо за цією схемою, іноді навіть припускає, що школа, яка не має помітної активності блокчейну, є єдиною найкращою школою в просторі, це означає, що, можливо, ми не стимулюємо те, що потрібно. У майбутньому я сподіваюся поекспериментувати з іншими механіками (Кейнсіанські конкурси красиETC), але наразі я вважаю ці дані дуже спотвореними. Те, що ми стимулювали на сьогоднішній день, виглядає як змагання за популярність, а не об’єктивний аналіз.

Тим не менш, ці проблеми турбують рейтинги всіх видів. Я T поділяю ці факти, щоб применшити цінність нашого рейтингу, тому що я все ще вважаю, що за належного контексту певна комбінація рейтингу та базових даних має принаймні певну цінність. Проте, якщо їх не контекстуалізувати належним чином, вони лайно. Зрештою, мабуть, найкорисніше, що ми можемо зробити, — це залишатися відкритими та прозорими щодо нашої методології, наших даних, наших процесів і, що найважливіше, наших невдач. Наші рейтинги не ідеальні; все, що ми можемо зробити, це вдосконалювати їх рік за роком і застерігати людей застосовувати розумну кількість контексту при оцінці списку. Будь ласка, зв’яжіться, якщо ви хочете поговорити про ці рейтинги, як їх можна покращити або чому їх слід скасувати.