Por qué los rankings (incluidos los de universidades) son una basura

Si bien los rankings (especialmente los rankings universitarios) tienen un valor distinto de cero, tienen un valor significativamente menor del que nosotros, como sociedad, parecemos atribuirles.Hemos recopilado aquíes una colección de datos (basados en criterios arbitrarios) a los que se les ha asignado un peso (basado en valores arbitrarios). En el mejor de los casos, esto es subjetivo y, en el peor, es fundamentalmente defectuoso. En última instancia, creo firmemente que cualquier clasificación generada por humanos está mucho más cerca del extremo "fundamentalmente defectuoso" del espectro. Hay razones para esto que existen tanto en la escala universal como en una escala más granular que es específica de nuestro proyecto.

Esta publicación es parte deSemana de la Educación.

Comenzando con lo macro, la mayoría de las clasificaciones son limitadas simplemente porque imponen un orden en cosas que, inherentemente, no tienen orden. Las afirmaciones generales rara vez son correctas en todas las circunstancias; vivimos en un mundo de casos extremos. El ejemplo común que se aprovecha en los debates sobre por qué se deberían abolir las clasificaciones universitarias en general (una posición que puede tener mérito) es que la escuela número 1 (digamos, Oxford, en elClasificación de Times Higher Education 2022) no debería ser la opción número ONE de todos. Las circunstancias individuales, los objetivos futuros, los tipos de personalidad, ETC crean un panorama complejo en el que Oxford no es una opción universalmente buena (ni siquiera mediocre). Lo que realmente indica el hecho de estar en el puesto número 1 es que alguien piensa que Oxford posiblemente (pero no con certeza) tiene más de las cosas que valora personalmente que la mayoría de las demás escuelas. Este es un dato interesante que muchas personas internalizan como una verdad absoluta.

Para dar un ejemplo más visceral, sería bastante fácil para alguien crear una clasificación de alimentos (o, alternativamente, “inserte aquí su cosa altamente subjetiva preferida”). Si yo fuera el que la creara, mis propios sesgos y pensamientos guiarían estas clasificaciones hasta un grado que espero que la gente encuentre inaceptable. Recopilaría datos objetivos sobre cosas como la probabilidad de una reacción alérgica, el costo, la facilidad de disponibilidad comercial, el impacto ambiental, etc. Podría cuantificar estos puntos de datos en una linda hoja de cálculo, ejecutar una normalización similar y generar una clasificación “objetiva” de los mejores alimentos. Nadie, con pocas excepciones, debería cambiar sus preferencias alimentarias en función de esta lista. Los datos subyacentes pueden ser útiles (tal vez si lo único que le importa es el impacto ambiental, podría cambiar su alimentación en función de ese estrecho conjunto de datos), pero es muy poco probable que sus valores específicos a lo largo de cada dimensión de los datos se reflejen en la metodología. La gente reconoce intuitivamente la inutilidad de clasificar algo tan subjetivo como la comida. Lo que no reconocemos es que las clasificaciones escolares no son diferentes.

Las mismas preferencias subjetivas que sustentan las ideas sobre la clasificación de los alimentos deberían aplicarse a las universidades: así como algunos seres humanos valoran el sabor, la salud o las alergias en distintos grados en un contexto alimentario, diferentes personas valoran diferentes cosas en una experiencia universitaria. De hecho, me atrevería a decir, con un alto grado de confianza, que las mejores clasificaciones, las más útiles, en realidad no son clasificaciones en absoluto. En cambio, serían poco más que una interfaz con los datos, que permitiría a cada persona ajustar la metodología para satisfacer sus propias necesidades individuales. Lamentablemente, esto no solo no produce ningún tipo de orden, sino que tampoco es particularmente llamativo ni digno de mención.

A escala micro, nuestras clasificaciones también tienen sus propios defectos. Padecemos todos los problemas mencionados anteriormente (con la notable excepción de que aquí sabemos exactamente qué sesgos se están filtrando en la metodología y a quién culpar, y esa persona soy yo, como creador y consultor de las Mejores Universidades para Blockchain de CoinDesk ). clasificaciones desde 2020), además de algunas nuevas que son lamentables artefactos de nuestro limitado tamaño y alcance. Si bien siempre es un BIT humillante (casi humillante) reflexionar sobre las formas en que el propio estudio/análisis se quedó corto, es más importante que cualquier lector KEEP esto en cuenta al leer las clasificaciones. Como mínimo, espero que esto haga que algunos se muestren escépticos sobre las clasificaciones como algo más que una guía aproximada de lo que las escuelas están haciendo, algo parecido a lo que yo, personalmente, creo que deberían estar haciendo para promover la educación sobre blockchain.

Semana de la educación de CoinDesk:Las mejores universidades para blockchain en 2022

Sin quitar importancia a las demás deficiencias de nuestra investigación, existendos métricasHay varios problemas que están causando especial preocupación debido a los desafíos de la recolección de datos, y los destaco para señalar los tipos de desafíos que impregnan la investigación de esta naturaleza. El primero son los datos de empleo. En mi opinión, esto representa la mayor diferencia entre la importancia relativa de los datos (aquí, los resultados favorables de los estudiantes) y la facilidad de recopilar dichos datos (por muchas razones, y no menos importante la falta de seguimiento de los resultados de los estudiantes con la granularidad requerida). En este momento, dependemos de una combinación de divulgación escolar, que recibe una tasa de respuesta de aproximadamente cero, y recopilación manual de datos. La mejor manera (y la principal) que hemos encontrado para obtener un indicador razonable de estos datos es observar a las grandes empresas internacionales en LinkedIn y ver a qué escuela han ido sus empleados. Ya sea que le preocupe el sesgo occidental de LinkedIn, la naturaleza subjetiva de elegir empresas para raspar, la muestra sesgada que se encuentra en LinkedIn o algo completamente diferente ... tiene toda la razón. Año tras año, hemos ido reduciendo la importancia de esta métrica para ayudar a combatir la sobrerrepresentación de datos sesgados y hemos encontrado indicadores cada vez más útiles para estos datos, de modo que dependemos menos de LinkedIn. Aun así, esto debería hacer reflexionar a un lector racional.

La segunda métrica que me preocupa es toda nuestra sección cualitativa (otra métrica que ha perdido cada vez más importancia en nuestra metodología cada año). Hasta cierto punto, ONE es la que más me preocupa porque podríamos reunir datos sólidos de manera razonable. El problema es la falta de resolución creativa de problemas por mi parte. Una encuesta muy pública Cada año, intento obtener una visión sólida de cómo el público (estudiantes, académicos, partes interesadas de la industria, ETC) ve las diferentes universidades y tener una idea de qué universidades se perciben como las que tienen el mayor impacto. Todas las preocupaciones esperadas son muy válidas (CoinDesk está sesgado hacia los EE. UU., ETC), pero el mayor problema, con diferencia, es que no puedo descubrir cómo incentivar adecuadamente las respuestas precisas.

Cada año, hacemos la misma Request a los participantes de la encuesta: Díganos qué escuelas cree que están haciendo el mejor trabajo en el espacio blockchain. Y cada año, los resultados indican que todos simplemente comparten las escuelas que, si tuvieran una clasificación alta, beneficiarían más al encuestado individual. Por supuesto, estoy editorializando BIT, pero la abrumadora mayoría de las respuestas que recibimos Síguenos el patrón altamente predecible de respuestas de una sola escuela, agrupadas por escuela, dentro de las 0 a 5 horas posteriores a que una escuela tuitea sobre nuestra encuesta. Hay cierta lógica en la idea de que los estudiantes/profesores/exalumnos piensan que su escuela está haciendo un gran trabajo (tal vez por eso eligieron esa institución), pero la sorprendente cantidad de respuestas que recibimos siguiendo este patrón, que ocasionalmente incluso sugieren que una escuela que no tiene una actividad blockchain discernible es la mejor escuela en el espacio, me da a entender que tal vez no estamos incentivando lo correcto. En el futuro, espero experimentar con otras mecánicas (Concursos de belleza keynesianos, ETC), pero por ahora considero que estos datos están muy sesgados. Lo que hemos incentivado hasta la fecha parece ser un concurso de popularidad, no un análisis objetivo.

Dicho esto, estos problemas afectan a los rankings de todo tipo. No comparto estos hechos para restarle valor a nuestros rankings, porque sigo creyendo que, debidamente contextualizados, alguna combinación de los rankings y los datos subyacentes tiene al menos algún valor. Sin embargo, si no se contextualizan adecuadamente, son basura. En última instancia, tal vez lo más útil que podemos hacer es mantener el compromiso de ser abiertos y transparentes con nuestra metodología, nuestros datos, nuestros procesos y, lo más importante, nuestros fracasos. Nuestros rankings no son perfectos; todo lo que podemos hacer es mejorarlos año tras año y advertir a las personas que apliquen una cantidad razonable de contexto al evaluar la lista. Comuníquese con nosotros si desea hablar sobre estos rankings, cómo se pueden mejorar o por qué se deberían abolir.