Do AI assessments capture situated higher-education implementation conditions?¿Captan las evaluaciones de IA las condiciones situadas de implementación universitaria? · V8.1 Master Engine
31 slides · 20 min · 2 hours ago31 láminas · 20 min · hace 2 hlanguage
ENES
theme
LightDark
view
TalkTable
brand
HanademiPlatzi
The central question is not whether readiness exists, but how capacity is distributed inside institutions.
Meta trailed Bogotá by 18.3 percentage points in household internet access in 2021.
Keep RAM and EIA, then add evidence about place, access, participation, and implementation labor.
La pregunta central no es si existe preparación, sino cómo se distribuye la capacidad dentro de las instituciones.
Meta estuvo 18,3 puntos porcentuales por debajo de Bogotá en acceso a internet en los hogares en 2021.
Conservar RAM y EIA, y luego agregar evidencia sobre territorio, acceso, participación y trabajo de implementación.
Formal responsibility and implementation plans are widely reported, but citizen notification, budget allocation, and procurement rules are much less common.
La responsabilidad formal y los planes de implementación se reportan ampliamente, pero la notificación ciudadana, la asignación presupuestaria y las reglas de contratación son mucho menos comunes.
These tools operate at different levels. RAM asks whether a country has the conditions to govern AI ethically. EIA follows the risks, rights, oversight, and mitigation surrounding a particular system.
Estas herramientas operan en niveles distintos. RAM pregunta si un país cuenta con las condiciones para gobernar la IA de manera ética. EIA sigue los riesgos, derechos, supervisión y medidas de mitigación relacionados con un sistema específico.
Most governments can name the ministry responsible for AI. Far fewer say citizens are informed when public AI profiles them or makes decisions about them. That 65-point separation is the implementation problem this presentation examines.
La mayoría de los gobiernos puede identificar el ministerio responsable de la IA. Muchos menos afirman que se informa a la ciudadanía cuando la IA pública la perfila o toma decisiones sobre ella. Esa separación de 65 puntos es el problema de implementación que examina esta presentación.
Implementation is no longer a marginal policy concern. Still, the machinery that controls AI purchasing remains much thinner than the plans. Universities can therefore face ethical mandates without equivalent procurement safeguards.
La implementación ya no es una preocupación marginal de política pública. Aun así, los mecanismos que controlan la adquisición de IA siguen siendo mucho más limitados que los planes. Por ello, las universidades pueden enfrentar mandatos éticos sin salvaguardas equivalentes para la adquisición.
National strategies establish direction, but institutions implement policy with people, time, and money. The reported budget share is 31 points below the strategy share. That gap makes institutional capability a governance question, not merely an operational detail.
Las estrategias nacionales marcan el rumbo, pero las instituciones implementan las políticas con personas, tiempo y dinero. La proporción presupuestaria reportada está 31 puntos por debajo de la proporción de estrategias. Esta brecha convierte la capacidad institucional en una cuestión de gobernanza, no solo en un detalle operativo.
UNESCO reported RAM activity in more than 70 countries by 2025, with 70 as the reported minimum. The figure should be checked against the 2026 Observatory.
RAM offers a common architecture, but country reports do not cover it equally. The observed range runs from 16 to 125 questions, with 69 on average. UNESCO also reports that 42% of RAM questions had coverage below 20%.
RAM ofrece una arquitectura común, pero los informes nacionales no la cubren por igual. El rango observado va de 16 a 125 preguntas, con un promedio de 69. UNESCO también reporta que 42% de las preguntas de RAM tuvieron una cobertura inferior a 20%.
Nigeria's RAM validation event shows that readiness evidence is interpreted through collective review.
El evento de validación RAM de Nigeria muestra que la evidencia sobre preparación se interpreta mediante una revisión colectiva.
UNESCO mapped 30% of RAM questions to two change enablers. The distribution describes questionnaire design, not implementation patterns in Member States.
UNESCO asignó el 30% de las preguntas de RAM a dos factores habilitantes del cambio. La distribución describe el diseño del cuestionario, no los patrones de implementación en los Estados miembros.
Readiness and impact evidence answer different questions. In this Peruvian study, AI adoption was associated with lower absenteeism, processing time, and administrative costs. EIA creates a route to examine who receives those benefits, who faces harms, and what mitigation follows.
La evidencia sobre preparación y la evidencia sobre impacto responden preguntas diferentes. En este estudio peruano, la adopción de IA se asoció con una reducción del ausentismo, el tiempo de procesamiento y los costos administrativos. La EIA ofrece una vía para examinar quién recibe esos beneficios, quién enfrenta perjuicios y qué medidas de mitigación se implementan.
Safeguards changed the quality of the evidence trail dramatically. Completeness increased by 43 points, but task time also rose 12%. Implementation assessment must therefore examine both the control and the labor required to sustain it.
Las salvaguardas cambiaron drásticamente la calidad del registro de evidencia. La integridad aumentó 43 puntos, pero el tiempo de la tarea también subió 12%. Por lo tanto, la evaluación de la implementación debe examinar tanto el control como el trabajo necesario para mantenerlo.
The legal-sector training makes visible the human capability needed to turn ethical controls into routine practice.
La capacitación del sector jurídico hace visible la capacidad humana necesaria para convertir los controles éticos en una práctica habitual.
The Orinoquía study operates at the institutional implementation level. It did not apply EIA to a named system. Its contribution is therefore complementary evidence, not proof that EIA produced an incorrect score or failed mitigation.
El estudio de Orinoquía se sitúa en el nivel de implementación institucional. No aplicó EIA a un sistema identificado por nombre. Por lo tanto, su aporte es evidencia complementaria, no una prueba de que EIA haya producido una puntuación incorrecta o haya fallado en la mitigación.
The required territorial comparison produces a clear gap. In 2021, household internet access reached 81.5% in Bogotá and 63.2% in Meta. The 18.3-point difference is not a university capability score, but it is a concrete warning against treating national conditions as evenly distributed.
La comparación territorial requerida muestra una brecha clara. En 2021, el acceso a internet en los hogares alcanzó 81,5% en Bogotá y 63,2% en Meta. La diferencia de 18,3 puntos no es un indicador de capacidades universitarias, pero sí una advertencia concreta contra la idea de que las condiciones nacionales se distribuyen de manera uniforme.
The study is broader than a single university case. Survey patterns locate divergences from formal preparedness, while interviews examine how those divergences arise. The 26 interviews are gender-balanced, but that balance cannot estimate the size or prevalence of gender differences.
El estudio es más amplio que el caso de una sola universidad. Los patrones de las encuestas ubican las divergencias respecto de la preparación formal, mientras que las entrevistas examinan cómo surgen. Las 26 entrevistas tienen equilibrio de género, pero ese equilibrio no permite estimar el tamaño ni la prevalencia de las diferencias de género.
The quantitative component supplies breadth, while the smaller interview component provides explanatory depth; these averages do not imply equal allocation across universities.
El componente cuantitativo aporta amplitud, mientras que el componente menor de entrevistas aporta profundidad explicativa; estos promedios no implican una distribución uniforme entre universidades.
The evidence is informative but not complete. Household internet access does not measure campus systems, and faculty totals would not reveal expertise, workload, stability, budgets, support, or authority. The study also lacks the measures needed to size labor and gender effects.
La evidencia es informativa, pero incompleta. El acceso a internet en los hogares no mide los sistemas del campus, y el número total de docentes no revelaría conocimientos especializados, carga de trabajo, estabilidad, presupuestos, apoyo ni autoridad. El estudio también carece de las mediciones necesarias para dimensionar los efectos laborales y de género.
Interviews identify technical and pedagogical work that can remain informal, unrecognized, or absent from plans. That work may interact with care responsibilities and gendered divisions of academic labor. The abstract does not provide time-use, payroll, workload, or support-ticket data to quantify it.
Las entrevistas identifican trabajo técnico y pedagógico que puede permanecer informal, no reconocido o ausente de los planes. Ese trabajo puede interactuar con las responsabilidades de cuidado y las divisiones de género del trabajo académico. El resumen no proporciona datos de uso del tiempo, nómina, carga laboral ni tickets de soporte para cuantificarlo.
The mechanism joins territory, gender and care, institutional capability, resources, and labor organization. It asks how support, authority, resources, and work are distributed together. Without subgroup estimates or institutional scores, the study cannot calculate each condition's separate effect.
El mecanismo articula territorio, género y cuidado, capacidad institucional, recursos y organización del trabajo. Pregunta cómo se distribuyen conjuntamente el apoyo, la autoridad, los recursos y el trabajo. Sin estimaciones por subgrupo ni puntajes institucionales, el estudio no puede calcular el efecto separado de cada condición.
Even a verified faculty headcount would not measure staff workload, contract stability, AI expertise, technical support, budgets, or decision authority.
Incluso un conteo verificado de profesorado no mediría la carga laboral, la estabilidad contractual, la experiencia en IA, el apoyo técnico, los presupuestos ni la autoridad decisoria.
En comparación con las herramientas de panorama nacional, el estudio de la Orinoquía examina la implementación en 17 universidades mediante 228 encuestas y 26 entrevistas.
The practical move is not another competing readiness index. Existing consultations could record responsibility, support access, location, participation, and follow-up outcomes. A pilot must then test reliability, validity, cost, and policy uptake before wider adoption.
La medida práctica no es crear otro índice de preparación que compita con los existentes. Las consultas actuales podrían registrar responsabilidades, acceso al apoyo, ubicación, participación y resultados del seguimiento. Después, un piloto debe evaluar la confiabilidad, la validez, el costo y la adopción de políticas antes de ampliar su uso.
Formal responsibility and implementation plans are widely reported, but citizen notification, budget allocation, and procurement rules are much less common. RAM examines national readiness. EIA examines a particular AI system.
Key findings
Only 31% of governments inform citizens when AI profiles or makes decisions about them in public services. unesco.org
Although 51% of Member States have national AI strategies, only 20% report limited budget allocation, risking largely declarative frameworks. unesco.org
UNESCO cautions that RAM’s change-enabler distribution reflects questionnaire design rather than Member States’ implementation patterns. unesco.org
Interviews identified practical technical and pedagogical work that could be informal, unrecognized, or omitted from formal implementation plans.
If implementation labor remains outside plans, formal preparedness can rise without equivalent staffing, recognition, workload allocation, or support.
The abstract reports that invisible technical and pedagogical labor may interact with care responsibilities and gendered divisions of work.
The study's mechanism joins five conditions: territory, gender and care, institutional capability, resources, and academic or technical labor organization.
Comparable policies or infrastructure can yield different practices when institutions distribute resources, support, authority, and implementation labor differently.
An implementation lens could add five question areas: territorial variation, labor distribution, support access, governance participation, and translation of commitments into practice. UNESCO
The complementary lens asks not only whether capacity exists, but where it exists, who can use it, and who performs implementation work.
On average, countries addressed 36% of the RAM questionnaire, or 69 questions, with coverage ranging from 16 to 125 questions. unesco.org
The argument
Formal responsibility is nearly universal, but public visibility is not.
The El Salvador presentation shows how institutions can make AI governance visible through shared discussion.
Formal responsibility is widespread, but the conversion of responsibility into citizen notice and procurement rules is much lower.
Commitment spreads faster than rules governing what institutions buy.
A strategy without resources can remain a declaration rather than a routine.
The regional AI event underscores the gap between announcing a common direction and equipping institutions to carry it out.
This research is published in English and Spanish. Ver en español
La investigación detrás de esta presentación
La responsabilidad formal y los planes de implementación se reportan ampliamente, pero la notificación ciudadana, la asignación presupuestaria y las reglas de contratación son mucho menos comunes. RAM examina la preparación nacional. EIA examina un sistema de IA específico.
Hallazgos clave
Solo el 31% de los gobiernos informa a la ciudadanía cuando la IA perfila a las personas o toma decisiones sobre ellas en los servicios públicos. unesco.org
Aunque el 51% de los Estados Miembros tiene estrategias nacionales de IA, solo el 20% reporta asignaciones presupuestarias, lo que puede dejar marcos declarativos. unesco.org
UNESCO advierte que la distribución de los factores de cambio de RAM refleja el diseño del cuestionario, no los patrones de implementación de los Estados miembros. unesco.org
Interviews identified practical technical and pedagogical work that could be informal, unrecognized, or omitted from formal implementation plans.
If implementation labor remains outside plans, formal preparedness can rise without equivalent staffing, recognition, workload allocation, or support.
The abstract reports that invisible technical and pedagogical labor may interact with care responsibilities and gendered divisions of work.
The study's mechanism joins five conditions: territory, gender and care, institutional capability, resources, and academic or technical labor organization.
Comparable policies or infrastructure can yield different practices when institutions distribute resources, support, authority, and implementation labor differently.
An implementation lens could add five question areas: territorial variation, labor distribution, support access, governance participation, and translation of commitments into practice. UNESCO
The complementary lens asks not only whether capacity exists, but where it exists, who can use it, and who performs implementation work.
En promedio, los países respondieron el 36% del cuestionario RAM, equivalente a 69 preguntas, con una cobertura que osciló entre 16 y 125 preguntas. unesco.org
El argumento
La responsabilidad formal es casi universal, pero la visibilidad pública no lo es.
La presentación en El Salvador muestra cómo las instituciones pueden hacer visible la gobernanza de la IA mediante una conversación compartida.
La responsabilidad formal está ampliamente extendida, pero su conversión en información a la ciudadanía y reglas de contratación es mucho menor.
El compromiso se extiende más rápido que las reglas que rigen lo que compran las instituciones.
Una estrategia sin recursos puede quedarse en declaración en lugar de convertirse en una práctica habitual.
El evento regional sobre IA subraya la brecha entre anunciar una dirección común y dotar a las instituciones para ejecutarla.
Esta investigación se publica en inglés y español. Read in English
