Experimentation is a capability, not a toolExperimentar es una capacidad, no una herramienta · V8 Master Engine
28 slides · 22 min · 2 hours ago28 láminas · 22 min · hace 2 hlanguage
ENES
theme
LightDark
view
TalkTable
brand
HanademiPlatzi
The advantage comes not from testing more, but from learning better and reusing what you learned.
A managerial intervention raised productivity 17% across 38 plants.
Mid-size companies need methods, controls, and costs calibrated to their scale.
La ventaja no proviene de probar más, sino de aprender mejor y reutilizar lo aprendido.
Una intervención gerencial elevó 17% la productividad en 38 plantas.
Las empresas medianas necesitan métodos, controles y costos ajustados a su escala.
Across observed studies, structured decision-making, management and testing showed gains from 5.5% in productivity to 30% in visits; evidence includes both interventions and associations.
En los estudios observados, la toma de decisiones, la gestión y las pruebas estructuradas mostraron ganancias de 5,5% en productividad a 30% en visitas; la evidencia incluye intervenciones y asociaciones.
Each method builds a comparison to isolate real effect from noise. The choice depends on traffic, ability to randomize, and interference between units. No method works for all problems.
Cada método construye una comparación para separar efecto real de ruido. La elección depende del tráfico, la posibilidad de aleatorizar y la interferencia entre unidades. Ningún método sirve para todos los problemas.
The 2 interventions belong to the same Peruvian trial. Suggested dates raised on-time completion by 4 percentage points, while algorithmic assignment reduced it by 5. Competitive capability consists in testing decisions and withdrawing those that harm performance.
Las 2 intervenciones pertenecen al mismo ensayo peruano. Sugerir fechas elevó la finalización oportuna en 4 puntos porcentuales, mientras la asignación algorítmica la redujo en 5. La capacidad competitiva consiste en probar decisiones y retirar las que dañan el desempeño.
Two process designs tested against the same control produce a 9-point spread. Algorithmic case assignment reduces timely completion to 35%, while suggested dates raise it to 44%.
Dos diseños de proceso probados contra el mismo control producen una brecha de 9 puntos. La asignación algorítmica reduce el cumplimiento puntual a 35%, mientras las fechas sugeridas lo elevan a 44%.
In 179 companies, deciding with data was associated with 5% to 6% more productivity and output. In 38 Indian textile plants, a managerial intervention raised productivity 17%. The studies do not isolate a dedicated experimental team, but they do support systematic processes.
En 179 empresas, decidir con datos se asoció con 5% a 6% más productividad y producción. En 38 plantas textiles indias, una intervención gerencial elevó la productividad 17%. Los estudios no aíslan un equipo experimental dedicado, pero sí respaldan procesos sistemáticos.
If the reported annual benefit persisted across the study sample, the implied cumulative benefit reaches $12.4 million after one year and $37.1 million after three years.
Si el beneficio anual reportado persistió en la muestra del estudio, el beneficio acumulado implícito llega a US$12,4 millones tras un año y US$37,1 millones tras tres años.
An Italian policy on temporary managers raised headcount by nearly 13%. In Brazil, 120 hours of consulting increased employment between 4% and 17%. Evidence broadens the case beyond large digital platforms.
Una política italiana de gerentes temporales elevó la plantilla casi 13%. En Brasil, 120 horas de consultoría aumentaron el empleo entre 4% y 17%. La evidencia amplía el caso más allá de grandes plataformas digitales.
Replicating a 120-hour intervention across 3,000 establishments requires 360,000 delivery hours, making labor capacity a material part of the investment rather than a minor add-on.
Replicar una intervención de 120 horas en 3.000 establecimientos requiere 360.000 horas de ejecución, lo que convierte la capacidad laboral en una parte material de la inversión y no en un complemento menor.
Nearly 35,000 startups allow observation of real adoption outside a single company. The persistent estimate was 11% more visits, while another formulation approached 30%. It is favorable evidence, but does not compare dedicated teams with occasional testing.
Cerca de 35.000 startups permiten observar adopción real fuera de una sola empresa. La estimación persistente fue 11% más visitas, mientras otra formulación se acercó a 30%. Es evidencia favorable, pero no compara equipos dedicados con pruebas ocasionales.
The two traffic measures imply indices of 111 and 130, a 19-point divergence. The larger visit association should not be treated as the persistent effect on every traffic measure.
Las dos medidas de tráfico implican índices de 111 y 130, una divergencia de 19 puntos. La mayor asociación en visitas no debe interpretarse como el efecto persistente en todas las medidas de tráfico.
MineduLAB had conducted 9 randomized evaluations and committed to scaling 3 programs. A 2015 pilot found no significant impact. Mature capacity demands that results change decisions.
MineduLAB había realizado 9 evaluaciones aleatorizadas y comprometido la ampliación de 3 programas. Un piloto de 2015 no encontró impacto significativo. La capacidad madura exige que los resultados cambien decisiones.
One third of the evaluation portfolio reached a scale commitment. One documented pilot had no significant impact, while five additional evaluations did not receive a reported scale commitment.
Un tercio de la cartera de evaluaciones alcanzó un compromiso de escalamiento. Un piloto documentado no tuvo impacto significativo, mientras otras cinco evaluaciones no recibieron un compromiso de escalamiento reportado.
The natural experiment tracked 42 public labs. Scientific indicators supplied increased between 10% and 22%. The study also reported 58% more patents and 75% more revenue from multinational licenses.
El experimento natural siguió 42 laboratorios públicos. Los indicadores científicos suministrados aumentaron entre 10% y 22%. El estudio también reportó 58% más patentes y 75% más ingresos por licencias multinacionales.
In 2024, 21% of EU medium-sized enterprises used AI, versus 41.2% of large ones. A Chilean study of 2,081 companies also found technology adoption gaps by revenue and headcount. Experimental evidence concentrates where infrastructure is least restrictive.
En 2024, 21% de las empresas medianas de la UE usaba IA, frente a 41,2% de las grandes. Un estudio chileno de 2.081 empresas también encontró diferencias de adopción tecnológica por ventas y empleo. La evidencia experimental se concentra donde la infraestructura es menos restrictiva.
Building experimentation capability requires deliberate infrastructure rather than access to tools alone.
Construir capacidad de experimentación exige infraestructura deliberada, no solo acceso a herramientas.
The figure comes from Spain's DGT Teradata platform. License prices typically exclude salaries, instrumentation, storage, data quality, and traffic costs. Experimental cost must be measured as a complete system.
La cifra corresponde a una plataforma Teradata de la DGT española. Los precios de licencia suelen excluir salarios, instrumentación, almacenamiento, calidad y costo del tráfico. El costo experimental debe medirse como sistema completo.
The survey represents 409,300 Chilean companies. Only 3% are large, while micro and small-to-medium enterprises make up 97% of the universe. Experimental architecture must work with small teams and budgets.
La encuesta representa 409.300 empresas chilenas. Solo 3% son grandes, mientras microempresas y pymes forman 97% del universo. La arquitectura experimental debe funcionar con equipos y presupuestos pequeños.
The figure signals substantial economic potential. It also comes from a vendor-commissioned study of a composite organization. It does not represent average returns for medium-sized enterprises.
La cifra comunica un potencial económico grande. También proviene de un estudio encargado por el proveedor y de una organización compuesta. No representa el retorno promedio de empresas medianas.
Large and medium enterprises use at least 5 significant financing sources. Small and micro enterprises use only 3. Experimental capacity for this segment must grow in stages and demonstrate early value.
Las empresas grandes y medianas usan al menos 5 fuentes significativas de financiamiento. Las pequeñas y microempresas usan solo 3. La capacidad experimental para este segmento debe crecer por etapas y demostrar valor temprano.
The Mi Colombia Digital case shows how much shared infrastructure can matter. CAF estimated a 150.8x cost-benefit ratio over 5 years. It is a public digital platform, not an estimate of business experimental returns.
El caso de Mi Colombia Digital muestra cuánto puede importar una infraestructura compartida. CAF estimó una relación costo-beneficio de 150,8 a 5 años. Es una plataforma pública digital, no una estimación de retorno experimental empresarial.
The average Spanish company employs 4.4 people, less than half the German average. That scale limits traffic, specialization, and budget. Proper experimental design must work with small samples and multifunctional teams.
La empresa española promedio emplea 4,4 personas, menos de la mitad que la alemana. Esa escala limita tráfico, especialización y presupuesto. El diseño experimental adecuado debe funcionar con muestras pequeñas y equipos multifunción.
Available evidence could not establish dedicated mid-market productivity versus ad hoc testing or comparable annual investment. It also could not establish adoption of methods by scale or regional return. This prevents asserting a general causal premium for mid-market companies.
La evidencia disponible no pudo establecer productividad dedicada frente a pruebas ad hoc ni inversión anual comparable. Tampoco estableció adopción de métodos por escala o retorno regional. Esto impide afirmar una prima causal general para empresas medianas.
Clinical trials offer a concrete regional comparison of operating costs. Latin America came in at 59% of North American cost per center, versus 78% in Western Europe. The evidence does not permit converting this gap into a regional revenue premium.
Los ensayos clínicos ofrecen una comparación regional concreta de costos operativos. América Latina quedó en 59% del costo norteamericano por centro, frente a 78% en Europa Occidental. La evidencia no permite convertir esta brecha en una prima regional de ingresos.
The heuristic divides ideas into roughly 3 equal groups: 33% improve, 33% show no change, and 33% worsen. Therefore, about 67% do not produce a statistically reliable improvement. Its value is cultural, not a target for midsized companies.
La heurística divide las ideas en 3 grupos aproximadamente iguales: el 33% mejora, el 33% no cambia y el 33% empeora. Por tanto, cerca del 67% no produce una mejora estadísticamente confiable. Su valor es cultural, no una meta para empresas medianas.
The reported quality-control gap is larger than the expected winning share. These measures come from different mature programs, so the ratio is a scale comparison rather than a causal estimate.
La brecha reportada de control de calidad supera la proporción esperada de ganadoras. Las medidas provienen de programas maduros distintos, por lo que la razón compara escalas y no estima causalidad.
Higher throughput scales both outcomes: an indexed portfolio moves from 33 to 132 winners, while experiments without improvement rise from 67 to 268. The scenario assumes the outcome mix remains constant.
Un mayor volumen amplifica ambos resultados: una cartera indexada pasa de 33 a 132 ganadoras, mientras las pruebas sin mejora suben de 67 a 268. El escenario supone que la distribución de resultados permanece constante.
Brazil brought management consulting to 3,000 establishments between 2016 and 2018. By 2020, 2 books organized experimental culture and 44 testing techniques. Then came public cost models, integration with software delivery, and platforms for small businesses.
Brasil llevó consultoría de gestión a 3.000 establecimientos entre 2016 y 2018. En 2020, 2 libros organizaron la cultura experimental y 44 técnicas de prueba. Después llegaron modelos públicos de costos, integración con entrega de software y plataformas para pymes.
Across observed studies, structured decision-making, management and testing showed gains from 5.5% in productivity to 30% in visits; evidence includes both interventions and associations. Experimentation includes much more than A/B tests.
Key findings
No se encontró una estimación pública que compare productividad de empresas medianas con equipo experimental dedicado frente a empresas equivalentes con pruebas ad hoc. U.S. Census Bureau
Una intervención en 38 plantas textiles indias elevó la productividad 17% y estimó US$325.000 adicionales de beneficio anual por planta. The Quarterly Journal of Economics
En la experiencia de Microsoft, aproximadamente un tercio de las ideas mejora la métrica, otro tercio es neutro y otro tercio la perjudica. Cambridge University Press
No existe una base pública comparable del gasto anual en plataformas y personal experimental para empresas medianas y grandes tecnológicas. Eurostat
No hay una encuesta pública que compare adopción de control sintético entre empresas medianas y grandes tecnológicas. Speero
No se encontró una tasa pública de uso de painted door separada entre empresas de bajo y alto tráfico. Wiley
Un estudio encargado por Optimizely estimó 370% de retorno durante tres años para una organización compuesta. Forrester Consulting
Incluso programas maduros encuentran que la mayoría de ideas no produce una mejora estadísticamente confiable en la métrica principal. Cambridge University Press
In Peru’s environmental enforcement agency, algorithmic case assignment reduced timely completion by 5 percentage points versus a 40% control mean. poverty-action.org
En 179 empresas, la toma de decisiones basada en datos se asoció con productividad y producción entre 5% y 6% mayores. Management Science
Entre aproximadamente 35.000 empresas emergentes, adoptar A/B testing se vinculó con cerca de 30% más visitas y mayor lanzamiento de productos. scholars.duke.edu
The argument
Experimentation does not guarantee improvement: operational design determines the sign of impact.
Two process designs tested against the same control produce a 9-point spread.
The strongest evidence favors repeatable processes, not isolated tests.
If the reported annual benefit persisted across the study sample, the implied cumulative benefit reaches $12.4 million after one year and $37.1 million after three years.
Managerial capacity can drive job growth, not just internal efficiency.
Replicating a 120-hour intervention across 3,000 establishments requires 360,000 delivery hours, making labor capacity a material part of the investment rather than a minor add-on.
This research is published in English and Spanish. Ver en español
La investigación detrás de esta presentación
En los estudios observados, la toma de decisiones, la gestión y las pruebas estructuradas mostraron ganancias de 5,5% en productividad a 30% en visitas; la evidencia incluye intervenciones y asociaciones. La experimentación incluye mucho más que pruebas A/B.
Hallazgos clave
No se encontró una estimación pública que compare productividad de empresas medianas con equipo experimental dedicado frente a empresas equivalentes con pruebas ad hoc. U.S. Census Bureau
Una intervención en 38 plantas textiles indias elevó la productividad 17% y estimó US$325.000 adicionales de beneficio anual por planta. The Quarterly Journal of Economics
En la experiencia de Microsoft, aproximadamente un tercio de las ideas mejora la métrica, otro tercio es neutro y otro tercio la perjudica. Cambridge University Press
No existe una base pública comparable del gasto anual en plataformas y personal experimental para empresas medianas y grandes tecnológicas. Eurostat
No hay una encuesta pública que compare adopción de control sintético entre empresas medianas y grandes tecnológicas. Speero
No se encontró una tasa pública de uso de painted door separada entre empresas de bajo y alto tráfico. Wiley
Un estudio encargado por Optimizely estimó 370% de retorno durante tres años para una organización compuesta. Forrester Consulting
Incluso programas maduros encuentran que la mayoría de ideas no produce una mejora estadísticamente confiable en la métrica principal. Cambridge University Press
En la agencia peruana de fiscalización ambiental, la asignación algorítmica de casos redujo la finalización oportuna en 5 puntos porcentuales frente a una media de control de 40 %. poverty-action.org
En 179 empresas, la toma de decisiones basada en datos se asoció con productividad y producción entre 5% y 6% mayores. Management Science
Entre aproximadamente 35.000 empresas emergentes, adoptar A/B testing se vinculó con cerca de 30% más visitas y mayor lanzamiento de productos. scholars.duke.edu
El argumento
Experimentar no garantiza mejorar: el diseño operativo decide el signo del impacto.
Dos diseños de proceso probados contra el mismo control producen una brecha de 9 puntos.
La evidencia más fuerte favorece procesos repetibles, no pruebas aisladas.
Si el beneficio anual reportado persistió en la muestra del estudio, el beneficio acumulado implícito llega a US$12,4 millones tras un año y US$37,1 millones tras tres años.
La capacidad gerencial puede impulsar crecimiento laboral, no solo eficiencia interna.
Replicar una intervención de 120 horas en 3.000 establecimientos requiere 360.000 horas de ejecución, lo que convierte la capacidad laboral en una parte material de la inversión y no en un complemento menor.
Esta investigación se publica en inglés y español. Read in English
