Metodología: cómo mide StrategyCheck si una estrategia funciona
La metodología de StrategyCheck calcula cada métrica sobre operaciones cerradas de una sola versión de la estrategia y la publica con su n. Por debajo de la muestra del horizonte (100 operaciones en intradía, 40 en swing, 20 en posición, 4 rebalanceos en cartera) no hay porcentajes. La ganancia es neta de costos, el slippage se compara con el extracto del broker y cada cifra lleva su etiqueta PAPER, BACKTEST o REAL. Versión 1, 2 de noviembre de 2026.
Esta página es la única fuente de definiciones del producto. Cuando el panel, el mensaje diario o la auditoría por CSV muestran un número, se calcula como está escrito acá. Si algo cambia, cambia primero esta página, con fecha y versión nuevas.
Contenido
- Las tres etiquetas: PAPER, BACKTEST, REAL
- Qué es una operación cerrada (FIFO)
- Las tres puertas
- Umbrales por horizonte y por qué 100 operaciones
- Cómo se cuenta n
- Ganancia neta por operación (expectancy)
- Profit factor
- Costos: comisión y slippage
- Caída máxima y límite
- Concentración
- Benchmark
- Rango plausible
- Qué significa «todavía no se puede saber»
- Cuándo dice «no funciona» y qué dice
- Cómo se corta una versión
- Qué puede y qué no puede decir el mensaje diario
- Qué va a calcular la auditoría por CSV
- Qué no medimos
1. Las tres etiquetas: PAPER, BACKTEST, REAL
Toda cifra que lleva un monto, una cantidad de operaciones o un porcentaje lleva pegada una de tres etiquetas. No van en un pie de página: van al lado del número, cada vez.
- BACKTEST
- Calculado sobre datos del pasado con el mismo código que después corre en vivo. No se operó. Un backtest no cuenta para la puerta.
- PAPER
- Simulado por StrategyCheck con precios reales del mercado y costos modelados (comisión y slippage supuestos). No es dinero real. Hay dos tipos de paper y siempre se dice cuál: el simulado por StrategyCheck (sin extracto externo) y el paper de Alpaca por OAuth (con extracto del broker).
- REAL
- Operaciones en tu cuenta de un broker, según su extracto. En la auditoría por CSV se escribe «REAL (según tu archivo)» porque StrategyCheck no lo verificó contra el broker.
Los resultados PAPER y BACKTEST son hipotéticos y no garantizan resultados en REAL: en real hay diferencias de precio, de ejecución y de costos que la simulación no refleja.
2. Qué es una operación cerrada (FIFO)
La unidad de medida es la operación cerrada, también llamada round trip: una entrada y la salida que la cierra, en el mismo símbolo. Las posiciones abiertas no cuentan; se mencionan aparte.
Las ejecuciones se emparejan por FIFO (primero en entrar, primero en salir): cada venta se asigna a las compras más antiguas que todavía tengan cantidad sin cerrar, en orden de fecha y hora. Las ejecuciones parciales de una misma orden se agrupan antes de emparejar.
Lo que se excluye: ventas sin una compra anterior en el archivo (se informa cuántas), instrumentos que no son acciones ni ETFs de EE.UU. (opciones, futuros, cripto: se detectan y se dicen) y filas que no son operaciones (dividendos, depósitos, comisiones sueltas). En la beta no hay cortos: las estrategias devuelven largo o fuera.
3. Las tres puertas
Una estrategia pasa por tres etapas en orden: backtest, paper y real. Entre paper y real hay una puerta que el sistema verifica por código. El botón «operar en real» está deshabilitado hasta que se cumple; nadie puede habilitarlo a mano, tampoco el equipo de StrategyCheck. Pasar la puerta no asegura ganancias futuras, y el producto lo dice cada vez.
La puerta se evalúa sobre una sola versión de la estrategia. Tiene cinco condiciones:
- Operaciones cerradas: al menos la muestra del horizonte (tabla siguiente).
- Días de mercado sin cambios de versión: al menos los del horizonte.
- Ganancia neta por operación mayor que 0.
- Profit factor mayor que 1,3. En cartera con rebalanceo, en cambio: retorno neto mayor que el benchmark.
- Caída máxima de la versión, no la actual, dentro del límite que fijaste.
4. Umbrales por horizonte y por qué 100 operaciones
| Horizonte | Operaciones cerradas, mínimo | Días de mercado, mínimo | Criterio de resultado |
|---|---|---|---|
| Intradía (modo disciplina) | 100 | 40 | Ganancia neta por operación > 0 y profit factor > 1,3 |
| Swing | 40 | 60 | Igual |
| Posición | 20 | 120 | Igual |
| Cartera con rebalanceo | 4 rebalanceos | 180 | Retorno neto > benchmark, con caída dentro del límite |
En todos los horizontes: caída máxima de la versión dentro del límite y sin cambios de versión. Definido el 27 de octubre de 2026.
Por qué 100. Con pocas operaciones, el promedio observado se mueve mucho de una muestra a otra: un método con ganancia esperada cero produce rachas de 20 o 30 operaciones positivas con facilidad. Con 100 operaciones el error estándar del promedio se reduce a una décima parte de la dispersión de una operación, suficiente para distinguir un promedio positivo de uno nulo en estrategias de corto plazo, donde las operaciones son muchas y parecidas. No es un número mágico; es el punto donde dejar de mostrar porcentajes deja de ser prudente y pasa a ser cómodo.
Por qué por horizonte. 100 operaciones en 40 días de mercado no se alcanzan fuera del intradía: una estrategia swing llega al día 40 con unas 20 o 25 operaciones y diría «faltan 75» durante meses. Por eso los horizontes más lentos exigen menos operaciones pero más días: la muestra se compensa con tiempo de calendario, que es lo que expone a la estrategia a mercados distintos. El precio de esa decisión es que una estrategia de posición con 20 operaciones tiene un veredicto menos firme que una intradía con 100; el rango plausible (sección 12) lo muestra.
5. Cómo se cuenta n
n es la cantidad de operaciones cerradas de la versión vigente, desde que entró en PAPER (o en REAL), hasta el cierre del último día de mercado. No suma operaciones del backtest ni de versiones anteriores. En cartera con rebalanceo, n cuenta rebalanceos ejecutados, no órdenes.
Regla de oro: cuando n es menor que la muestra del horizonte, el porcentaje de acierto, la ganancia neta por operación y el profit factor valen nulo. Ninguna frase del producto los lee sin antes exigir la muestra.
6. Ganancia neta por operación (expectancy)
Es el promedio, después de costos, de lo que dejó cada operación cerrada. En el nivel 1 del producto se dice «promedio de +US$ 6,20 por operación, después de costos»; la palabra expectancy aparece solo en el nivel técnico y en el glosario.
7. Profit factor
En lenguaje llano: «por cada US$ 1 que perdiste, ganaste US$ 0,87». La puerta pide más de 1,3, es decir, más de US$ 1,30 ganados por cada US$ 1 perdido; 1,30 exacto no pasa. Si no hubo ninguna operación negativa el cociente no se define y no se muestra.
8. Costos: comisión y slippage
Toda cifra de resultado es neta de costos. En PAPER simulado por StrategyCheck los costos son modelados: una comisión por operación y un slippage por acción, ambos declarados en la ficha de la estrategia. En REAL y en paper de Alpaca, los costos son los del extracto del broker.
La decisión se toma al cierre de la barra t y la ejecución empieza en la apertura de t+1: nunca se usa un precio que la estrategia no pudo conocer. Cuando hay extracto, el slippage real se compara con el modelado y la diferencia se muestra en el informe de edge.
Si un archivo CSV no trae columna de comisiones, el resultado se rotula bruto y el informe dice que probablemente sobrestima lo que ganaste. Se puede cargar una comisión fija por operación, y queda anotada.
9. Caída máxima y límite
La puerta usa la caída máxima de la versión, no la caída actual: una versión que cayó 12 % en marzo y se recuperó en abril sigue sin cumplir un límite de 10 %. En la auditoría por CSV, donde no hay capital inicial, la caída se informa en dólares sobre la curva de resultado acumulado y no en porcentaje.
10. Concentración
Mide qué parte del resultado salió de un solo día. Se dice cuando llega al 50 % y hay al menos 10 operaciones, aunque la puerta esté pasada, porque es un hecho descriptivo y no un veredicto: «El 75 % de la ganancia PAPER salió de un solo día». En la auditoría por CSV se calcula sobre operaciones en vez de días, desde 3 operaciones cerradas.
11. Benchmark
Para cartera con rebalanceo, el criterio de resultado es el retorno neto comparado con comprar y mantener el ETF de referencia (SPY por defecto) en el mismo período, calculado y etiquetado BACKTEST porque no se operó. Para los otros horizontes el benchmark se muestra en el informe de edge pero no forma parte de la puerta.
12. Rango plausible
Junto con la ganancia neta por operación se muestra un rango: el intervalo dentro del cual cae el promedio en el 90 % de los remuestreos de las mismas operaciones (bootstrap, 2.000 remuestreos). Si el rango incluye valores negativos, el producto lo dice: «Funciona hasta ahora. El rango plausible incluye valores negativos». El método exacto se publica con el código del informe de edge en la Fase 1; esta definición es la versión 1.
13. Qué significa «todavía no se puede saber»
Es el veredicto mientras n es menor que la muestra del horizonte. No es un estado de error ni una pantalla vacía: el producto muestra cuántas operaciones van, cuántas faltan y cuántos días de mercado lleva la versión, y no muestra porcentaje de acierto, promedio por operación, profit factor ni comparación con el mercado. Sí muestra hechos descriptivos: resultado neto acumulado con su n, caída desde el máximo, concentración y cortes.
14. Cuándo dice «no funciona» y qué dice
Con la muestra completa, hay tres veredictos y nada más:
- Funciona hasta ahora: cubre sus costos (ganancia neta por operación mayor que 0). Se muestra con el rango plausible.
- No funciona: con la muestra completa, el promedio neto por operación es menor o igual que 0.
- Todavía no se puede saber: n por debajo de la muestra.
Cuando dice «no funciona», dice el hecho, la muestra y el costo, y una sola razón si los datos la sostienen: una partición por día de la semana, por hora de apertura o por régimen de mercado con al menos 20 operaciones, cuyo promedio es peor que el del resto y que explica al menos la mitad de la pérdida. Entonces propone una sola cosa para probar, marcada como pista y no certeza. Si no hay un patrón que cumpla eso, lo dice: «todavía no hay un patrón claro de por qué». El sujeto es siempre la versión, nunca la persona.
15. Cómo se corta una versión
Cualquier cambio en la estrategia (una regla, un parámetro, una línea de código, el universo de símbolos) crea una versión nueva. La versión nueva arranca con n = 0 y 0 días de mercado: el contador de la puerta se reinicia. Las operaciones de la versión anterior quedan guardadas con su propio veredicto y no se suman. Esto evita el error más común: ajustar la estrategia hasta que el pasado se vea bien y contar ese pasado como prueba.
16. Qué puede y qué no puede decir el mensaje diario
El mensaje diario se arma por código con un vocabulario cerrado de 36 frases, cada una con una condición sobre los hechos del día y un test. Ningún modelo de lenguaje genera un número, un juicio ni una frase. Reglas:
- Orden fijo de secciones: Estado, Hoy, Acumulado, Puerta, Incidencias, Siguiente paso. Una sección sin frases desaparece.
- No existe «sin novedades» ni «todo en orden». Que no hubo cortes, barras perdidas ni diferencias con el broker se dice porque es un dato verificado.
- Por debajo de la muestra no sale ningún porcentaje de acierto ni veredicto; el validador rechaza la salida si aparecen juntos.
- Sin adjetivos de valoración, sin signos de exclamación, sin futuro ni promesas. Una idea por frase.
- Si el dato no es de ahora, dice de cuándo es: «datos al 17:00».
- Si no hubo sesión de mercado, no hay mensaje.
17. Qué va a calcular la auditoría por CSV
La herramienta pública «Auditá tu historial gratis» tiene fecha del plan: 20 de noviembre de 2026. Todavía no está publicada. Cuando esté, va a calcular exactamente esto, sin registro:
- Lectura del CSV de operaciones de cualquier broker (fecha y hora, símbolo, compra o venta, cantidad, precio y, si existe, comisión), con revisión de cómo se interpretó cada columna antes de calcular.
- Operaciones cerradas por FIFO (sección 2), agrupando ejecuciones parciales. Ventas sin compra anterior y posiciones abiertas se informan y se excluyen.
- Costos: comisiones pagadas, resultado antes y después de costos. Sin columna de comisiones, el resultado se rotula bruto.
- Concentración sobre operaciones, desde 3 operaciones cerradas.
- Peor caída en dólares sobre la curva de resultado acumulado, con fechas.
- Ritmo: operaciones por mes y en cuántos meses, a ese ritmo, se llega a 100. Es un ritmo, no una predicción.
- Con menos de 100 operaciones: no se muestran porcentajes (ni acierto, ni ganancia por operación, ni profit factor, ni comparación con el mercado). Con 100 o más: ganancia neta por operación con rango plausible, profit factor y comparación con comprar y mantener SPY en el mismo período.
- Etiqueta de todas las cifras: «REAL (según tu archivo)». Alcance: acciones y ETFs de EE.UU.
Plan de procesamiento: el archivo se lee en el navegador y no se sube. Si por razones técnicas el cálculo tuviera que hacerse en el servidor, la página lo va a decir y va a borrar el archivo a las 24 horas.
18. Qué no medimos
- Ratios anualizados (Sharpe, Sortino) en el nivel 1: con muestras de 20 a 100 operaciones su error es mayor que el valor.
- Rendimiento esperado futuro. Nada en el producto predice.
- Ranking de estrategias por retorno: no existe y no va a existir.
- Resultados de otros usuarios: no se publican ni se comparan.
- Futuros, cripto, forex y opciones: fuera del alcance de la v1.
Esta metodología describe cómo mide el software. No es asesoramiento financiero. Los resultados en paper y en backtest son hipotéticos y no garantizan resultados en real. Última revisión: 2 de noviembre de 2026, versión 1. Cambios futuros se anotan en Novedades con fecha.