Un estudio te dice dónde estás. El monitoreo te dice si lo que hiciste funcionó. El mismo banco congelado, los mismos modelos, números comparables en el tiempo.
Un instrumento, vuelto a correr
El estudio termina con un banco de prompts congelado. El monitoreo vuelve a correr ese mismo banco: las mismas preguntas, los mismos modelos, el mismo codebook, leído de la misma forma. Eso es lo que hace comparables dos corridas. Sin el banco congelado, una segunda medición es una anécdota nueva, no una tendencia.
Entre las dos corridas está el trabajo.
- El estudio, que termina en un banco congelado
- El trabajo sobre las fuentes
- El monitoreo vuelve a correr el mismo banco
El orden es estudio, luego el trabajo sobre las fuentes al que apunta el reporte, y luego el monitoreo: la segunda corrida mide el efecto de ese trabajo. Una segunda medición sin nada en medio todavía compara, solo que no tiene nada a qué atribuirle el movimiento salvo al tiempo.
Recomendado
Muestra inventadaEl mismo banco congelado, los mismos modelos. La diferencia no prueba causalidad.
44 de 396 respuestas en la primera corrida, 75 de 396 en la segunda, después del trabajo. Las mismas 396 respuestas están detrás de ambos números, así que la diferencia se puede leer. Cambia el banco y los dos números dejan de significar algo juntos.
Lo que rompe la comparabilidad:
Editar preguntas después de la línea base
Las preguntas nuevas arrancan su propia línea base, con su propia primera corrida. Nunca se unen a la línea existente.
Cambiar modelos o repeticiones a media tendencia
El instrumento cambió, así que los números cambiaron por razones que no son tuyas.
Empalmar bancos en una tendencia
Nunca. Documentamos el banco para que cualquier edición posterior sea deliberada, no accidental.
Cadencia, acordada por cliente
Sin paquete fijo. La cadencia depende de qué tan rápido se mueve tu categoría y de cuándo suceden tus decisiones: ciclos de presupuesto, ventanas de campaña, negociaciones con retailer.
Dos ritmos se combinan:
Corridas periódicas
- Con el banco congelado, para mantener la línea moviéndose entre decisiones.
Corridas más profundas
- A intervalos más largos, más modelos o más repeticiones, para los números que soportan decisiones más grandes.
Las alertas corren entre las corridas y a lo largo de ellas:
Caída
Tu visibilidad cae
Contra la corrida comparable anterior.
Patrón
Una crítica específica se repite entre asistentes
Una respuesta negativa es ruido; la misma crítica en varias respuestas es un patrón con una fuente adjunta.
Conjunto de rivales
Un competidor entra o sale del conjunto de respuestas
Para preguntas que antes eran estables.
Cada alerta nombra la pregunta, el modelo y las respuestas detrás de ella. Las alertas son medición con cita, no un feed.
Lo que el monitoreo no te dice
Visible a propósito:
No prueba causalidad
Una actualización de modelo o contenido nuevo de terceros puede mover el mismo número. La comparación te dice qué cambió. No prueba que lo causaste tú.
Si nada se movió, el reporte dice que nada se movió
Ninguna gráfica se estira para mostrar progreso.
Los terceros siguen escribiendo la mayor parte de lo que se cita
Parte del movimiento, para arriba y para abajo, queda fuera del control de cualquiera.
Lo que muestran los paneles de tendencia
Un panel por tasa de resultado (Mencionado, Recomendado, Nombrado como el mejor, Con ruta de compra). En cada panel:
Puntos
Dos puntos, uno por corrida, conectados por una línea recta
Etiquetas "corrida 1" y "corrida 2" con la fecha de la corrida.
Denominador
La tasa encima de cada punto, el denominador impreso debajo de cada punto
"n = 396 respuestas". Los denominadores son parte del visual, no notas al pie.
Delta
El delta etiquetado entre los dos puntos
En puntos porcentuales, con signo de más o de menos. El movimiento cero se dibuja como cero.
Escala
Una escala fija por panel
Para que las alturas de los paneles no se estiren para exagerar el cambio.
Leyenda
Una leyenda fija debajo de cada panel
"El mismo banco congelado, los mismos modelos. La diferencia no prueba causalidad."
El panel arriba de esta sección es esa especificación, dibujada.
La anotación honesta es la leyenda. Viene con cada panel, incluidos aquellos donde nada se movió.
Empieza con la línea base, o continúala
Aún sin línea base
- Primero el estudio: el monitoreo sin un banco congelado no tiene nada que comparar.
Ya tienes una
- Nuestra o de otro proveedor, el monitoreo empieza con una conversación sobre la decisión que los números deben informar: ¿está funcionando lo que estamos haciendo, y cómo lo sabemos?