Etiquetas

, , , , ,


Desde hace un rato tengo curiosidad de saber si la activación de filtros ha tenido un impacto significativo en la reducción del vandalismo.  Para ello, recopilé datos sobre reversiones en espacio de nombre principal de los principales bots así como del llamado chico-bot (diegusjaimes) que se dedicaba casi únicamente a revertir. Estos datos se tomaron 4 veces por mes desde agosto de 2009 hasta la primera semana de julio de 2010.

La situación pre-filtros

(agosto 2009-abril 2010)

Primero, la situación sin filtros. La gráfica correspondiente es:

Gráfica de reversiones de bots + diegusjaimes (clic para ampliar)

Es importante hacer varias aclaraciones y observaciones antes de proceder.

La gráfica es una gráfica de área apilada (la altura de cada franja indica el valor que tiene). Los colores son:

  • Azul = AVBOT. Prácticamente todas las reversiones por bot las ha hecho AVBOT, por tanto se cuenta de forma separada.
  • Naranja = Otros bots patrulleros. Existen otros bots (PatruBOT, Africanus, Botarel, etc.) que suplen a AVBOT cuando éste se ausenta pero sólo se activan de forma esporádica. Por ello, en la mayor parte de la gráfica no aportan de forma significativa.
  • Amarillo = Diegusjaimes.

Hay que aclarar que durante una semana en septiembre 2009, AVBOT estuvo desconectado pero no fui capaz de encontrar bot alguno que haya tomado sus funciones. AVBOT hizo su última edición en mayo de 2010 con algunas ausencias previas, por lo que en la cola de la gráfica los bots suplentes adquieren más relevancia.

Una primera observación es que el nivel de vandalismo disminuye en los períodos vacacionales.

  • Al inicio de la gráfica el nivel de vandalismo es menor que el usual alrededor de 6000, explicable por el período vacacional de verano.
  • En las últimas semanas de diciembre y la primera de enero (centro de la gráfica) hay un descenso fuerte del vandalismo (tanto en la cantidad revertida de forma automática como la manual). Explicable por el período vacacional de invierno.

Con esas excepciones, la gráfica antes de abril de 2010 oscilaba alrededor de 6000 vandalismos revertidos semanales con las siguientes caídas notables:

  • En septiembre, como se mencionó, AVBOT no se encontraba disponible y aparentemente no hubo bot disponible (quizás otro bot tomó funciones pero no lo pude registrar) pero el nivel de vandalismo revertido manualmente por diegusjaimes es similar al de otros períodos, por lo que asumo que el resto del vandalismo fue revertido de forma manual por los otros patrulleros.
  • El la segunda mitad de febrero hay otra caída del total, explicable por uno de los retiros de Diegusjaimes. Obsérvese que la cantidad de vandalismo revertido de forma automática se mantuvo estable, lo cual permite creer que el vandalismo real también se mantuvo en los niveles usuales y la ausencia corresponde al vandalismo revertido por otros usuarios.

En resumen: en los períodos vacacionales el vandalismo disminuye, pero descontando esa variación, el nivel de vandalismo revertido de forma automática o manual es bastante estable. Sin embargo a partir de mediados de abril se observa una fuerte tendencia a la baja, la cual se atribuye a la aparición de los filtros de edición, como se detalla más adelante.

Como la cantidad de vandalismo varía según temporada, una mejor forma de medir la variablidad es comparar el porcentaje de vandalismo revertido (bots vs diegusjaimes). De paso, determinará si el mito de que Diegusjaimes es más efectivo que los bots (algo que solían decirle mucho) es real.

Normalizando a 100% la cantidad de vandalismo en cada mes obtenemos la siguiente gráfica:

Diegus y bots, gráfica normalizada

(modo Mythbusters) El mito es Falso (/modo Mythbusters)

La gráfica es de agosto2009-abril2010. En general están muy parejos, sin una ventaja clara de uno sobre otro. Se nota que cuando uno de ellos se ausenta, el otro salta muchísimo.  Como dato, el área total de los bots es ligeramente superior al de Diegus.  Lo importante a observar es que la proporción se mantiene estable (aunque varía la cantidad real de vandalismo, la proporción que cada uno revierte es similar).

Puede decirse que se está comparando a Diegus contra todos los bots, pero si nos restringimos únicamente a AVBOT obtenemos una gráfica muy similar, compatible con el hecho que excepto en las últimas semanas, los otros bots tuvieron un papel no significativo:

La gráfica es casi idéntica a la anterior

La breve caída de AVBOT al final se explica porque estuvo inactivo algunos días en abril (pico visible también en la gráfica inicial).

Llegan los filtros.

En realidad, este análisis se refiere únicamente al llamado filtro nº 1, que impide la adición de obscenidades a los artículos. No es el único filtro activo (hay un filtro contra blanqueos, otro contra sin sentidos, etc.) por lo que la cantidad real de vandalismo que impiden es superior a la que representa esta gráfica. Sin embargo el filtro 1 es de lejos el filtro más activo y representativo.

El filtro de ediciones 1 se activó para bloquear vandalismo antes que suceda el día 27 de abril de 2010. En la semana posterior fue refinándose y ampliando su capacidad de detección. La gráfica combinada es la siguiente

Gráfica inicial, incluyendo el filtro de ediciones

Notemos que los bots reversores que tomaron el lugar de AVBOT siguen teniendo el mismo ritmo, excepto que menor al usual antes de la adición de los filtros.

Por otro lado, hay una fuerte bajada al final de la gráfica, misma que se interpreta en vista del inicio del período vacacional de verano.  Para evitar esta distorsión, nuevamente normalizamos los datos independientemente de la cantidad de vandalismo específica:

Gráfica nomalizada tras la adición del filtro

La gráfica inicia a finales de febrero. Se observa que durante las primeras semanas de la aparición del filtro, hay un aumento constante en el porcentaje de vandalismo que detiene el filtro. Este crecimiento corresponde al desarrollo que tuvo el filtro durante esas semanas (se añadían cada vez más reglas para detección y se mejoraba el sistema) hasta que alcanzó cierta estabilidad alrededor de mediados de mayo (fecha en la que Diegusjaimes se retira correspondiente a la caída en el porcentaje azul).

También se aprecia que los bots se han mantenido más o menos constantes en proporción, salvo al final donde aumentan debido a que Diegusjaimes abandona la tarea de reversión. Mi suposición es que los vandalismos “fáciles” ya no suceden por lo que es más difícil acumular muchas reversiones y hay que poner más cuidado, haciendo que la tarea se vuelva más tediosa. Por otro lado, las máquinas no se cansan, lo que puede ser explicación de que ellas no hayan disminuido su ritmo.

Si miramos únicamente las reversiones de Diegus:

Perfil de reversiones del mejor patrullero

Notamos que tras la adición del filtro y durante el tiempo que éste se refina (y se añaden otros filtros) hay una fuerte tendencia descendiente en la cantidad de reversiones.  Se pueden observar también las vacaciones de febrero y mayo como caídas en la gráfica así como el descenso del vandalismo a finales de diciembre de 2009.

Conclusiones.

Recordando que el análisis tomó en cuenta sólo un filtro de vandalismo y que la cantidad real de vandalismo que se previene es aún mayor, se concluye que esta herramienta sí introdujo un cambio significativo en la dinámica del combate al vandalismo, correspondiente a un fuerte descenso en la cantidad de reversiones hechas de forma tanto automática como manual.

Actualización.

Este reporte lo estuve haciendo durante el fin de semana, pero hoy lunes me encuentro con que Diegusjaimes se ha retirado y argumenta que esta herramienta ha sido el principal causal. (ref)

PeterGunn@goear