Siempre hemos tenido visitas de robots en nuestros sitios. Normalmente, son inofensivos, como los rastreadores, que mantienen actualizados los motores de búsqueda. Esos robots comienzan por revisar nuestros archivos robots.txt, antes de hacer nada y respetan las restricciones contenidas en esos archivos.
Pero las cosas han cambiado, al igual que otros sitios, hemos sido visitados cada vez más frecuentemente por escarbadores IA, robots que indagan en el internet por cualquier cosa que puedan encontrar para entrenar aplicaciones IA. Estos son extremadamente hambrientos de información, así que descargan mucho más de lo que cualquier usuario podría hacer. Peor aún, muchos de ellos son mal educados y no respetan las reglas de nuestros archivos robots.txt, esconden su identidad, y no hacen pausas entre peticiones – al contrario, golpean nuestros servidores con peticiones desde montones de direcciones IP diferentes al mismo tiempo. Como resultado, partes de mageia.org, como Bugzilla, Wiki y Foros, se hacen inaccesibles.
A continuación, pueden ver la carga de la CPU de uno de nuestros servidores más importantes, donde se encuentran, entre otros, nuestros foros y wiki:
Incluso si nuestra actualización de infraestructura ya hubiera terminado, esto sería realmente difícil de mitigar.
Bloquear las direcciones IP es inútil, ya que constantemente están cambiando por otras. Uno de nuestros administradores apunta a un gran problema: “proxis móviles”, los robots dirigen sus peticiones desde teléfonos sin que los usuarios sospechen. Esto hace que las peticiones parezcan legítimas y las hace difíciles de bloquear sin bloquear al usuario real. Mucho de esto pasa sin que los usuarios sepan que sus teléfonos son usados de esta forma, algunos proxis son incluidos en juegos u otras aplicaciones y lo ocultan en las letras pequeñas de los términos de servicio. El año anterior, se reportó que Google elimino montones de este tipo de aplicaciones de su tienda.
Además de los teléfonos, están todos esos dispositivos IoT y computadoras que terminan formando parte de botnets, debido a su mala protección. Ahora quizas esten siendo utilizados por escarbadores IA.
Nuestros administradores de sistemas tienen éxito en mitigar el problema , pero es el «juego del gato y el ratón», así que es un problema recurrente.
Si conocen a personas que estén trabajando en entrenar aplicaciones IA, por favor pídales que se aseguren de que sus robots lean y respeten los archivos robots.txt que encuentren.
Y desde luego, cuando crea necesario, incentive a sus amigos y familiares a asegurarse de que sus computadoras y otros dispositivos inteligentes tengan todas las actualizaciones de seguridad tan pronto como se publiquen.
Traducido por katnatek de la publicación original de marja
