Publicado el Dejar un comentario

Análisis de logs de Apache con Scalp!

Análisis de logs de Apache con Scalp!

En temas de seguridad y protección de servidores, no existe nada mejor que proteger los mismos con aplicaciones de detección de intrusiones como Snort (https://www.snort.org/) o Suricata (http://suricata-ids.org/) u otras ofertas comerciales basadas tanto en hardware (firewalls) como Software (http://www.acunetix.com/) o servicios en la nube (https://www.cloudflare.com/) que actualizan con mayor regularidad sus bibliotecas y/o diccionarios de ataques, y están “más preparados” ante estas amenazas de la red Internet, por los que reaizar análisis de logs de Apache con Scalp! es una fantástica idea para prevenir y/o anticipar amenazas.

En esta ocasión les comparto un analizador de Logs muy sencillo, el cual propiamente, no es el más recomendado para “prevenir” ataques a un servidor Apache sino que más bien, su propósito es el de analizar potenciales huecos de seguridad o vulnerabilidades apoyándose de los registros (logs) que ha dejado atrás Apache para detectar aquellas áreas de oportunidad, mejora, e inclusive, vulnerabilidades propias de sistemas o aplicaciones desarrollados en PHP.

Scalp!, es un script analizador de logs del servidor Apache desarrollado en Phyton, que tiene como objetivo buscar problemas de seguridad. Su idea principal, es “leer” dentro de los registros de accesos al servidor para buscar patrones ataques potenciales mediante el envío de peticiones por los métodos HTTP/GET y HTTP/POST.

El sitio Web oficial de Scalp! es https://code.google.com/p/apache-scalp/.

Primeros pasos

Para los propósitos de este post, he de comentar que estoy realizando pruebas sobre Ubuntu Server 14.04. En este caso, tengo una instalación con Apache 2, PHP5 y MySQL para un servidor Web, en donde mis “logs”, se encuentran dentro del directorio /var/logs/apache2/access.log.

Con esto en consideración, lo primero que tenemos que hacer, es “descargar” el script de Scalp! en nuestro directorio favorito:

wget https://apache-scalp.googlecode.com/files/scalp-0.4.py

(Nota: te sugiero que visites regularmente la página de Scalp! para descargar la última versión actualizada).

Ahora, descargamos el archivo de expresiones regulares que utiliza PHP-IDS (otra estupenda herramienta para proteger a nuestras aplicaciones PHP) para combinarlo en su uso con Scalp! mediante el siguiente comando:

wget https://dev.itratos.de/projects/php-ids/repository/raw/trunk/lib/IDS/default_filter.xml --no-check-certificate

Ahora bien, con estos dos archivos descargados, vamos a hacer nuestro primer análisis de logs:

python scalp-0.4.py -l /var/log/apache2/access.log default_filter.xml -o scalp-output --html

En este caso, al ejecutar Scalp! por primera vez, me arrojó este mensaje de error:

The directory %s doesn't exist, scalp will try to create it
 Loading XML file 'default_filter.xml'...
 The rule '(?i:(\%SYSTEMROOT\%))' cannot be compiled properly

“Tuneando” nuestro fichero de patrones

Con respecto a la primera y segunda línea de error, no tenemos mayor problema. Más bien, el detalle que tenemos que resolver es que al parecer Phyton, no es capaz de “procesar” correctamente parte del contenido XML que descargamos de PHP-IDS. Para ello, la solución es muy sencilla, abrimos el archivo default_filter.xml con nuestro editor favorito:

nano default_filter.xml

Y alrededor de la línea 741, hay que cambiar (referencia: https://code.google.com/p/apache-scalp/issues/detail?id=8) esto:

(?i:(\%SYSTEMROOT\%))

…por esto:

(?:(\%[sS][yY][sS][tT][eE][mM][rR][oO][oO][tT]\%))

Iniciando Scalp!

Con lo anterior, guardamos los cambios, y volvemos a ejecutar el comando de Scap!

python scalp-0.4.py -l /var/log/apache2/access.log default_filter.xml -o scalp-output --html

A continuación, les aparecerá un mensaje como este, ante el cual, solo tenemos que esperar un poco (en función del tamaño de archivo de tu log o de las reglas que hayas pedido ejecutar):

Loading XML file 'default_filter.xml'...
 Processing the file '/var/log/access.log'...
 Scalp results:
 Processed 491229 lines over 491413
 Found 3175 attack patterns in 177.725208 s
 Generating output in scalp-output/access.log_scalp_*

Ahora, solo tienes que ir al directorio scalp-output y “visualizar” en tu navegador en archivo generado para visualizar el reporte completo de patrones de ataque observados.

¡Esta herramienta es genial!

Goodie

Tecleando el comando:

python scalp-0.4.py --help

…podrás obtener la ayuda relacionada con otros patrones de uso de Scalp!.

Scalp the apache log! by Romain Gaucher - http://rgaucher.info
 usage: ./scalp.py [--log|-l log_file] [--filters|-f filter_file] [--period time-frame] [OPTIONS] [--attack a1,a2,..,an]
 [--sample|-s 4.2]
 --log |-l: the apache log file './access_log' by default
 --filters |-f: the filter file './default_filter.xml' by default
 --exhaustive|-e: will report all type of attacks detected and not stop
 at the first found
 --tough |-u: try to decode the potential attack vectors (may increase
 the examination time)
 --period |-p: the period must be specified in the same format as in
 the Apache logs using * as wild-card
 ex: 04/Apr/2008:15:45;*/Mai/2008
 if not specified at the end, the max or min are taken
 --html |-h: generate an HTML output
 --xml |-x: generate an XML output
 --text |-t: generate a simple text output (default)
 --except |-c: generate a file that contains the non examined logs due to the
 main regular expression; ill-formed Apache log etc.
 --attack |-a: specify the list of attacks to look for
 list: xss, sqli, csrf, dos, dt, spam, id, ref, lfi
 the list of attacks should not contains spaces and comma separated
 ex: xss,sqli,lfi,ref
 --output |-o: specifying the output directory; by default, scalp will try to write
 in the same directory as the log file
 --sample |-s: use a random sample of the lines, the number (float in [0,100]) is
 the percentage, ex: --sample 0.1 for 1/1000

Si te interesa el tema, aquí puedes encontrar un estupendo artículo (en inglés) sobre una comparativa entre Snort y Suricata, los IDS (intrusion detection system) Open Source más populares. La liga es: http://wiki.aanval.com/wiki/Snort_vs_Suricata

Publicado el Dejar un comentario

Configuración de un Servidor Proxy Squid + Script de Iptables

En este tutorial, te enseñaré a realizar la configuración de un servidor proxy Squid + script de iptables.

Actualización 20210619.- Esta es una entrada de una publicación antigua en donde, para tener contexto de la época, casi todas las conexiones a sitios web se hacían mediante HTTP (80) y muy pocas sobre HTTPS (443). A pesar de ello, es muy probable que este script y archivo de configuración siga funcionando, así como también, te puede servir de base y referencia para jugar con tus propias configuraciones. KW.

Contexto

Resulta que cuando recién llegué a laborar en una organización, la misma tenía una red de aproximadamente 60 computadoras con una conexión a internet tipo ADLS de 2048 kbps (2 mbps) de bajada, y 256 de subida (0.25 mbps). Como ya imaginarán, la velocidad de conexión era lentísima, por lo cual me dí a la tarea de configurar un servidor Proxy Squid con reglas de Iptables para que pudieramos todos trabajar a gusto, bloquear algunas urls para los usuarios ociosos (juegos, pornografía, videos), etc. En fin, en ese entonces, trabajé sobre OpenSuSE 10.0 como sistema operativo y vale, ahora que tengo Internet en casa, me he configurado un servidor Proxy para mi red casera.

En fin, con todo lo anterior, pongo en sus manos una modesta configuración para Squid 2.6 STABLE5 sobre Debian 4 Etch junto con su respectivo Script de IPTables para que lo echen a andar en su casa o red. Debo mencionar que la configuración de estos servicios, podrían resultar ser no tan sencillos para el usuario novato, más sin embargo, les comentaré lo siguiente:

¿Qué es un servidor Proxy?

En el ámbito de las redes informáticas, el término proxy hace referencia a un programa o dispositivo que realiza una acción en representación de otro. La finalidad más habitual de un servidor proxy, es el de permitir el acceso a Internet a todos los equipos de una organización cuando sólo se puede disponer de un único equipo conectado, esto es, una única dirección IP.

Fuente: http://es.wikipedia.org/wiki/Servidor_proxy

¿Qué es y para qué funciona el programa Squid?

Squid es un popular programa de software libre que implementa un servidor proxy y un demonio para caché de páginas web, publicado bajo licencia GPL. Tiene una amplia variedad de utilidades, desde acelerar un servidor web, guardando en caché peticiones repetidas a DNS y otras búsquedas para un grupo de gente que comparte recursos de la red, hasta caché de web, además de añadir seguridad filtrando el tráfico. Está especialmente diseñado para ejecutarse bajo entornos tipo Unix.

Fuente: http://es.wikipedia.org/wiki/Squid

¿Qué es Netfilter/Iptables?

Netfilter es un framework disponible en el núcleo Linux que permite interceptar y manipular paquetes de red. Dicho framework permite realizar el manejo de paquetes en diferentes estados del procesamiento. Netfilter es también el nombre que recibe el proyecto que se encarga de ofrecer herramientas libres para cortafuegos basados en Linux.

El componente más popular construido sobre Netfilter es iptables, una herramientas de cortafuegos que permite no solamente filtrar paquetes, sino también realizar traducción de direcciones de red (NAT) para IPv4 o mantener registros de log. El proyecto ofrecía compatibilidad hacia atrás con ipchains hasta hace relativamente poco, aunque hoy día dicho soporte ya ha sido retirado al considerarse una herramienta obsoleta. El proyecto Netfilter no sólo ofrece componentes disponibles como módulos del núcleo sino que también ofrece herramientas de espacio de usuario y librerías.

Iptables es el nombre de la herramienta de espacio de usuario mediante la cual el administrador puede definir políticas de filtrado del tráfico que circula por la red. El nombre iptables se utiliza frecuentemente de forma errónea para referirse a toda la infraestructura ofrecida por el proyecto Netfilter. Sin embargo, el proyecto ofrece otros subsistemas independientes de iptables tales como el connection tracking system o sistema de seguimiento de conexiones, o que, que permite encolar paquetes para que sean tratados desde espacio de usuario. iptables es un software disponible en prácticamente todas las distribuciones de Linux actuales.

Fuente: http://es.wikipedia.org/wiki/Iptables

Utilidad y funcionamiento

Ahora bien, se preguntarán seguramente, ¿para qué sirve Squid + Iptables en la red de una casa, empresa u organización? Mmmm, de mucho. Intentaré explicarlo de manera sencilla:

Imaginen que tienen 20 computadoras conectadas en su red mediante un switch directamente al modem ADSL de la compañía de su preferencia (Prodigy Infinitum de Telmex, por ejemplo), y resulta que esos 20 usuarios requieren entrar a una página como Hotmail, la cual tiene un peso específico (imágenes, documentos html, animaciones, etc.) de 300 kb cada vez que se conectan a ella. Como muchos seguramente sabrán, todos los navegadores destinan una carpeta en su disco duro para almacenar información en algo que llaman “caché”, el cual es un concepto que tiene como principal objetivo, “acelerar” la descarga en el futuro, y solo para esa PC cuando accedan más adelante a la misma página Web. Así pues, bajo nuestro escenario, si tenemos 20 usuarios que entren a Hotmail al mismo tiempo, estaríamos “descargando” entre todos, 6000 kb de información (20 usuarios X 300 kb = 6,000 kb) o lo que es lo mismo, 5.8 megas de información aproximadamente. ¿Qué sucedería en esta situación? Básicamente, que la conexión se alentaría para todos aún y cuando estén bajando todos lo mismo.

configuración de un servidor proxy squid

Y viene aquí la magia de Squid e Iptables (no puede vivir el uno sin el otro, eh), ya que, suponiendo que hemos destinado una vieja PC para hacerla de “proxy” y/o “router” mediante un servidor DHCP (ya platicaré de él en un post posterior), y conectándole un switch de 20 puertos para esas 20 pc´s, lo que sucedería es que la primer PC de nuestra red que intente establecer una conexión a Hotmail, le enviaría la petición a nuestro proxy para que haga una consulta,  en la cual éste revisaría si está “almacenada” en la caché del servidor, y en caso de no ser así, se conectaría a Internet para “descargar” todos los elementos básicos del sitio (imágenes, scripts, animaciones, etc.), con el fin de devolver “la misma respuesta” a todas las demás computadoras. En otras palabras: si una computadora ha “accedido” con anterioridad a Hotmail, habrá “descargado” seguramente a nuestro proxy esos 300 kbs de los que hablaba, evitando “saturar” nuestra con “otras conexiones” similares, ahorrándonos así 5700 kb.

Instalación de un Servidor Proxy Squid

En mi caso, tengo una PC HP Pavilion a110m con un procesador AMD Atlhon a 1.67 mhz, 512 megas de memoria RAM, dos tarjetas de red PCI y disco duro de 40 gb. Mis tarjetas de red están configuradas de la siguiente manera:

  • ETH0 – Tiene una IP del tipo 192.168.1.XX, y está conectada directamente a mi a mi Modem ADLS Prodigy Infinitum
  • ETH1 – Tiene una IP fija del tipo 192.168.0.254, la cual conecta a mi switch (y la hace de servidor DHCP en la clase 192.168.0.x) y que funciona de “puerta de enlace” a los equipos que tengo conectados.

Para instalar Squid en Debian 4 Etch, solo tienen que hacer lo siguiente:

apt-get install squid

Y ¡listo!

Solo deberán acceder a la carpeta:

/etc/squid/

Renombrar el archivo squi/d.conf y “copiar” o dejar en su lugar el mío (o el que ustedes deseen configurar manualmente).

En el caso de mi Script de Iptables, yo lo he guardado en el directorio:

/etc/init.d/fw_squid

Y le he asignado permiso de ejecutable (chmod 777 /etc/init.d/fw_squid)

Ahora, hago que se cargue al inicio, agregándolo en el nivel 3 mediante el enlace simbólico:

ln -s /etc/init.d/fw_squid /etc/rc5.d/S20fw_squid

Y listo!

Caramba, en verdad podría elaborar todo un tutorial sobre esto, pero, vale, por cuestión de tiempo me resulta un poco difícil. Sin embargo, pongo a su disposición mis archivos de configuración a fin de que puedan hacer uso de ellos; en verdad, deseo que les sirvan:

Con los siguientes comandos:

  • /etc/init.d/squid restart – reiniciamos el servidor proxy squid
  • tail -fv /var/log/squid/access.log – “miran” en tiempo real las páginas que visitan las PC´s de su red
  • /etc/init.d/fw_squid.sh – ejecutan el script de iptables
  • iptables -L -n – sirve para ver qué puertos tienen cerrados, abiertos, bloqueados, etc.

¡Hasta pronto!

PD.- Se me olvidaba. Mi script de Iptables para proxy transparente con Squid, es también una joyita que los sacará de muchos apuros. En otra entrega les platicaré más sobre él. ¡Saludos!