Gatear Crawler HTTP pequeño y eficiente
Descargar ahora

Gatear Clasificación y resumen

Gatear Etiquetas

analizar gramaticalmente tractor gatear rastreador http crawler web rastrear http

Gatear Descripción

Crawler HTTP pequeño y eficiente La utilidad de rastreo inicia un recorrido por primera profundidad de la web en las URL especificadas. Almacena todas las imágenes JPEG que coinciden con las restricciones configuradas. El rastreo es bastante rápido y permite una terminación elegante. Después de terminar la terminación, es posible reiniciarlo exactamente en el mismo lugar donde se terminó. El rastreo mantiene una base de datos persistente que permite múltiples rastres sin revisar sitios. La caida contiene solo unos pocos miles de líneas de código, lo que hace que sea bastante fácil personalizar y debug. Nota: El rastreo está autorizado y distribuido bajo los términos de la licencia BSD. Aquí hay algunas características clave de "Crawl": · Guarda imágenes encontradas u otros tipos de medios · Selección de medios basada en expresiones regulares y alojamientos de tamaño. · Reanudar el rastreo previo después de la terminación agraciada · Datos de datos persistentes de las URL visitadas. · Código muy pequeño y eficiente. · Búsqueda de DNS asíncrona · Soporta Robots.txt Requisitos: · Libevent

Gatear Software relacionado