Metabot Una herramienta gratuita de oruga y línea de comandos optimizadas para la velocidad
Descargar ahora

Metabot Clasificación y resumen

Metabot Etiquetas

filtrar tractor gatear crawler web Sitio web Crawler Filtro de URL

Metabot Descripción

Una herramienta gratuita de la línea web y la línea de comandos optimizados para la velocidad Methabot admite el análisis de tipo FileType de script, una amplia variedad de opciones de personalización y se configura fácilmente para adaptarse a las necesidades particulares de Anyones. El metabot está dirigido a la extensibilidad y la personalización. Se está desarrollando para una alta modularidad, y viene con JavaScript como lenguaje de scripting. Con el uso del sistema de módulos y el lenguaje de scripting, los usuarios pueden tomar un control total o parcial del proceso de rastreo y decidir, sin embargo, el metabot debe almacenar datos web, estadísticas y mucho más. Simplemente ejecutando metabot de la línea de comandos, puede configurar los tipos de archivos personalizados, filtrando expresiones, comportamiento y mucho más, ¡por lo que no tiene que ser un scripter! El metabot es portátil y probado con éxito en Mac OS X, 32-BIT / Linux de 64 bits 2.6, FreeBSD de 32 bits / 64 bits 6.x / 7.0, y Windows XP. Debe trabajar en casi cualquier sistema operativo similar a UNIX. Aquí hay algunas características clave de "Methabot": · Es rápido, diseñado desde el suelo y con la optimización de la velocidad. · Scriptable a través de E4X · Filtrado FILETYPE definido por el usuario (según el tipo MIME, la extensión de archivo o la expresión UMEX) · Multi-roscado · Altamente configurable de la línea de comandos · Sistema de módulos extensible, compatible con los analizadores y filtros de datos personalizados. · Filtrado simple pero poderoso de las URL a través de UMEX. · Descarga automatizada · Soporte para el manejo automático de cookies al ejecutar HTTP · Redes confiables, tolerantes a fallas. ¿Qué hay de nuevo en este lanzamiento: · Soporte para convertir entre codificaciones de caracteres a través de Libiconv · Nuevo parser utf8conv para convertir casi cualquier carácter que codifica a UTF8 · Nuevo parser entityConv, convierte a entidades HTML, como Ä a la · Carácter UTF-8 correspondiente · El sistema de configuración se ha trasladado a una biblioteca separada, libmethaconfig · Varias mejoras en el cargador de configuración, como la adición dinámica · Y cambiando clases y ámbitos. · Muchas optimizaciones de uso de memoria y arreglos de limpieza. · La documentación disponible en el Wiki se ha copiado en un archivo de TexInfo, · De ahora en adelante, toda la documentación se colocará en este archivo de TexInfo y estará disponible · Como manual tanto en línea como fuera de línea. · Soporte para atributos de FileType. Los analizadores ahora pueden configurar datos personalizados que · Esté asociado con un archivo analizado. El área de uso primaria de los atributos es cuando · Están conectados a un sistema de metanol y desea almacenar meta-datos sobre una URL. · Nueva función JavaScript set_attribute () para configurar atributos para el · URL actual · Soporte API para estado personalizado, error / advertencia y funciones de reportero de destino · Lmetha_global_setopt () ya no está disponible, reemplazado con lmetha_setopt () · Opciones · Spidermonkey-1.8.0 Soporte añadido · Nuevo EXEC Global Javascript Function () · Nueva función de escritura de controlador incorporado · Libmetha ya no depende de Libev, sino que usa tuberías y Epoll () para · Comunicación entre hilos y esperando eventos en sockets. · Añadidos contadores internos útiles para mantener las estadísticas. · OPCIÓN DE NUEVA FILETYPE 'IGNORE_HOST' · - La opción externa establecida en FALSE ya no puede ser evitada utilizando un http- · Redirigir · Soporte para Curie (¿por qué no?) En el analizador HTML incorporado agregado · BUGFIX, se produciría un error de sintaxis en algunos casos raros al analizar entero · Valores en los archivos de configuración. · BUGFIX en el analizador de archivos de configuración al leer valores de bandera · BUGFIX, cuando los analizadores de JavaScript FileType no devolvieron un valor, fue · Tratado como una cadena, "indefinido", y se usa como una URL relativa

Metabot Software relacionado