Www :: robot Un motor transversal de web configurable
Descargar ahora

Www :: robot Clasificación y resumen

Www :: robot Etiquetas

web perla Robots Robots web Motor Traversal Web agentes web

Www :: robot Descripción

Un motor de transversal web configurable. Www :: Robot es un motor de transversal web configurable (para robots web y agentes) .Synopsis Use www :: robot; $ robot = Nuevo www :: robot ('nombre' => 'Myrobot', 'versión' => '1.000', 'correo electrónico' => 'fred@foobar.com'); # ... Configure la operación del robot ... $ Robot-> Ejecutar ('http://www.foobar.com/'); Este módulo implementa un motor de travessal web configurable, para un robot u otro agente web. Dada una página web inicial (URL), el robot obtendrá el contenido de esa página y extraerá todos los enlaces en la página, agregándolos a una lista de las URL para visitar. Las preferencias del módulo de robot incluyen: * Sigue el protocolo de exclusión de robots . * Admite las extensiones propuestas por el elemento META al protocolo. * Implementa muchas de las directrices para los escritores de robots. * Configurable. * Se basa en los módulos estándar Perl 5 para WWW, HTTP, HTML, etc. Aplicación particular (la instancia de robot) tiene que configurar el motor utilizando ganchos, que son las funciones de Perl invocadas por el motor de robots en puntos específicos en el bucle de control. El robot El motor obedece al protocolo de exclusión de robot, así como una adición propuesta. Consulte "Consulte también" para referencias a documentos que describen el protocolo de exclusión de robot y los robots web. Requisitos: · Perl

Www :: robot Software relacionado