Rdig Crawler basado en Ferret y extractor de contenido para construir un índice de texto completo de los contenidos de un sitio web
Descargar ahora

Rdig Clasificación y resumen

Rdig Etiquetas

índice extraer gatear rastreador http extractor de contenido indexador web

Rdig Descripción

Crawler basado en hurones y extractor de contenido para construir un índice de texto completo de los contenidos de un sitio web RDIG proporciona una extracción de contenido y una base de datos HTTP para ayudar a construir una búsqueda de sitios para sitios web o intranets. Internamente, Ferret se utiliza para la indexación de texto completo. Después de crear un archivo de configuración para su sitio, el índice se puede construir con una sola llamada a rdig.note: RDIG se desarrolla y tiene licencia según los términos de la Licencia del Consorcio MIT / X. Requisitos: · Ferret 0.1 o posterior · HPRICOT 0.4 o posterior ¿Qué hay de nuevo en este lanzamiento: · Añadir max_depth Opción a la configuración de Crawler para limitar el rastreo a una profundidad específica · Añadir soporte para los proxies HTTP, incluida la autenticación básica. · Eliminar RUBYFUL_SOUP SOPORTE

Rdig Software relacionado