Sitemapcrawler

Aplicación de la consola que realiza todas las URL en la lista en el archivo SITEMAP.XML
Descargar ahora

Sitemapcrawler Clasificación y resumen

Anuncio publicitario

  • Rating:
  • Licencia:
  • Freeware
  • Nombre del editor:
  • Summer Son
  • Sitio web del editor:
  • http://www.codeproject.com/Members/Summer-son
  • Sistemas operativos:
  • Windows All
  • Tamaño del archivo:
  • 47 KB

Sitemapcrawler Etiquetas


Sitemapcrawler Descripción

El programa SiteMapcrawler se desarrolló para ser una aplicación de consola que realiza todas las URL enumeradas en el archivo SITEMAP.XML. ¿Alguna vez se pensó en tratar de validar cada URL que se enumera en su archivo SITEMAP? Tengo un sitio con enlaces de página generados dinámicamente. Esos enlaces se generan en función de un título de página que puede ser cualquier combinación de letras, números y símbolos. Por supuesto, el sitio elimina todos los caracteres prohibidos del título de la página antes de generar su URL, adornos y acortarlo un poco ... Sin embargo, los errores aún se producen de vez en cuando. Por ejemplo, una página con un título: '' ... is_broken '' '' '' Debido a que los detalles de la conversión de URL tendrán la siguiente URL: /.is_broken+, hay miles de páginas, por lo que está claro que no puedo verificar Cada página separada que contiene la base de datos del Sitio. En una lista de URL generada dinámicamente, genere un archivo SITEMAP.XML. Que contiene todas las páginas del sitio. Por lo tanto, cada vez que se genera un archivo-file, necesito asegurarse de que no haya elementos repetidos (esto puede suceder si las diferentes páginas tienen los mismos títulos) y cada URL separada es accesible, es decir, no produce una mala solicitud, o 404 o algo así como Eso. Así que creé un programa C # que camina a través de cada URL que figura en el archivo SiteMap.xml y intenta acceder a ella. Registra todos los errores ocurridos en un archivo de salida, por lo que es fácil de rastrear las páginas problemáticas. Utilice la clase XmlDocument para cargar un Sitemap.xml; Las clases de WEBREQUEST y WEBRESPONSE para determinar si existe una URL.


Sitemapcrawler Software relacionado

Rsdl

Descarga automática de archivos de archivos de Rapidshare.com ...

224 6.8 MB

Descargar

Sobre nosotros