Xapian y omega Xapian es una biblioteca de recuperación de información probabilística de código abierto, lanzada bajo la GPL.
Descargar ahora

Xapian y omega Clasificación y resumen

Xapian y omega Etiquetas

administración información Xapian gestión de la información indexación avanzada Instalaciones de búsqueda

Xapian y omega Descripción

Xapian es una biblioteca de recuperación de información probabilística de código abierto, lanzada bajo la GPL. Xapian es una biblioteca de recuperación de información probabilística de código abierto, lanzada bajo la GPL. Xapian ISS escrito en C, con los enlaces para permitir el uso de otros idiomas (Perl, Java, Python, PHP y TCL se admiten actualmente; se están trabajando GUILE y C #) .xapian está diseñado para ser un kit de herramientas altamente adaptable para permitir a los desarrolladores Para agregar fácilmente la indexación avanzada y las instalaciones de búsqueda a sus propias aplicaciones. Si está buscando un motor de búsqueda envasado para su sitio web, debe echar un vistazo a Omega, que es una aplicación que suministramos construida sobre Xapian. Pero a diferencia de la mayoría de las otras soluciones de búsqueda de sitios web, la versatilidad de Xapian le permite extender Omega para satisfacer sus necesidades a medida que crecen. Aquí hay algunas características clave de "Xapian y Omega": · Software libre / código abierto - con licencia bajo el GPL. · Altamente portátil: se ejecuta en muchos Linux, MacOS X, muchas otras plataformas UNIX, y Microsoft Windows. · Escrito en c. Los enlaces Perl están disponibles en la búsqueda del módulo :: Xapian en CPAN. Los enlaces JAVA JNI se incluyen en el módulo de enlaces Xapian. También apoyamos SWIG, lo que puede generar enlaces para 13 idiomas. En la actualidad, los de Python, PHP4 y TCL están funcionando. Guile y C # están trabajando. · Búsqueda probablerista clasificada: las palabras importantes obtienen más peso que las palabras no importantes, por lo que es más probable que los documentos más relevantes se encuentren cerca de la lista de resultados. · Retroalimentación de relevancia: dado uno o más documentos, Xapian puede sugerir los términos de índice más relevantes para ampliar una consulta, sugerir documentos relacionados, categorizar documentos, etc. · Búsqueda de frases y proximidades: los usuarios pueden buscar palabras que ocurren en una frase exacta o dentro de un número específico de palabras, ya sea en un orden específico, o en cualquier orden. · Gama completa de operadores de búsqueda booleanos estructurados ("Stock Not Market", etc.). Los resultados de la búsqueda booleana están clasificados por los pesos probablisticos. Los filtros booleanos también se pueden aplicar para restringir una búsqueda probabilística. · Soporta el stemming de los términos de búsqueda (por ejemplo, una búsqueda de "fútbol" coincidiría con documentos que mencionan "futbols" o "futbolistas"). Esto ayuda a encontrar documentos relevantes que de otro modo podrían perderse. Los estiércoles están incluidos actualmente para danés, holandés, inglés, finlandés, francés, alemán, italiano, noruego, portugués, ruso, español y sueco. · Admite archivos de base de datos> 2GB: esencial para escalar las colecciones de documentos grandes. · Formatos de datos independientes de la plataforma: puede crear una base de datos en una máquina y buscarla en otra. · Permite la actualización y búsqueda simultáneas. Los nuevos documentos se pueden convertir de inmediato. Además de la biblioteca, suministramos una serie de pequeños programas de ejemplo, y una aplicación más grande, una aplicación basada en la indexación y CGI llamada Omega: · El indexador suministrado puede índice HTML, PHP, PDF, PostScript y Plain Text. Agregar soporte para indexar Otros formatos es fácil donde están disponibles los filtros de conversión (por ejemplo, Microsoft Word). Este indexador funciona utilizando el sistema de presentación, pero también proporcionamos un script para permitir enganchar al rastreador web HTDIG, lo que permite que los sitios remotos sean buscados utilizando Omega. · También puede indexar datos de cualquier SQL u otros RDBMS compatibles con el módulo PERL DBI. Eso incluye MySQL, PostgreSQL, SQLite, Sybase, MS SQL, LDAP y ODBC. · Front-end de búsqueda de CGI suministrada con apariencia altamente personalizable. Esto también se puede personalizar a los resultados de la salida en XML o CSV, lo que es útil si está generando dinámicamente las páginas (por ejemplo, PHP o MOD_PERL) y simplemente desea resultados de búsqueda en bruto que puede procesar en su propio código de diseño de página. ¿Qué hay de nuevo en este lanzamiento: API: · Xapian :: El documento ya no almacena explícitamente los valores vacíos. Este no era un comportamiento intencional, y cómo se manejó este caso no se documentó. El comportamiento enmendado es consistente con la forma en que se maneja los metadatos del usuario. Este cambio no es observable usando el documento :: get_value (), pero se puede notar al iterar con el documento :: valores_begin (), usando documento :: valores_count () o tratando de eliminar el valor con el documento :: remove_value (). Banco de pruebas: · Fijar la báscula de testcase4 que no falle en x86 cuando se compila con -O0. El problema fue en el código de Testcase, y fue causado por el exceso de precisión en los valores intermedios de FP. . · (Boleto # 308) . · Mejorar la cobertura de prueba en varios casos de esquina. · Fijar la consistencia de Testcase2 para ejecutar realmente (afortunadamente pasa). · En los tescasas generadas, llame a GET_Description () en el objeto construido predeterminado de cada clase para asegurarse de que funciona (y no intente la deferencia nulo, o falle alguna afirmación, etc.). Todas las clases actualmente marcadas están bien, esto es para evitar futuras regresiones o tales problemas con las nuevas clases. · En la cobertura de prueba, utilice "- COVERGEGE" en lugar de "-fprofile-arcs -tst-cobertura". · El arnés de prueba ahora tiene el backiegr de Inmemory marcado como Metadatos que respaldan los metadatos especificados por el usuario (aparte de la iteración sobre las teclas de metadatos). matcher: · Si una consulta contiene una subconstricia de Matchall, verifiquelo antes de verificar los otros términos para que el bucle que compruebe la cantidad de términos que coincida puede salir temprano si todos coinciden. · Cuando un OR o AnyN_Maybe se descompuso a un y, nos dirigimos cuidadosamente a los niños por la máxima eficiencia, pero la condición se invirtió, de hecho, de hecho, estábamos empeorando las cosas. Esto se notó porque resultó en la misma consulta que funciona más rápido cuando se solicitó más resultados. · Solo construye el TEMPNAME a TERMFREQ y el mapa de peso para la primera subdatabase en lugar de reconstruirla para cada una. Tampoco copie este mapa para devolverlo. Esto debería acelerar las búsquedas un poco, especialmente aquellas sobre múltiples bases de datos. · Si un submatcher falla, pero ErremHandler nos dice que continúe sin él, solo usamos un puntero nulo para pararse en lugar de asignar un objeto especial de titular de lugar ficticio. · Eliminar andpostlist, a favor de MultiDPostlist. ANDPOSTLIST solo se usó como un producto de descomposición (por AndMayBepostlist y Orpostlist), y no parece ser más rápido. Eliminarlo reduce la presión de la memoria caché de la CPU y es menos código para mantener. · Verificación de llamadas () en lugar de SKIP_TO () en la rama opcional de y_maybe. Backend de Flint: · Fije un error en el Termiterador :: Skip_to () sobre las teclas de metadatos. Backend remoto: · Fije la opción XAPIAN-TCPSRV -Interface para trabajar en MacOS X (Ticket # 373). · FIJA TYPO QUE UDÍA QUE VOLVERÉ EL DOCID En lugar del peso máximo, ¡un documento de una coincidencia remota podría devolver! Esto podría haber llevado a resultados incorrectos al buscar múltiples bases de datos con el backend remoto, pero probablemente generalmente no importaba como BM25, los pesos son generalmente pequeños (a menudo todos <1) mientras que los docids son inevitablemente> = 1. Inmemory Backend: · El backend de Inmemory no es compatible con las llaves de metadatos. Tratando de hacerlo solía dar una iteración vacía, pero ahora se ha solucionado para lanzar · UnimplementedError (y esta limitación ha sido documentada ahora). Sistema de compilación: · Retire una gran cantidad de inclusiones de encabezado no utilizados y algún código no utilizado que debe hacer que la construcción sea más rápida y ligeramente más pequeña. · Arreglo para compilar un backend-pedern-backend-pedern-fletal, a la vez. · No elimine ninguna fuentes construida en "Hacer limpio", incluso en modo de mantenedor de mantenimiento, ya que se rompe un árbol alejando el modo de mantenedor con: Hacer Distrloan; ./ configurar · Configurar: Habilite más advertencias de GCC: "-Woveraded-Virtual" para todas las versiones ", -Wstrict-Null-Sentinel" para 4.0+, "-Wlogical-OP -WMissing-Declaraciones" para 4.3+. Notablemente "- Declaraciones de mansiones" atrapadas que la consistencia no se estaba ejecutando. · Internamente, arregle los pocos lugares donde pasamos STD :: Cadena por valor para pasar por Const Referencia en su lugar (excepto donde necesitamos una copia modificable de todos modos), ya que la evaluación comparativa muestra que la referencia const es un poco más rápida y genera menos código con la STD contada de referencia de GCC :: Implementación de cadenas: con una implementación contada sin referencia, la referencia Const debería ser mucho más rápida. (boleto # 140) documentación: · Instale: ya no evaluamos regularmente la construcción con GCC 2.95.4 y estamos recaudando la versión mínima de GCC requerida para 3.1 para Xapian 1.1.x. · Documentar lo que pasa MaxItems = 0 para preguntar :: get_mset () hace. · DOCS / QUERYPARSER.HTML: Agregue ejemplos de uso de un prefijo en una frase o subexpresión. . · Documento de esa base de datos :: metadata_keys_begin () devuelve un iterador final si el backend no admite metadatos. · Hacking: actualice la lista de paquetes Debian / Ubuntu necesarios para un entorno de desarrollo. Código de depuración: · Fijar la construcción con -enable-depuración. · Se agregaron algunas afirmaciones más.

Xapian y omega Software relacionado