Tokenizador

Dividir texto en tokens de acuerdo con un conjunto de expresiones regulares que especifique
Descargar ahora

Tokenizador Clasificación y resumen

Anuncio publicitario

  • Rating:
  • Licencia:
  • Donationware
  • Nombre del editor:
  • Charcoal Design
  • Sistemas operativos:
  • Mac OS X
  • Tamaño del archivo:
  • 12 KB

Tokenizador Etiquetas


Tokenizador Descripción

Dividir texto en tokens de acuerdo con un conjunto de expresiones regulares que especifique La clase de tokenizador real de la real permite a los desarrolladores dividir fácilmente el texto en tokens de acuerdo con un conjunto de expresiones regulares que especifique. El tokenizador se puede utilizar para una variedad de propósitos, para analizar archivos de datos, o incluso como parte de la primera etapa para un analizador de lenguaje de programación. Su funcionalidad es similar a la Biblioteca Lexx del mundo de UNIX. La aplicación de prueba de tokenizer demuestra utilizando la clase Tokenizer para analizar un programa básico simple en sus tokens constituyentes, que se muestran en una lista debajo del campo de entrada de texto. El programa de ejemplo contiene un error intencional: la palabra "NTEGER" debe ser "entero", que sirve para demostrar cómo el tokenizador maneja los tokens inesperados. La aplicación está configurada para volver a tokenizar el texto siempre que se cambie el programa. y observe cómo se regenera la lista de token. Requisitos: · REALBASICO ¿Qué hay de nuevo en este lanzamiento: · Problema fijo con el uso de \ para que coincida con el \ carácter inmediatamente antes de A (o [Soporte.


Tokenizador Software relacionado

ISQL SDK

SDK que le ayudará a crear aplicaciones de iPhone o iPad capaces de recuperar datos de un servidor SQL ...

4,183 91 KB

Descargar