Cadena :: tokenizer STRING :: Tokenizer es un simple tokenizador de cadena.
Descargar ahora

Cadena :: tokenizer Clasificación y resumen

Cadena :: tokenizer Etiquetas

Módulo perl cuerda Extensión perl Tokenizador tokenizador de cadena

Cadena :: tokenizer Descripción

Cadena :: Tokenizer es un simple tokenizador de cadena. Cadena :: Tokenizer es una cadena simple tokenizer.Synopsis Use String :: Tokenizer; # Crear el tokenizador y el tokenize de entrada My $ Tokenizer = String :: Tokenizer-> Nuevo ("((5 + 5) * 10)", '+ * ()'); # Crear tokenizer My $ Tokenizer = String :: Tokenizer-> Nuevo (); # ... luego tokenize la cadena $ tokenizer-> Tokenize ("((5 + 5) - 10)", '()'); # imprimirá '(, (, 5, +, 5,), -, 10,)' PRINT UNIRSE "," => $ Tokenizer-> Gettokens (); # Crear tokenizador que retiene el espacio en blanco My $ St = String :: Tokenizer-> Nuevo ('Esto es una prueba con, (significatifigant) Whitespace', ', ()', STRING :: Tokenizer-> Retain_whitSespace; # Esto imprimirá: # 'Esto', '' ',' es ',' ',' A ',' ',' prueba ',' ',' con '', ',' (',' signifigant ',' ) ',' ',' Whitespace 'imprimir "' '. (Únete a "'', '" => $ Tokenizer-> Gettokens ()). "''; # Obtener un iterador de token My $ i = $ tokenizer-> iterador (); Mientras ($ i-> hasSigutToken ()) {My $ Siguiente = $ i-> SittToken (); # Peek por delante en el próximo token My $ look_ahead = $ i-> mirsaheadteken (); # ... # omitir los siguientes 2 tokens $ i-> Skiaptokens (2); # ... # luego backtrack 1 token My $ anterior = $ i-> Prevtoken (); # ... # Obtenga el token actual My $ actual = $ i-> CurrentToken (); # ...} Un simple tokenizador de cuerdas que toma una cuerda y la divide en espacios en blanco. También opcionalmente toma una serie de caracteres para usar como delimitadores, y los devuelve con el conjunto de token también. Esto permite dividir la cadena de muchas maneras diferentes. Este es un tokenizador muy básico, por lo que las necesidades más complejas deben dirigirse con un tokenizador personalizado por escrito o el posprocesamiento de la salida generada por este módulo. Básicamente, esto no llenará las necesidades de todos, pero abarca una brecha entre la simple división / /, $ cadena y las otras opciones que involucran módulos mucho más grandes y complejos. También tenga en cuenta que este no es un analizador léxico. Muchas personas confunden la tokenización con el análisis léxico. Un tokenizador Mearly divide su entrada en trozos específicos, un analizador léxico clasifica esos trozos. A veces, estos dos pasos se combinan, pero no aquí. Requisitos: · Requisitos de Perl: · Perl

Cadena :: tokenizer Software relacionado