Kinosearch :: análisis :: tokenizador KINOSOKEY :: Análisis :: Tokenizer es un tokenización personalizable.
Descargar ahora

Kinosearch :: análisis :: tokenizador Clasificación y resumen

Kinosearch :: análisis :: tokenizador Etiquetas

Módulo perl personalizable Tokenización personalizable Búsqueda de kino tokenizar Tokenizador

Kinosearch :: análisis :: tokenizador Descripción

Kinosearch :: Análisis :: Tokenizer es un tokenización personalizable. Kinosearch :: análisis :: Tokenizer es un tokenizing personalizable. HSYNOPSIS MY $ WHITESPACE_TOKENIZER = KINOSOKEARCH :: Análisis :: Tokenizer-> Nuevo (Token_re => QR / S + /,); # o ... My $ word_char_tokenizer = kinosearch :: análisis :: tokenizer-> nuevo (token_re => qr / w + /,); # o ... My $ Apostrophising_tokenizer = Kinosearch :: Analysis :: Tokenizer-> Nuevo; # luego ... una vez que tenga un tokenizador, póngalo en un polianalizador mi $ polyanalyzer = kinosearch :: análisis :: polyanalyzer-> nuevo (analizadores => ,); genéricamente, " Tokenizing "es un proceso de romper una cadena en una matriz de" tokens ". # antes: mi $ cadena = "Tres ratones ciegos"; # Después: @tokens = qw (tres ratones ciegos); kinosearch :: análisis :: Tokenizer decide dónde debe romper el texto en función del valor de Token_re. # Antes: My $ String = "Come, brotes y hojas". # tokenizado por $ whitespace_tokenizer @tokens = qw (come, brotes y hojas); # tokenizado por $ word_char_tokenizer @tokens = qw (come brotes y hojas); requisitos: · Requisitos de Perl: · Perl

Kinosearch :: análisis :: tokenizador Software relacionado