Modifier and Type | Field and Description |
---|---|
static java.lang.String |
delimiters |
Modifier and Type | Method and Description |
---|---|
static GrobidDefaultAnalyzer |
getInstance() |
java.lang.String |
getName() |
java.util.List<java.lang.String> |
retokenize(java.util.List<java.lang.String> chunks) |
java.util.List<java.lang.String> |
tokenize(java.lang.String text) |
java.util.List<java.lang.String> |
tokenize(java.lang.String text,
Language lang) |
java.util.List<LayoutToken> |
tokenizeWithLayoutToken(java.lang.String text) |
java.util.List<LayoutToken> |
tokenizeWithLayoutToken(java.lang.String text,
Language language)
Tokenize text returning list of LayoutTokens.
|
public static GrobidDefaultAnalyzer getInstance()
public java.util.List<java.lang.String> tokenize(java.lang.String text)
public java.util.List<java.lang.String> tokenize(java.lang.String text, Language lang)
public java.util.List<java.lang.String> retokenize(java.util.List<java.lang.String> chunks)
retokenize
in interface Analyzer
public java.util.List<LayoutToken> tokenizeWithLayoutToken(java.lang.String text)
tokenizeWithLayoutToken
in interface Analyzer
public java.util.List<LayoutToken> tokenizeWithLayoutToken(java.lang.String text, Language language)