org.grobid.core.analyzers

Interface Analyzer

All Known Implementing Classes:

GrobidAnalyzer, GrobidDefaultAnalyzer

public interface Analyzer

Abstract analyzer for tokenizing/filtering text.

Method Summary

Modifier and Type	Method and Description
java.lang.String	getName()
java.util.List<java.lang.String>	retokenize(java.util.List<java.lang.String> chunks)
java.util.List<java.lang.String>	tokenize(java.lang.String text)
java.util.List<java.lang.String>	tokenize(java.lang.String text, Language lang)
java.util.List<LayoutToken>	tokenizeWithLayoutToken(java.lang.String text)

Method Detail

tokenize

java.util.List<java.lang.String> tokenize(java.lang.String text)

tokenize

java.util.List<java.lang.String> tokenize(java.lang.String text,
                                          Language lang)

retokenize

java.util.List<java.lang.String> retokenize(java.util.List<java.lang.String> chunks)

tokenizeWithLayoutToken

java.util.List<LayoutToken> tokenizeWithLayoutToken(java.lang.String text)

getName

java.lang.String getName()