Правило сегментации 

Правило сегментации задает границу сегмента текста оригинала. Правила сегментации могут быть заданы простым или регулярным выражением, которое описывает, что считать (правило) или не считать (исключение) границей сегмента.

Алгоритм построения простого правила:

• Строка до разделителя – последовательность символов произвольной длины (возможно пустая), которые должны в тексте стоять до разделителя сегмента. Включается в текст сегмента.
• Ровно один символ-разделитель. Включается в текст сегмента.
• Строка после разделителя – последовательность символов произвольной длины (возможно пустая), которые должны в тексте стоять после разделителя сегмента. Не включается в текст сегмента.

Алгоритм построения правила c регулярным выражением:

• Регулярное выражение - выражение, которое обязательно должно содержать по крайней мере одну пару группирующих фигурных скобок {}. Границей сегмента считается первый символ из первой группы.
• Признак того, требуется или нет учитывать регистр при поиске регулярного выражения.

Пример:

Пусть имеется следующий текст: “Курс доллара составил 28.5 рублей.”. С одной стороны естественно считать точку границей сегмента и написать вот такое простое правило:

 Применение этого правила даст следующие 2 сегмента:

“Курс доллара составил 28.”

“5 рублей.”

Глядя на получившийся результат, становится ясно, что десятичную точку границей сегмента считать нельзя. Каким образом решить эту проблему? Простыми правилами здесь не обойтись, т.к. заранее неизвестно, какое именно число встретится в тексте. Необходимо исключение с регулярным выражением: 

По умолчанию, программа автоматически формирует стандартный набор правил сегментации, причем для различных языков эти наборы правил различны.