ДОКУМЕНТАЦИЯ

Выберите версию, форк и язык для СУБД Digital Q.DataBase, чтобы прочитать или скачать всю документацию.

Новости

01.09.2026

СУБД Digital Q.DataBase можно развернуть из готового Docker-образа

25.08.2026

СУБД Digital Q.DataBase: 8 ядер бесплатно — до 1 сентября!

Документация

Диасофт
Авторские права © 2016–2025 ООО "Диасофт Экосистема"

Скачать всю документацию:

pdf (13 mБ) EPUB (13 mБ) CHM (14 МБ)

2.9.5. Парсеры

Содержание

Парсеры текстового поиска отвечают за разбиение исходного текста документа на токены и определение типа каждого токена, при этом набор возможных типов определяется самим парсером. Обратите внимание, что парсер никак не изменяет исходный текст — он лишь определяет вероятные границы слов. В силу ограниченности данной задачи потребность в специализированных парсерах для конкретных приложений возникает значительно реже, чем в пользовательских словарях. В настоящее время Digital Q.DataBase предоставляется лишь один встроенный парсер, который зарекомендовал себя как эффективное решение для широкого спектра приложений.

Встроенный парсер имеет имя pg_catalog.default. Он распознает 23 типа токенов, перечисленных в Таблица 2.9.1.

Таблица 2.9.1. Типы токенов встроенного парсера

Псевдоним	Описание	Пример
`asciiword`	Слово, все символы ASCII	`elephant`
`word`	Слово, все буквы	`mañana`
`numword`	Слово, буквы и цифры	`beta1`
`asciihword`	Слово, написанное через дефис, все символы ASCII	`up-to-date`
`hword`	Слово, написанное через дефис, все буквы	`lógico-matemática`
`numhword`	Слово, написанное через дефис, буквы и цифры	`postgresql-beta1`
`hword_asciipart`	Составная часть слова через дефис, все символы ASCII	`postgresql` в контексте `postgresql-beta1`
`hword_part`	Составная часть слова через дефис, все буквы	`lógico` или `matemática` в контексте `lógico-matemática`
`hword_numpart`	Составная часть слова через дефис, буквы и цифры	`beta1` в контексте `postgresql-beta1`
`email`	Адрес электронной почты	`foo@example.com`
`protocol`	Заголовок протокола	`http://`
`URL-адрес`	URL	`example.com/stuff/index.html`
`host`	Хост	`example.com`
`url_path`	Путь URL-адреса	`/stuff/index.html`, в контексте URL-адреса
`file`	Имя файла или путь	`/usr/local/foo.txt`, если не входит в состав URL-адреса
`sfloat`	Экспоненциальная форма записи	`-1.234e56`
`float`	Десятичная форма записи	`-1.234`
`int`	Целое число со знаком	`-1234`
`uint`	Безнаковое целое число	`1234`
`version`	Номер версии	`8.3.0`
`tag`	XML-тег
`entity`	XML-сущность	`&`
`blank`	Пробельные символы	(любые пробельные символы или знаки препинания, не распознанные иным образом)

Примечание

Используемое парсером определение термина «буква» определяется настройками локали базы данных, а именно параметром lc_ctype. Слова, содержащие только базовые символы ASCII, классифицируются как отдельный тип токена, поскольку в некоторых случаях их целесообразно обрабатывать обособленно. В большинстве европейских языков данные типы токенов word и asciiword следует интерпретировать идентично.

email не поддерживает все допустимые символы адресов электронной почты, определенные в стандарте RFC 5322. В частности, единственными неалфавитно-цифровыми символами, поддерживаемыми в именах пользователей электронной почты, являются точка, дефис и символ подчеркивания.

Парсер может формировать перекрывающиеся токены на основе одного и того же фрагмента текста. Например, слово, написанное через дефис, будет возвращено как в виде единого слова, так и в виде каждого из его составляющих компонентов:

SELECT alias, description, token FROM ts_debug('foo-bar-beta1');
      alias      |               описание                |     токен
-----------------+------------------------------------------+---------------
 numhword        | Составное слово с дефисом, буквы и цифры | foo-bar-beta1
 hword_asciipart | Часть составного слова, все символы ASCII          | foo
 blank           | Пробельные символы                            | -
 hword_asciipart | Часть слова через дефис, все символы ASCII          | bar
 blank           | Пробельные символы                            | -
 hword_numpart   | Часть слова через дефис, буквы и цифры | beta1

Данное поведение является предпочтительным, поскольку оно позволяет выполнять поиск как по составному слову целиком, так и по его отдельным компонентам. Ниже приведен еще один наглядный пример:

SELECT alias, description, token FROM ts_debug('http://example.com/stuff/index.html');
  alias   |  description  |            токен
----------+---------------+------------------------------
 protocol | Протокол | http://
 url      | URL           | example.com/stuff/index.html
 host     | Хост          | example.com
 url_path | Путь URL      | /stuff/index.html

Наверх