SEE. Руководство администратора

Общее описание

Сервис Simple Entity Extractor (SEE) предназначен для выделения смысловых сущностей из текста. Входным значением для сервиса являются данные в текстовом формате. В ответ на входящий запрос сервис возвращает данные в формате JSON.

Термины и определения

Simple Entity Extractor (SEE) – сервис выделения сущностей.

Системные требования

Для нормальной работы сервиса на каждые 100 одновременных запросов классификации необходимо обеспечить 1 CPU >= 2.20GHz с поддержкой инструкций AVX2 или новее.

Оперативной памяти необходимо не менее 4Gb.

Установка/обновление сервиса

Дистрибутив распространяется в виде установочных пакетов для окружения и сервиса. Загрузите установочные пакеты на сервер и выполните команды для вашей системы в каталоге с пакетом.

Перед установкой непосредственно сервиса необходимо установить сервисный пакет окружения.

• Установка/обновление SEE осуществляется скриптом chmod +x ./see-<версия>-<релиз>.sh && ./see-<версия>-<релиз>.sh -i с правами администратора. Список всех ключей инсталлятора можно посмотреть, запустив инсталлятор ./see-<версия>-<релиз>.sh без ключей.
• Загрузить последнюю версию продукта curl -s "https://repo.connect2ai.net/api/see/new" --user '[user]:[pass]' 2>&1 | bash или в интерактивном режиме bash -c "$(curl -s https://repo.connect2ai.net/api/see --user '[user]:[pass]' 2>&1)".
• Обновить SEE /opt/see/inupdate в интерактивном режиме. Или запустить с ключом:
  • /opt/see/inupdate -b — обновить до последней beta версии;
  • /opt/see/inupdate -r — обновить до последней release версии;
  • /opt/see/inupdate -n — обновить до последней версии (неважно beta или release).
• Проверить актуальную версию продукта curl -s "https://repo.connect2ai.net/api/see/version.
• Посмотреть лог изменений curl -s "https://repo.connect2ai.net/api/see/changelog" --user '[user]:[pass]'.
• Полное описание всех команд API репозитория можно найти по ссылке https://repo.connect2ai.net/api. [user]:[pass] — это тот же логин и пароль, что и от Nextcloud.
• В папке с продуктом можно добавить 2 файла конфигурации (допускается один общий файл на все продукты в папке с окружением /opt/pve/):
  • echo -n "[user]:[pass]" > /opt/see/.userapi (это файл авторизации в API, нужен для обновления)
  • echo -n "http://example.com:3128 [user] [password]" > /opt/see/.proxy (это файл конфигурации proxy необходим для обновления, при отсутствующем прямом подключении к интернету)

При обновлении следующий список файлов и папок сохраняется: .userapi, .proxy, logs, nnets, config.json, cache, pretrained, pve, data. Сервис не требует остановки и возвращается в актуальное состояние после обновления.

Не забудьте запустить сервис и включить в автозапуск в системе:

sudo systemctl enable see.service && sudo systemctl start see.service

Удостоверьтесь, что сервис стартовал:

systemctl status see.service

Разрешите доступ к порту 6184 на нужном интерфейсе по протоколу tcp.

Предустановленные модели

В состоянии поставки SEE содержит специализированные модели. Предустановленные модели расположены в каталоге /opt/see/pretrained/. ↵ Одна из моделей — «fio» для выделения фамилий, имен, отчеств из текста. Для этой модели возможно создать пользовательский словарь на случай, если модель не смогла определить правильно ФИО. Файл словаря с именем userdict.txt должен быть расположен в /opt/see/pretrained/fio/. Файл должен содержать в каждой строке ФАМИЛИЯ ИМЯ ОТЧЕСТВО в именительном падеже в любом регистре (модель все равно приводит текст в нижний регистр). Допускаются только буквы, пробелы, переносы строк. Пример содержимого:

бутявкина бутявка бутявковна

Сириусов Нефит Ексакустодионович

Конфигурирование параметров сервиса

Настройка параметров сервиса see производится в файле /opt/see/config.json

Описание параметров приведено в таблице

Параметр	По умолчанию	Назначение
logs.path	logs/	Дерриктория для хранения логов. Примеры абсолютного пути: "/var/log/see/"/
logs.backups	10	Количество файлов ротации/
logs.maxSize	5242880	Максимальный размер файла в байтах, триггер для ротации.
stricts	[  "не"  ]	«Строгие частицы» — частицы речи, меняющие смысл фразы. После применения настройки, если сущность содержит такую частицу, то фраза без этой частицы не вызовет положительного срабатывания.
smc.url	"http://127.0.0.1:6181"	Адрес по которому доступен smc с моделью коррекции
smc.conn_timeout	2	Таймаут подключения к smc
smc.read_timeout	30	Таймаут ответа от smc

Сбор данных об ошибках

Логи сервиса по умолчанию находятся в файле /opt/see/logs/log.txt

Удаление

Для удаления выполните команду: /opt/see/uninstall. Команда деинсталлирует сервис и удалит рабочий каталог, включая все установленные модели.