SEE. Руководство администратора: различия между версиями

Текущая версия от 13:57, 28 апреля 2025

Общее описание

Сервис Simple Entity Extractor (SEE) предназначен для выделения смысловых сущностей из текста. Входным значением для сервиса являются данные в текстовом формате. В ответ на входящий запрос сервис возвращает данные в формате JSON.

Термины и определения

Simple Entity Extractor (SEE) – сервис выделения сущностей.

Системные требования

Для нормальной работы сервиса на каждые 100 одновременных запросов классификации необходимо обеспечить 1 CPU >= 2.20GHz с поддержкой инструкций AVX2 или новее.

Оперативной памяти необходимо не менее 4Gb.

Установка/обновление сервиса

Дистрибутив распространяется в виде установочных пакетов для окружения и сервиса. Загрузите установочные пакеты на сервер и выполните команды для вашей системы в каталоге с пакетом.

Перед установкой непосредственно сервиса необходимо установить сервисный пакет окружения.

Установка/обновление SEE осуществляется скриптом chmod +x ./see-<версия>-<релиз>.sh && ./see-<версия>-<релиз>.sh -i с правами администратора. Список всех ключей инсталлятора можно посмотреть, запустив инсталлятор ./see-<версия>-<релиз>.sh без ключей.
Загрузить последнюю версию продукта curl -s "https://repo.connect2ai.net/api/see/new" --user '[user]:[pass]' 2>&1 | bash или в интерактивном режиме bash -c "$(curl -s https://repo.connect2ai.net/api/see --user '[user]:[pass]' 2>&1)".
Обновить SEE /opt/see/inupdate в интерактивном режиме. Или запустить с ключом:
- /opt/see/inupdate -b — обновить до последней beta версии;
- /opt/see/inupdate -r — обновить до последней release версии;
- /opt/see/inupdate -n — обновить до последней версии (неважно beta или release).
Проверить актуальную версию продукта curl -s "https://repo.connect2ai.net/api/see/version.
Посмотреть лог изменений curl -s "https://repo.connect2ai.net/api/see/changelog" --user '[user]:[pass]'.
Полное описание всех команд API репозитория можно найти по ссылке https://repo.connect2ai.net/api. [user]:[pass] — это тот же логин и пароль, что и от Nextcloud.
В папке с продуктом можно добавить 2 файла конфигурации (допускается один общий файл на все продукты в папке с окружением /opt/pve/):
- echo -n "[user]:[pass]" > /opt/see/.userapi (это файл авторизации в API, нужен для обновления)
- echo -n "http://example.com:3128 [user] [password]" > /opt/see/.proxy (это файл конфигурации proxy необходим для обновления, при отсутствующем прямом подключении к интернету)

При обновлении следующий список файлов и папок сохраняется: .userapi, .proxy, logs, nnets, config.json, cache, pretrained, pve, data. Сервис не требует остановки и возвращается в актуальное состояние после обновления.

Не забудьте запустить сервис и включить в автозапуск в системе:

sudo systemctl enable see.service && sudo systemctl start see.service

Удостоверьтесь, что сервис стартовал:

systemctl status see.service

Разрешите доступ к порту 6184 на нужном интерфейсе по протоколу tcp.

Лицензия

Сервис не функционирует без действующей лицензии. Информация о лицензии хранится в файле:

/opt/see/license.json

Файл лицензии должен соответствовать следующему формату:

{"service": "see", "expire": "2045-01-01", "licenses": , "key": ""}

Для получения лицензии необходимо:

1. Запустить сервис systemctl start see и извлечь UUID, указанный в файле /opt/see/logs/log.txt

2. Передать полученный UUID руководителю проекта для оформления лицензии.

Предустановленные модели

В состоянии поставки SEE содержит специализированные модели. Предустановленные модели расположены в каталоге /opt/see/pretrained/. Одна из моделей — «fio» для выделения фамилий, имен, отчеств из текста. Для этой модели возможно создать пользовательский словарь на случай, если модель не смогла определить правильно ФИО. Пользовательские словари нужно располагать в папке /opt/see/pretrained/fio/custom (surnames.txt - фамилии, firstname.txt - имена, lastnames.txt - отчества, в именительном падеже).

Конфигурирование параметров сервиса

Настройка параметров сервиса see производится в файле /opt/see/config.json

Описание параметров приведено в таблице


Параметр	По умолчанию	Назначение
logs.path	logs/	Дерриктория для хранения логов. Примеры абсолютного пути: "/var/log/see/"/
logs.backups	10	Количество файлов ротации/
logs.maxSize	5242880	Максимальный размер файла в байтах, триггер для ротации.
stricts	[ "не" ]	«Строгие частицы» — частицы речи, меняющие смысл фразы. После применения настройки, если сущность содержит такую частицу, то фраза без этой частицы не вызовет положительного срабатывания.
smc.url	"http://127.0.0.1:6181"	Адрес по которому доступен smc с моделью коррекции
smc.conn_timeout	2	Таймаут подключения к smc
smc.read_timeout	30	Таймаут ответа от smc

Сбор данных об ошибках

Логи сервиса по умолчанию находятся в файле /opt/see/logs/log.txt

Удаление

Для удаления выполните команду: /opt/see/uninstall. Команда деинсталлирует сервис и удалит рабочий каталог, включая все установленные модели.

@@ Строка 1: / Строка 1: @@
 ===== '''Общее описание''' =====
 Сервис Simple Entity Extractor (SEE) предназначен для выделения смысловых сущностей из текста. Входным значением для сервиса являются данные в текстовом формате. В ответ на входящий запрос сервис возвращает данные в формате JSON.
 ===== '''Термины и определения''' =====
 Simple Entity Extractor (SEE) – сервис выделения сущностей.
 ===== '''Системные требования''' =====
-Для нормальной работы сервиса на каждые 100 одновременных запросов классификации необходимо обеспечить 1 CPU 2.20GHz. Оперативной памяти необходимо не менее 4Gb.
+Для нормальной работы сервиса на каждые 100 одновременных запросов классификации необходимо обеспечить 1 CPU >= 2.20GHz с поддержкой инструкций AVX2 или новее.
+Оперативной памяти необходимо не менее 4Gb.
 ===== '''Установка/обновление сервиса''' =====
-[https://cloud.connect2ai.net/index.php/apps/files/?dir=/see&fileid=581 Дистрибутив] распространяется в виде установочных пакетов для окружения и сервиса. Загрузите установочные пакеты на сервер и выполните команды для Вашей системы в каталоге с пакетом.
+[https://cloud.connect2ai.net/index.php/apps/files/?dir=/see&fileid=581 Дистрибутив] распространяется в виде установочных пакетов для окружения и сервиса. Загрузите установочные пакеты на сервер и выполните команды для вашей системы в каталоге с пакетом.
 Перед установкой непосредственно сервиса необходимо [[PVE. Установка сервисного пакета окружения|установить сервисный пакет окружения]].
+* Установка/обновление SEE осуществляется скриптом <code>chmod +x ./see-<версия>-<релиз>.sh && ./see-<версия>-<релиз>.sh -i</code> с правами администратора. Список всех ключей инсталлятора можно посмотреть, запустив инсталлятор <code>./see-<версия>-<релиз>.sh</code> без ключей.
+* Загрузить последнюю версию продукта  <code>curl -s "<nowiki>https://repo.connect2ai.net/api/see/new</nowiki>" --user '[user]:[pass]' 2>&1 | bash</code> или в интерактивном режиме <code>bash -c "$(curl -s <nowiki>https://repo.connect2ai.net/api/see</nowiki> --user '[user]:[pass]' 2>&1)"</code>.
+* Обновить SEE <code>/opt/see/inupdate</code> в интерактивном режиме. Или запустить с ключом:
+** <code>/opt/see/inupdate -b</code>  — обновить до последней beta версии;
+** <code>/opt/see/inupdate -r</code>  — обновить до последней release версии;
+** <code>/opt/see/inupdate -n</code>  — обновить до последней версии (неважно beta или release).
+* Проверить актуальную версию продукта <code>curl -s "<nowiki>https://repo.connect2ai.net/api/see/version</nowiki></code>.
+* Посмотреть лог изменений  <code>curl -s "<nowiki>https://repo.connect2ai.net/api/see/changelog</nowiki>" --user '[user]:[pass]'</code>.
+* Полное описание всех команд API репозитория можно найти по ссылке '''https://repo.connect2ai.net/api'''. <code>[user]:[pass]</code>  — это тот же логин и пароль, что и от [https://cloud.connect2ai.net '''Nextcloud'''.]
+* В папке с продуктом можно добавить 2 файла конфигурации (допускается один общий файл на все продукты в папке с окружением /opt/pve/):
+** echo -n <code>"[user]:[pass]"</code>  > /opt/see/.userapi (это файл авторизации в API, нужен для обновления)
+** echo -n <code>"<nowiki>http://example.com:3128</nowiki> [user] [password]"</code>  > /opt/see/.proxy (это файл конфигурации proxy необходим для обновления, при отсутствующем прямом подключении к интернету)
-Установка/обновление непосредственно see осуществляется скриптом <code>chmod +x ./see-<версия>-<релиз>.sh && ./see-<версия>-<релиз>.sh -i</code> с правами администратора. Список всех ключей инсталятора можно посмотреть запустив инсталятор <code>./see-<версия>-<релиз>.sh</code> без ключей.
+При обновлении следующий список файлов и папок сохраняется: .userapi, .proxy, logs, nnets, config.json, cache, pretrained, pve, data. Сервис не требует остановки и возвращается в актуальное состояние после обновления.
 Не забудьте запустить сервис и включить в автозапуск в системе:
@@ Строка 29: / Строка 46: @@
-===== '''Сбор данных об ошибках''' =====
-Для увеличения информативности журналов можно выполнить от суперпользователя команду:
-<code>sed -i 's/log-level error/log-level debug/g' /etc/systemd/system/see.service && systemctl daemon-reload && systemctl restart see.service</code>
+===== '''Лицензия''' =====
+Сервис не функционирует без действующей лицензии. Информация о лицензии хранится в файле:
+<code>/opt/see/license.json</code>
+Файл лицензии должен соответствовать следующему формату:
+<code>{"service": "see", "expire": "2045-01-01", "licenses": , "key": ""}</code>
+Для получения лицензии необходимо:
+. Запустить сервис <code>systemctl start see</code> и извлечь UUID, указанный в файле <code>/opt/see/logs/log.txt</code>
+. Передать полученный UUID руководителю проекта для оформления лицензии.
+===== '''Предустановленные модели''' =====
+В состоянии поставки SEE содержит специализированные модели. Предустановленные модели расположены в каталоге /opt/see/pretrained/. Одна из моделей — «fio» для выделения фамилий, имен, отчеств из текста. Для этой модели возможно создать пользовательский словарь на случай, если модель не смогла определить правильно ФИО. Пользовательские словари нужно располагать в папке /opt/see/pretrained/fio/custom (surnames.txt - фамилии, firstname.txt - имена, lastnames.txt - отчества, в именительном падеже).
-При возникновении проблем в работе сервиса и недостаточной информативности журналов, можно запустить сервис вручную с привилегиями суперпользователя и выводом информации в stdout:
-<code>systemctl stop see.service && source /opt/pve/bin/activate && cd /opt/see/ && python3 api.py && deactivate</code>
+===== '''Конфигурирование параметров сервиса''' =====
+Настройка параметров сервиса see производится в файле /opt/see/config.json
-       или
+Описание параметров приведено в таблице
+{| class="wikitable"
+|+
+!Параметр
+!По умолчанию
+!Назначение
+|-
+|logs.path
+|logs/
+|Дерриктория для хранения логов. Примеры абсолютного пути: "/var/log/see/"/
+|-
+|logs.backups
+|10
+|Количество файлов ротации/
+|-
+|logs.maxSize
+|5242880
+|Максимальный размер файла в байтах, триггер для ротации.
+|-
+|stricts
+|[  "не"  ]
+|«Строгие частицы» — частицы речи, меняющие смысл фразы. После применения настройки, если сущность содержит такую частицу, то фраза без этой частицы не вызовет положительного срабатывания.
+|-
+|smc.url
+|"<nowiki>http://127.0.0.1:6181</nowiki>"
+|Адрес по которому доступен smc с моделью [https://wiki.connect2ai.net/index.php/SMC._%D0%A0%D1%83%D0%BA%D0%BE%D0%B2%D0%BE%D0%B4%D1%81%D1%82%D0%B2%D0%BE_%D0%B0%D0%B4%D0%BC%D0%B8%D0%BD%D0%B8%D1%81%D1%82%D1%80%D0%B0%D1%82%D0%BE%D1%80%D0%B0#%D0%A3%D1%81%D1%82%D0%B0%D0%BD%D0%BE%D0%B2%D0%BA%D0%B0_%D1%81%D0%B5%D1%80%D0%B2%D0%B8%D1%81%D0%BD%D1%8B%D1%85_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B5%D0%B9_SMC коррекции]
+|-
+|smc.conn_timeout
+|2
+|Таймаут подключения к smc
+|-
+|smc.read_timeout
+|30
+|Таймаут ответа от smc
+|}
-<code>systemctl stop see.service</code>
-<code>source /opt/pve/bin/activate</code>
-<code>cd /opt/see/ && python3 api.py</code>
+===== '''Сбор данных об ошибках''' =====
+Логи сервиса по умолчанию находятся в файле /opt/see/logs/log.txt
-<code>deactivate</code>
@@ Строка 52: / Строка 118: @@
 Для удаления выполните команду: <code>/opt/see/uninstall</code>. Команда деинсталлирует сервис и удалит рабочий каталог, включая все установленные модели.