SEE. Руководство администратора: различия между версиями

Версия от 11:13, 20 февраля 2025

Общее описание

Сервис Simple Entity Extractor (SEE) предназначен для выделения смысловых сущностей из текста. Входным значением для сервиса являются данные в текстовом формате. В ответ на входящий запрос сервис возвращает данные в формате JSON.

Термины и определения

Simple Entity Extractor (SEE) – сервис выделения сущностей.

Системные требования

Для нормальной работы сервиса на каждые 100 одновременных запросов классификации необходимо обеспечить 1 CPU >= 2.20GHz с поддержкой инструкций AVX2 или новее.

Оперативной памяти необходимо не менее 4Gb.

Установка/обновление сервиса

Дистрибутив распространяется в виде установочных пакетов для окружения и сервиса. Загрузите установочные пакеты на сервер и выполните команды для вашей системы в каталоге с пакетом.

Перед установкой непосредственно сервиса необходимо установить сервисный пакет окружения.

Установка/обновление SEE осуществляется скриптом chmod +x ./see-<версия>-<релиз>.sh && ./see-<версия>-<релиз>.sh -i с правами администратора. Список всех ключей инсталлятора можно посмотреть, запустив инсталлятор ./see-<версия>-<релиз>.sh без ключей.
Загрузить последнюю версию продукта curl -s "https://repo.connect2ai.net/api/see/new" --user '[user]:[pass]' 2>&1 | bash или в интерактивном режиме bash -c "$(curl -s https://repo.connect2ai.net/api/see --user '[user]:[pass]' 2>&1)".
Обновить SEE /opt/see/inupdate в интерактивном режиме. Или запустить с ключом:
- /opt/see/inupdate -b — обновить до последней beta версии;
- /opt/see/inupdate -r — обновить до последней release версии;
- /opt/see/inupdate -n — обновить до последней версии (не важно beta или release).
Проверить актуальную версию продукта curl -s "https://repo.connect2ai.net/api/see/version.
Посмотреть лог изменений curl -s "https://repo.connect2ai.net/api/see/changelog" --user '[user]:[pass]'.
Полное описание всех команд API репозитория можно найти по ссылке https://repo.connect2ai.net/api. [user]:[pass] — это тот же логин и пароль, что и от Nextcloud.
В папке с продуктом можно добавить 2 файла конфигурации (допускается один общий файл на все продукты в папке с окружением /opt/pve/):
- echo -n "[user]:[pass]" > /opt/see/.userapi (это файл авторизации в API, нужен для обновления)
- echo -n "http://example.com:3128 [user] [password]" > /opt/see/.proxy (это файл конфигурации proxy необходим для обновления, при отсутствующем прямом подключение к интернету)

При обновлении следующий список файлов и папок сохраняется: .userapi, .proxy, logs, nnets, config.json, cache, pretrained, pve, data. Сервис не требует остановки и возвращается в актуальное состояние после обновления.

Не забудьте запустить сервис и включить в автозапуск в системе:

sudo systemctl enable see.service && sudo systemctl start see.service

Удостоверьтесь, что сервис стартовал:

systemctl status see.service

Разрешите доступ к порту 6184 на нужном интерфейсе по протоколу tcp.

Предустановленные модели

В состоянии поставки SEE содержит специализированные модели. Предустановленные модели расположены в каталоге /opt/see/pretrained/. ↵ Одна из моделей — «fio» для выделения фамилий, имен, отчеств из текста. Для этой модели возможно создать пользовательский словарь на случай, если модель не смогла определить правильно ФИО. Файл словаря с именем userdict.txt должен быть расположен в /opt/see/pretrained/fio/. Файл должен содержать в каждой строке ФАМИЛИЯ ИМЯ ОТЧЕСТВО в именительном падеже в любом регистре (модель все равно приводит текст в нижний регистр). Допускаются только буквы, пробелы, переносы строк. Пример содержимого:

бутявкина бутявка бутявковна

Сириусов Нефит Ексакустодионович

Конфигурирование параметров сервиса

Настройка параметров сервиса see производится в файле /opt/see/config.json

Описание параметров приведено в таблице


Параметр	По умолчанию	Назначение
logs.path	logs/	Дерриктория для хранения логов. Примеры абсолютного пути: "/var/log/see/"/
logs.backups	10	Количество файлов ротации/
logs.maxSize	5242880	Максимальный размер файла в байтах, триггер для ротации.
stricts	[ "не" ]	«Строгие частицы» — частицы речи, меняющие смысл фразы. После применения настройки, если сущность содержит такую частицу, то фраза без этой частицы не вызовет положительного срабатывания.

Сбор данных об ошибках

Логи сервиса по умолчанию находятся в файле /opt/see/logs/log.txt

Удаление

Для удаления выполните команду: /opt/see/uninstall. Команда деинсталлирует сервис и удалит рабочий каталог, включая все установленные модели.

@@ Строка 8: / Строка 8: @@
 ===== '''Системные требования''' =====
-Для нормальной работы сервиса на каждые 100 одновременных запросов классификации необходимо обеспечить 1 CPU  >= 2.20GHz с поддержкой инструкций AVX2 или новее.
+Для нормальной работы сервиса на каждые 100 одновременных запросов классификации необходимо обеспечить 1 CPU >= 2.20GHz с поддержкой инструкций AVX2 или новее.
 Оперативной памяти необходимо не менее 4Gb.
 ===== '''Установка/обновление сервиса''' =====
-[https://cloud.connect2ai.net/index.php/apps/files/?dir=/see&fileid=581 Дистрибутив] распространяется в виде установочных пакетов для окружения и сервиса. Загрузите установочные пакеты на сервер и выполните команды для Вашей системы в каталоге с пакетом.
+[https://cloud.connect2ai.net/index.php/apps/files/?dir=/see&fileid=581 Дистрибутив] распространяется в виде установочных пакетов для окружения и сервиса. Загрузите установочные пакеты на сервер и выполните команды для вашей системы в каталоге с пакетом.
 Перед установкой непосредственно сервиса необходимо [[PVE. Установка сервисного пакета окружения|установить сервисный пакет окружения]].
@@ Строка 21: / Строка 22: @@
 * Загрузить последнюю версию продукта  <code>curl -s "<nowiki>https://repo.connect2ai.net/api/see/new</nowiki>" --user '[user]:[pass]' 2>&1 | bash</code> или в интерактивном режиме <code>bash -c "$(curl -s <nowiki>https://repo.connect2ai.net/api/see</nowiki> --user '[user]:[pass]' 2>&1)"</code>.
 * Обновить SEE <code>/opt/see/inupdate</code> в интерактивном режиме. Или запустить с ключом:
-** <code>/opt/see/inupdate -b</code> - обновить до последней beta версии;
+** <code>/opt/see/inupdate -b</code>  — обновить до последней beta версии;
-** <code>/opt/see/inupdate -r</code> - обновить до последней release версии;
+** <code>/opt/see/inupdate -r</code>  — обновить до последней release версии;
-** <code>/opt/see/inupdate -n</code> - обновить до последней версии (не важно beta или release).
+** <code>/opt/see/inupdate -n</code>  — обновить до последней версии (не важно beta или release).
 * Проверить актуальную версию продукта <code>curl -s "<nowiki>https://repo.connect2ai.net/api/see/version</nowiki></code>.
 * Посмотреть лог изменений  <code>curl -s "<nowiki>https://repo.connect2ai.net/api/see/changelog</nowiki>" --user '[user]:[pass]'</code>.
-* Полное описание всех команд API репозитория можно найти по ссылке '''https://repo.connect2ai.net/api'''. <code>[user]:[pass]</code> - это тот же логин и пароль, что и от [https://cloud.connect2ai.net '''Nextcloud'''.]
+* Полное описание всех команд API репозитория можно найти по ссылке '''https://repo.connect2ai.net/api'''. <code>[user]:[pass]</code>  — это тот же логин и пароль, что и от [https://cloud.connect2ai.net '''Nextcloud'''.]
 * В папке с продуктом можно добавить 2 файла конфигурации (допускается один общий файл на все продукты в папке с окружением /opt/pve/):
 ** echo -n <code>"[user]:[pass]"</code>  > /opt/see/.userapi (это файл авторизации в API, нужен для обновления)
 ** echo -n <code>"<nowiki>http://example.com:3128</nowiki> [user] [password]"</code>  > /opt/see/.proxy (это файл конфигурации proxy необходим для обновления, при отсутствующем прямом подключение к интернету)
-При обновление следующий список файлов и папок сохраняется: .userapi, .proxy, logs, nnets, config.json, cache, pretrained, pve, data. Сервис не требует остановки и возвращается в актуальное состояние после обновления.
+При обновлении следующий список файлов и папок сохраняется: .userapi, .proxy, logs, nnets, config.json, cache, pretrained, pve, data. Сервис не требует остановки и возвращается в актуальное состояние после обновления.
 Не забудьте запустить сервис и включить в автозапуск в системе:
@@ Строка 46: / Строка 47: @@
 ===== '''Предустановленные модели''' =====
-В состоянии поставки see содержит специализированные  модели. Предустановленные модели расположены в каталоге /opt/see/pretrained/.
+В состоянии поставки SEE содержит специализированные модели. Предустановленные модели расположены в каталоге /opt/see/pretrained/. ↵ Одна из моделей — «fio» для выделения фамилий, имен, отчеств из текста. Для этой модели возможно создать пользовательский словарь на случай, если модель не смогла определить правильно ФИО. Файл словаря с именем userdict.txt должен быть расположен в /opt/see/pretrained/fio/. Файл должен содержать в каждой строке ФАМИЛИЯ ИМЯ ОТЧЕСТВО в именительном падеже в любом регистре (модель все равно приводит текст в нижний регистр). Допускаются только буквы, пробелы, переносы строк. Пример содержимого:
-Одна из моделей - "fio" для выделения фамилий, имен, отчеств из текста. Для этой модели возможно создать пользовательский словарь на случай, если модель не смогла определить правильно ФИО. Файл словаря с именем userdict.txt должен быть расположен в /opt/see/pretrained/fio/. Файл должен содержать в каждой строке ФАМИЛИЯ ИМЯ ОТЧЕСТВО в именительном падеже в любом регистре (модель все равно приводит текст в нижний регистр). Допускаются только буквы, пробелы, переносы строк. Пример содержимого:
 <code>бутявкина бутявка бутявковна</code>
@@ Строка 67: / Строка 67: @@
 |logs.path
 |logs/
-|Дерриктория для хранения логов. Примеры абсолютного пути: "/var/log/see/"
+|Дерриктория для хранения логов. Примеры абсолютного пути: "/var/log/see/"/
 |-
 |logs.backups
 |10
-|Количество файлов ротации
+|Количество файлов ротации/
 |-
 |logs.maxSize
 |5242880
-|Максимальный размер файла в байтах, триггер для ротации
+|Максимальный размер файла в байтах, триггер для ротации.
 |-
 |stricts
 |[  "не"  ]
-|"Строгие частицы" - частицы речи меняющие смысл фразы. После применения настройки, если сущность содержит такую частицу, то фраза без этой частицы не вызовет положительного срабатывания.
+|«Строгие частицы» — частицы речи, меняющие смысл фразы. После применения настройки, если сущность содержит такую частицу, то фраза без этой частицы не вызовет положительного срабатывания.
 |}