SMC. Руководство администратора: различия между версиями
Материал из Флора AI
(Новая страница: «===== '''Общее описание''' ===== Сервис предназначен для классификации текстовой информации на предопределенные классы. Входным значением для сервиса являются данные в текстовом формате. В ответ на входящий запрос сервис возвращает данные в формате JSON. =====...») |
(промежуточный этап описания установки модели) |
||
| Строка 27: | Строка 27: | ||
Разрешите доступ к порту 6181 на нужном интерфейсе по протоколу tcp. | Разрешите доступ к порту 6181 на нужном интерфейсе по протоколу tcp. | ||
===== '''Установка моделей''' ===== | |||
Установка языковых моделей возможна как прямым копирование файла модели. | |||
Модели располагаются в каталоге /opt/smc/pretrained/. Для установки модели необходимо создать каталог /opt/smc/pretrained/<название модели>/ и распаковать в неё архим модели, после чего перезагрузить сервис командой systemctl restart smc | |||
Чтобы убедиться, что модели доступны, выполните запрос | |||
<code>curl -H "accept: application/json" -X GET "<nowiki>http://АДРЕС_СЕРВЕРА:6181/smc/</nowiki>"</code> | |||
В ответе должно содержаться название новой модели или перечень названий моделей в формате json. | |||
Проверить корректность работы модели ''пунктуации'' можно запросто к API с отправкой файла на распознавание: | |||
<code>curl -H "accept: application/json" -X GET "<nowiki>http://10.2.0.202:6181/smc/punctuate?text=</nowiki><текст>"</code> | |||
Модель embeddings отвечает за режим токенизации embedding при попытке обучения модели. | |||
Версия от 20:37, 22 октября 2023
Общее описание
Сервис предназначен для классификации текстовой информации на предопределенные классы. Входным значением для сервиса являются данные в текстовом формате. В ответ на входящий запрос сервис возвращает данные в формате JSON.
Термины и определения
Simple Message Classifier (SMC) – сервис классификации.
Системные требования
Для нормальной работы сервиса на каждые 100 одновременных запросов классификации необходимо обеспечить 1 CPU 2.20GHz. Оперативной памяти необходимо не менее 4Gb.
Установка/обновление сервиса
Дистрибутив распространяется в виде установочных пакетов для окружения и сервиса. Загрузите установочные пакеты на сервер и выполните команды для Вашей системы в каталоге с пакетом.
Перед установкой непосредственно сервиса необходимо установить сервисный пакет окружения.
Установка/обновление непосредственно smc осуществляется скриптом ./smc-<версия>-install с правами администратора.
Не забудьте запустить сервис и включить в автозапуск в системе:
sudo systemctl enable smc.service && sudo systemctl start smc.service
Удостоверьтесь, что сервис стартовал:
systemctl status smc.service
Разрешите доступ к порту 6181 на нужном интерфейсе по протоколу tcp.
Установка моделей
Установка языковых моделей возможна как прямым копирование файла модели.
Модели располагаются в каталоге /opt/smc/pretrained/. Для установки модели необходимо создать каталог /opt/smc/pretrained/<название модели>/ и распаковать в неё архим модели, после чего перезагрузить сервис командой systemctl restart smc
Чтобы убедиться, что модели доступны, выполните запрос
curl -H "accept: application/json" -X GET "http://АДРЕС_СЕРВЕРА:6181/smc/"
В ответе должно содержаться название новой модели или перечень названий моделей в формате json.
Проверить корректность работы модели пунктуации можно запросто к API с отправкой файла на распознавание:
curl -H "accept: application/json" -X GET "http://10.2.0.202:6181/smc/punctuate?text=<текст>"
Модель embeddings отвечает за режим токенизации embedding при попытке обучения модели.
Сбор данных об ошибках
Для увеличения информативности журналов можно выполнить от суперпользователя команду:
sed -i 's/log-level error/log-level debug/g' /etc/systemd/system/smc.service && systemctl daemon-reload && systemctl restart smc.service
При возникновении проблем в работе сервиса и недостаточной информативности журналов, можно запустить сервис вручную с привилегиями суперпользователя и выводом информации в stdout:
systemctl stop smc.service && source /opt/pve/bin/activate && cd /opt/smc/ && python3 api.py && deactivate
или
systemctl stop smc.service
source /opt/pve/bin/activate
cd /opt/smc/ && python3 api.py
deactivate
Удаление
Для удаления выполните команду: /opt/smc/uninstall. Команда деинсталлирует сервис и удалит рабочий каталог, включая все установленные модели.