QAS. Руководство администратора: различия между версиями
Материал из Флора AI
E.Elagina (обсуждение | вклад) |
|||
| Строка 69: | Строка 69: | ||
|Максимальный размер файла в байтах, триггер для ротации | |Максимальный размер файла в байтах, триггер для ротации | ||
|- | |- | ||
|fragments.window | |<s><small>fragments.window</small></s> | ||
|256 | |<small>256</small> | ||
|Ширина окна векторизации текста | |<s><small>Ширина окна векторизации текста</small></s> | ||
|- | |- | ||
|fragments.shift | |<s><small>fragments.shift</small></s> | ||
|8 | |<small>8</small> | ||
|Cдвиг окна векторизации текста | |<s><small>Cдвиг окна векторизации текста</small></s> | ||
|- | |- | ||
|fragments.neighbours | |<s><small>fragments.neighbours</small></s> | ||
|1 | |<small>1</small> | ||
|Количество предложений слева и справа от текущего векторизируемого предложения, которые попадут в векторизируемый фрагмент. | |<s><small>Количество предложений слева и справа от текущего векторизируемого предложения, которые попадут в векторизируемый фрагмент.</small></s> | ||
|- | |- | ||
|fragments.context | |fragments.context | ||
| Строка 92: | Строка 92: | ||
|2 | |2 | ||
|Максимальное количество фрагментов, которые должны быть найдены в документах в порядке убывания доверия | |Максимальное количество фрагментов, которые должны быть найдены в документах в порядке убывания доверия | ||
|- | |||
|questions.autocache | |||
|true | |||
|Разрешает автоматически кешировать вопросы и ответы на них | |||
|- | |||
|questions.master | |||
|"<nowiki>http://127.0.0.1:6187</nowiki>" | |||
|Адрес мастер-сервера для работы в кластере. Необходим чтобы добавленные вопросы распространились на серверы кластера | |||
|- | |||
|questions.threshold | |||
|0.7 | |||
|Минимальный уровень достоверности ответа для попадания в кеш | |||
|} | |} | ||
Версия от 14:43, 3 мая 2024
Общее описание
Сервис предназначен для поиска ответа на заданный вопрос. Входным значением для сервиса являются данные в текстовом формате. В ответ на входящий запрос сервис возвращает данные в формате JSON.
Термины и определения
Question Answering System (QAS) – сервис ответов на вопросы.
Системные требования
Для нормальной работы сервиса, без GPU, необходимо не менее 8 CPU (минимальные требования для использование метода ask) >= 2.20GHz с поддержкой инструкций AVX2 или новее:
- Intel Haswell
- Intel Broadwell
- Intel Skylake
- Intel Kaby Lake
- Intel Coffee Lake
- Intel Comet Lake
- Intel Rocket Lake
- Intel Alder Lake
- AMD Excavator
- AMD Zen (AMD Ryzen)
- AMD Zen 2 (AMD Ryzen)
- AMD Zen 3 (AMD Ryzen)
Работа на CPU при использование метода ask крайне не рекомендуется. Оперативной памяти необходимо не менее 16Gb, для работы без GPU.
Установка/обновление сервиса
Дистрибутив распространяется в виде установочных пакетов для окружения и сервиса. Загрузите установочные пакеты на сервер и выполните команды для Вашей системы в каталоге с пакетом.
Перед установкой непосредственно сервиса необходимо установить сервисный пакет окружения.
Установка/обновление QAS осуществляется скриптом chmod +x ./qas-<версия>-<релиз>.sh && ./qas-<версия>-<релиз>.sh -i с правами администратора. Список всех ключей инсталятора можно посмотреть, запустив инсталятор ./qas-<версия>-<релиз>.sh без ключей.
Загрузить последнюю версию пакета curl -s 'https://cloud.connect2ai.net/qas/' --user 'user_nexcloud:pass_nexcloud' | bash
Установить/обновить пакет одной командой curl -s 'https://cloud.connect2ai.net/qas/?name=s' --user 'user_nexcloud:pass_nexcloud' | bash && chmod +x ./qas.sh && ./qas.sh -i
Проверить актуальную версию пакета можно curl -s 'https://cloud.connect2ai.net/qas/?type=v'
Не забудьте запустить сервис и включить в автозапуск в системе:
sudo systemctl enable qas.service && sudo systemctl start qas.service
Удостоверьтесь, что сервис стартовал:
systemctl status qas.service
Разрешите доступ к порту 6187 на нужном интерфейсе по протоколу tcp.
Конфигурирование параметров сервиса
Настройка параметров сервиса qas производится в файле /opt/qas/config.json
Описание параметров приведено в таблице
| Параметр | По умолчанию | Назначение |
|---|---|---|
| logs.path | logs/ | Папка для хранения логов. Примеры абсолютного пути: "/var/log/qas/" |
| logs.backups | 10 | Количество файлов ротации |
| logs.maxSize | 5242880 | Максимальный размер файла в байтах, триггер для ротации |
| 256 | ||
| 8 | ||
| 1 | ||
| fragments.context | 2048 | Максимальная длина текста, которая будет подана в генератор для поиска ответа на вопрос |
| fragments.threshold | 0.6 | Уровень достоверности при векторном поиске фрагментов в загруженных документах |
| fragments.limit | 2 | Максимальное количество фрагментов, которые должны быть найдены в документах в порядке убывания доверия |
| questions.autocache | true | Разрешает автоматически кешировать вопросы и ответы на них |
| questions.master | "http://127.0.0.1:6187" | Адрес мастер-сервера для работы в кластере. Необходим чтобы добавленные вопросы распространились на серверы кластера |
| questions.threshold | 0.7 | Минимальный уровень достоверности ответа для попадания в кеш |
Сбор данных об ошибках
Логи сервиса по умолчанию находятся в файле /opt/qas/logs/log.txt
Удаление
Для удаления выполните команду: /opt/qas/uninstall. Команда деинсталлирует сервис и удалит рабочий каталог, включая все установленные модели.