Просмотр кода страницы SES. Руководство администратора

===== '''Общее описание''' =====
Сервис предназначен для сценарных машин. 



===== '''Термины и определения''' =====
Script Engine Service (SES) – сервис, обеспечивающий работу сценарных машин.



===== '''Требования к окружению''' =====
В процессе работы сервис взаимодействует со следующими сервисами:

* UPS – настройка осуществляется через файл /opt/ups/config.json
* SMC, SEE, SPR, TTS, SBS, QAS – настройка осуществляется через файл /opt/ses/config.json.



===== '''Установка ses''' ===== 

Дистрибутив распространяется в виде установочных пакетов для окружения и сервиса. Загрузите установочные пакеты на сервер и выполните команды для вашей системы в каталоге с пакетом.

Перед установкой непосредственно сервиса необходимо [[PVE. Установка сервисного пакета окружения|установить сервисный пакет окружения]].

* Установка/обновление ses осуществляется скриптом <code>chmod +x ./ses-<версия>-<релиз>.sh && ./ses-<версия>-<релиз>.sh -i</code> с правами администратора. Список всех ключей инсталлятора можно посмотреть, запустив инсталлятор <code>./ses-<версия>-<релиз>.sh</code> без ключей.
* Загрузить последнюю версию продукта <code>curl -s "<nowiki>https://repo.connect2ai.net/api/ses/new</nowiki>" --user '[user]:[pass]' 2>&1 | bash</code> или в интерактивном режиме <code>bash -c "$(curl -s <nowiki>https://repo.connect2ai.net/api/ses</nowiki> --user '[user]:[pass]' 2>&1)"</code>.
* Обновить ses <code>/opt/ses/inupdate</code> в интерактивном режиме. Или запустить с ключом:
** <code>/opt/ses/inupdate -b</code> – обновить до последней beta версии;
** <code>/opt/ses/inupdate -r</code> – обновить до последней release версии;
** <code>/opt/ses/inupdate -n</code> – обновить до последней версии (неважно beta или release).
* Проверить актуальную версию продукта <code>curl -s "<nowiki>https://repo.connect2ai.net/api/ses/version</nowiki></code>.
* Посмотреть лог изменений <code>curl -s "<nowiki>https://repo.connect2ai.net/api/ses/changelog</nowiki>" --user '[user]:[pass]'</code>.
* Полное описание всех команд API репозитория можно найти по ссылке '''<nowiki>https://repo.connect2ai.net/api</nowiki>'''. <code>[user]:[pass]</code> – это тот же логин и пароль, что и от '''Nextcloud'''.
* В папке с продуктом можно добавить 2 файла конфигурации (допускается один общий файл на все продукты в папке с окружением /opt/pve/):
** echo -n <code>"[user]:[pass]"</code> > /opt/ses/.userapi (это файл авторизации в API, нужен для обновления и загрузки моделей)
** echo -n <code>"<nowiki>http://example.com:3128</nowiki> [user] [password]"</code> > /opt/ses/.proxy (это файл конфигурации proxy, необходим для обновления и загрузки моделей, при отсутствующем прямом подключении к интернету)

При обновлении следующий список файлов и папок сохраняется: .userapi, .proxy, logs, nnets, config.json, cache, pretrained, pve, data. Сервис не требует остановки и возвращается в актуальное состояние после обновления.

Не забудьте запустить сервис и включить в автозапуск в системе:

<code>sudo systemctl enable ses.service && sudo systemctl start ses.service</code>

Удостоверьтесь, что сервис стартовал:

<code>systemctl status ses.service</code>

Разрешите доступ к портам 6157/tcp, 6170/tcp, 6191/tcp, а также порту, определенном в конфиге (по умолчанию 6190/tcp) на нужном интерфейсе.



===== '''Лицензия''' =====
Сервис не функционирует без действующей лицензии. Информация о лицензии хранится в файле:

<code>/opt/ses/license.json</code>

Файл лицензии должен соответствовать следующему формату:

<code>{"service": "ses", "expire": "2045-01-01", "licenses": , "key": ""}</code>

Для получения лицензии необходимо:

1. Запустить сервис <code>systemctl start ses</code> и извлечь UUID, указанный в файле <code>/opt/ses/logs/log.txt</code>

2. Передать полученный UUID руководителю проекта для оформления лицензии.



==='''Настройка сервиса'''===

===='''Файл config.json'''====
Настройка параметров сервиса ses производится в файле /opt/ses/config.json

Описание параметров приведено в таблице
{| class="wikitable"
|+
!style="width: 20%"|Параметр
!style="width: 20%"|По умолчанию
!style="width: 60%"|Назначение
|-
|port
|6190
|Порт API интерфейса используется в UPS — настройка servers.ses в конфиге UPS.
|-
|logs.path
|logs/
|Путь к папке логов.
|-
|logs.debug
|false
|Режим расширенного логирования.
|-
|logs.backups
|10
|Количество старых сохраняемых логов.
|-
|logs.maxSize
|5242880
|Максимальный размер текущего лог-файла в байтах.
|-
|storage.audio.web
|/opt/ses/storage/web
|Путь для временного хранения фрагментов аудио веб сессий
|-
|storage.audio.hot
|/opt/ses/storage/hot
|Путь к "горячему" хранилищу аудиоданных
|-
|storage.audio.cold
|null
|Путь к "холодному" хранилищу аудиоданных, куда переливаются данные из "горячего" хранилища.
|-
|servers.{service}.url
|"<nowiki>http://127.0.0.1:PORT/{service}</nowiki>"
|Адрес сервера. Возможные варианты значения service (с портами по умолчанию) следующие: smc(6181), see(6184), spr(6183), tts(6186), sbs(6185), qas(6187).
|-
|servers.{service}.timers.connect
|2
|Таймаут подключения к серверу.
|-
|servers.{service}.timers.read
|10
|Таймаут получения данных с сервера.
|-
|connectors.vk
|{}
|Параметры подключения к ботам VK
<small>{  "имя_подключения":{</small>

<small>    "token":"Ключ доступа",</small>

<small>    "robot":"id робота",</small>

<small>    "group_id":"id сообщества ВКонтакте",</small>

<small>    "whitelist":[],</small>

<small>    "activators":[]</small>

<small>    },</small>

<small>...............</small>

<small>}</small>
|-
|connectors.telegram
|{}
|Параметры подключения к telegram ботам
<small>{</small><small>  "имя_подключения":{</small>

<small>    "token":"Ключ доступа",</small> 

<small>"botName": "название бота (после символа @)",</small>

<small>    "robot":"id робота",</small>

<small>    "variables":{</small>

<small>      "phone": "1234567890"</small>

<small>    },</small>

<small>    "timers": {</small><small>      "getUpdates": 3</small><small>    },</small>

<small>    "whitelist":[],</small>

<small>    "activators":[]</small>

<small>    },</small>

<small>...........</small>

<small>}</small>
|-
|connectors.freeswitch
|{}
|Номера внутренних телефонов внутри freeswitch с привязкой к роботам
<small>"5000": {</small>

<small>        "robot": "ffeaa99a-13d2-4bff-b458-1231c884f8ee"</small>

<small> }</small>
|-
|vad.listening.maxLength
|10000
|Максимальная длина звукового фрагмента
|-
|vad.listening.minSpeech
|120
|Минимальный отрезок речи, который считать значимым
|-
|vad.listening.skipSilence
|60
|Не считать тишиной отрезки, короче данного значения
|-
|vad.listening.maxSilence
|1200
|Максимальная длительность тишины перед отправкой фрагмента
|-
|vad.listening.speechWaiting
|4000
|Длительность ожидания начала речи
|-
|vad.playing.maxLength
|2000
|Максимальная длина звукового фрагмента в режиме активного слушания
|-
|vad.playing.minSpeech
|60
|Минимальный отрезок речи, который считать значимым в режиме активного слушания
|-
|vad.playing.skipSilence
|60
|Не считать тишиной отрезки, короче данного значения в режиме активного слушания
|-
|vad.playing.maxSilence
|200
|Максимальная длительность тишины перед отправкой фрагмента в режиме активного слушания
|-
|cluster.logfile
|logs/sync.log
|Файл логов синхронизации есть только на главном сервере кластера
|-
|cluster.statusFile
|logs/sync.status
|Статус задачи синхронизации есть только на главном сервере кластера
|-
|cluster.nodes
|[ ]
|Перечень подчиненных нод для синхронизации изменений заполняется только на главном сервере кластера
|-
|tmp
|"/tmp/ses"
|Временная папка.
|}



==== '''Работа в составе кластера''' ====
Для высоконагруженных систем сервис можно расположить на нескольких нодах (виртуальных машинах). В этом случае, чтобы не потерять документы и изменения, полученные на одной из нод, выделяется один основной сервис и вспомогательные сервисы:
*База файловая, в папке robots.
*lsync настроен через конфиг SES для репликации базы на все указанные серверы в списке cluster.nodes: [], указываем все слейв-сервера.
*UPS при изменении данных работает только с мастером SES, а при запросе данных — со всеми серверами cluster, распределяя нагрузку.
*В конфигурации UPS: в servers.ses.trainer указываем маcтер-сервер, в servers.ses.cluster перечисляем все сервера кластера SES, в том числе и мастер.

===='''Эмуляция сервисов интеграции'''====

В каталоге '''/opt/ses/testapi''' могут располагаться эмуляторы сервисов интеграции.  Эмулятор будет доступен по адресу ''htttp://<адрес ses>/testapi/<название_сервиса>. Для создания эмулятора поместите в папку /opt/ses/testapi/ файл <название_сервиса>.reply. Содержимое файла будет отдано без изменений, как есть по адресу "http://&#x3C;адрес_ses&#x3E;:&#x3C;порт_ses&#x3E;/ses/testapi/&#x3C;название_сервиса>".''



==='''Настройка каналов и виджетов'''===



===='''Настройка виджета для сайта'''====

# Размещаете на сайте в теге <code>head</code> или <code>body</code> тег <code>script</code> c виджетом, указывая тип модульной системы, токен авторизации и адрес самого скрипта.
<blockquote><code><script src="https://'''SERVER'''/ses/widget/js" type="module" token="'''TOKEN'''"></script></code>

'''SERVER'''- адрес сервера, на котором расположен исходный код виджета по пути ''/ses/widget/js,''

'''TOKEN''' - сгенерированный токен, который нужно указать в настройках ниже.</blockquote>
# '''Делаете конфиг''' канала в файле /opt/ses/config.json в разделе connectors.web. В конфиге следующее:
<blockquote><small>"web": {</small> 

<small>"<nowiki>http://сайт.рф~xxxxxxxx"</nowiki>: {</small> #сайт_с_виджетом~ключ

<small>             "robot": "28013d0a-...",</small> # id робота

<small>             "color": "#4d3e33",</small> #акцентный цвет виджета"

<small>             "host": "адрес_ses:6191",</small> #адрес который прослушивает ws(wss) запросы

<small>             "microphone": false,</small> #возможность отправлять/принимать аудио

<small>             "transcription": false,</small> #возможность расшифровки аудио клиента

<small>             "variables": {</small>

<small>                 "var_1": "1234567890"</small>

<small>               } } }</small></blockquote>Если на сайте SSL, то дополнительно поднимаете реверс-прокси для UPS (<nowiki>http://адрес_ups</nowiki>) и для websocket (адрес_ses:6191). Особенности реализации на nginx:

'''Основной конфиг''' должен включать директиву <code>proxy_set_header Host $host;</code> а также заголовки CORS и обработку OPTIONS запросов. Дополнительно в нем? возможно? придется обработать путь "/lang" с переводом.

Конфиг для websocket должен обеспечивать обработку upgrade запросов (<nowiki>https://nginx.org/en/docs/http/websocket.html</nowiki>) для перенаправления websocket трафика, а также прослушивание отдельного порта, например 8091.

Тогда в ссылку на виджет (адрес_ups) и в конфиг канала (адрес_ses:6191) нужно будет вносить адреса, которые поддерживают SSL. Пример конфига nginx для wss: <blockquote><small>server {</small>

<small>   server_name ups_сервер.ru;</small>

<small>   listen 6191 ssl;</small>

<small>  include snippets/ssl-params.conf;</small>

<small>  ssl_certificate /etc/letsencrypt/live/ups_сервер.ru/fullchain.pem;</small>

<small>  ssl_certificate_key /etc/letsencrypt/live/ups_сервер.ru/privkey.pem;</small>

<small>  ssl_trusted_certificate /etc/letsencrypt/live/ups_сервер.ru/chain.pem;</small>

<small>  client_max_body_size 1000M;</small>

<small>  proxy_read_timeout 6000;</small>

<small>  proxy_connect_timeout       6000;</small>

<small>  proxy_send_timeout          6000;</small>

<small>  send_timeout                6000;</small>

<small>  large_client_header_buffers 8 256k;</small>

<small>   location / {</small>

<small>       proxy_pass <nowiki>http://локальныq_адрес_ses:6191</nowiki>;</small>

<small>       proxy_http_version 1.1;</small>

<small>       proxy_set_header Upgrade $http_upgrade;</small>

<small>       proxy_set_header Connection "upgrade";</small>

<small>       proxy_set_header Host $host;</small>

<small>       proxy_cache_bypass $http_upgrade; } }</small></blockquote>



==='''Протоколы и порты'''===

Сервис использует порты 6190/tcp для доступа к API-интерфейсу и порт 6191/tcp для WebSocket-сервера. Порт 6190 может быть изменен в конфигурационном файле.

==='''Журналы работы'''===

Для проверки состояния сервиса выполните <code>sudo systemctl status ses</code>. 

Журналы сервиса находятся в каталоге, определенном в конфигурационном файле (по умолчанию – <code>/opt/ses/logs/</code>). Ошибки также пишутся в системный журнал, для просмотра можно воспользоваться командой <code>sudo journalctl -u ses</code>



==='''Удаление и обновление ses'''===
Для удаления выполните команду:

<code>/opt/ses/uninstall</code> 

Команда удалит сервис и рабочий каталог, включая все файлы конфигурации. Для обновления запустите скрипт установки, как указано в п. 4. При этом обновление не изменяет файл /opt/ses/config.json.