QAS. UPS руководство по работе с интерфейсом

Главное меню

Рис. 1 Главный экран UPS

В главном меню UPS (Universal Proxy Server) расположены кнопки для перехода в блоки (см. рис. 1):

1. SMC Классификатор,
2. SEE Сущности,
3. SPR Распознавание,
4. SBS Биометрия,
5. TTS Синтез,
6. QAS ЧаВО,
7. SES Сценарная машина,
8. Выход.

Переключаться между продуктами можно двумя способами:

1. Воспользоваться кнопкой на панели управления «На главную»  .
2. Воспользоваться кнопкой в виде линии , которая находится снизу в центе экрана (см. рис. 2).

Перейти в раздел «ЧаВО» (QAS) можно кликнув по соответствующей кнопке на главном экране UPS (см.рис. 1).

Описание интерфейса сервиса «ЧаВО» (QAS)

Рабочая область сервиса «ЧаВО» (QAS) (сервиса ответов на вопросы) включает в себя следующие блоки:

• панель управления;
• вкладка «Документы»;
• вкладка «Кэш»;
• вкладка «Интерактив»;
• вкладка «Каналы» содержит список всех созданных каналов, можно как редактировать уже существующие, так и добавлять новые;
• вкладка «Категории» содержит список всех созданных категорий, можно как редактировать уже существующие, так и добавлять новые. Есть фильтрация по названию;
• информационная вкладка «Серверы», которая отображает информацию о серверах и процессах, находится в правом нижнем углу рабочей области.

Рис. 2 Рабочая область сервиса «ЧаВО»

Вкладка «Документы»

Во вкладке «Документы» вы найдёте инструменты для работы с документами. Эта вкладка включает в себя следующие функциональные блоки (рис. 2):

• панель управления;
• блок со списком документов содержит поиск по названию и фильтрацию по категориям. При необходимости эту область можно скрыть, кликнув на стрелочку Спрятать боковую панель между списком документов и блоком для редактирования (появляется при наведении мыши на середину между блоками);
• добавление нового документа в базу;

Рис. 3 Пример отработки кнопки «Очистить текст»

• блок «Редактирование документа» с полями: «Название», «Дополнительно» и текстом выбранного файла, который можно редактировать. Можно переименовывать файл, после чего нужно сохранить изменения. Кнопка сохранения становится активной как только будут внесены изменения. Чтобы сделать текст более читабельным, его можно очистить от лишнего. Для этого нажмите кнопку «Очистить текст», которая находится под основным блоком слева от «Сохранить». После завершения очистки справа появится окно с изменениями. Вы сможете сравнить исходный и очищенный текст. Если нужно внести правки, их можно сделать прямо в блоке с очищенным документом. После проверки и внесения правок, если все устраивает, нажмите «Заменить в документе» под блоком с очищенным текстом. Изменения вступят в силу. Не забудьте сохранить документ. Рядом с этой кнопкой есть «Закрыть». Она закрывает окно с очищенным текстом без сохранения изменений.

Для очистки текста, который не загружен в базу данных QAS, используйте режим "Очистка текста" на вкладке "Интерактивный режим".

• блок поиска фрагментов по базе.

Рис. 4 Добавление нового файла

Добавление файла в список

В нижней части блока со списком файлов есть кнопка «Добавить файл». Если нажать на нее, то появится диалоговое окно, как на рисунке 4. Чтобы добавить файл, нужно заполнить все необходимые поля и выбрать нужный файл с компьютера, в кодировке Unicode UTF-8.

Поддерживаемые форматы:

• .odt
• .docx
• .doc
• .rtf
• .ods
• .xlsx
• .xls
• .pdf
• .txt.

Максимальный размер файла неограничен. Затем нажмите на кнопку «Добавить файл». Если вы хотите добавить новую категорию при загрузке документа, вам нужно ввести название новой категории в соответствующее поле и нажать кнопку «Добавить новую категорию…». После этого загружаемый документ будет отнесён к новой категории, и файл успешно добавится в базу.

Функционал меню «Дополнительно»

Рис. 5 Иллюстрация функций кнопки Дополнительно

На вкладке дополнительно вы можете посмотреть:

• категорию к которой относиться документ,
• глоссарий, в котором укажите название объекта из документа (рис. 5), а также его синоним в соответствующих полях внизу страницы. Это поможет модели лучше понимать, о чём её спрашивают. Например, научить ее тому, что «госпошлина = пошлина», «загранник = загранпаспорту», «загранпаспорт = заграничному паспорту», а «загранпаспорт нового образца = загранпаспорту на 10 лет» и нажмите кнопку добавить.

Поиск в базе работает на основе векторного анализа текста. Чтобы система точнее находила нужные документы, важно выделить ключевые термины и создать глоссарий.

Как это сделать:

1. Внимательно изучите документ.
2. Выпишите основные термины и их возможные синонимы.
3. Внесите их в глоссарий в формате: основной термин = синоним.

Пример:

Если в документе слово "апостиль" иногда называют "услугой", укажите в глоссарии:

апостиль = услуга.

Предусмотрено массовое удаление синонимов, для этого выделите нужное галочками. Кликнув на поле с фразами вы можете отредактировать формулировку. После внесения изменений нажмите кнопку «Сохранить». Она станет активной сразу же после того, как вы внесете какие-либо изменения в документ. Эта кнопка является дубликатом кнопки «Сохранить» в блоке редактирования документа.

• есть кнопка для экспорта глоссария, если это необходимо в формате .csv.
• а так же доступен импорт с тремя опциями: дополнить, заменить и отменить импорт.
• здесь же находится кнопка для удаления документа.

Поиск фрагментов в документах

Поиск фрагментов — это первый этап для ответа на вопрос. Система сначала ищет фрагмент(фрагменты) в документах, после отправляет их вместе с промптом на модель генерации.

Блок «Поиск фрагментов по базе» позволяет найти фрагменты, которые имеют векторную близость с вопросом, введенным в поле с названием «Вопрос». Под этим полем находится выпадающий список «Категория», если выбрать нужную из списка, модель будет искать совпадения в документах этой категории, иначе – во всех документах в базе. Результат поиска отображается снизу после нажатия на кнопку «Поиск». Теперь вы можете настроить количество документов, в которых будет осуществляться поиск фрагмента, соответствующего вашему вопросу. Это число определяется интуитивно: чем больше вы выберете документов, тем меньший контекст будет извлечён из каждого документа, что в свою очередь может привести к ошибочному ответу далее. Однако, если в категории более четырёх документов, не рекомендуется устанавливать значение более четырёх. Также можно указать "Максимальное снижение порога" в процентах (по умолчанию 10%). Он определяет допустимую разницу между максимальной и минимальной релевантностью фрагментов при фильтрации результатов.

Панель управления вкладки «Документы»

В верхней части экрана располагается панель управления, на которой находятся кнопки: генерация ответов, задать вопрос и меню пользователя.

Табл. 1 Описание функционала панели управления.

Иконка кнопки	Наименование кнопки	Описание
	Экспортировать документ	Позволяет экспортировать документ в одном из форматов .docx или .txt
	Генерация вопросов	эта кнопка предназначена для генерации вопросов. По нажатию на кнопку появляется диалоговое окно, в котором требуется выбрать: категорию вопросов для генерации; если не нужно генерировать вопросы для всех документов, выберите нужный, выберете модель генерации (по умолчанию используется default), другие модели будут отображаться в списке только после того, как администратор добавит их, выберите шаблон запроса к LLM (по умолчанию используется шаблон "из коробки" типа "Генератор вопросов по тексту"), запустите генерацию. Генерация вопросов запускается для каждой категории отдельно. Совет: генерацию лучше запускать в нерабочее время, так как она может занять много времени. Для удобства отслеживания на иконке отображается прогресс генерации. Есть возможность включить или отключить опцию генерации ответов сразу для документа. Для случаев, когда добавился новый документ в категорию и нет под него ВОП из «живых» фраз. Совет: если есть возможность использовать «живые» фразы людей, то всегда лучше брать их, а не генерировать синтетические вопросы.
	Массовая обработка документов	позволяет сделать массовую замену текста в документах. В диалоговом окне нужно выбрать категорию, искомый текст и текст замены.
	Задать вопрос1	генерирует ответ на вопрос на основе информации, содержащейся в одном или нескольких документах.
	Меню пользователя	отображает меню пользователя (имя, смена пароля, выход из системы, убрать/показать фон)

Рис. 6 Блок «Задать вопрос»

¹ По нажатию на кнопку «Задать вопрос» (рис. 6), появляется диалоговое окно с полями:

«Вопрос» — это область для ввода вопроса.

«Категория» — это выпадающий список с категориями в базе данных. Если вы выберете нужную категорию из списка, модель будет генерировать ответ (в свободной форме), основываясь на документах выбранной категории. В противном случае, ответ будет генерироваться на основе всех документов в базе данных.

«Канал» - список созданных каналов связей.

«Модель генерации» - список доступных моделей

«Шаблон запроса к LLM» - шаблон запроса (промпт) к модели генерации.

«Использовать кэш ответов» - в этом меню можно выбрать, использовать ли только проверенные ответы или любые.

«Кол-во документов в результате поиска» - это число определяется интуитивно: чем больше вы выберете документов, тем меньший контекст будет извлечён из каждого документа, что в свою очередь может привести к ошибочному ответу далее. Однако, если в категории более четырёх документов, не рекомендуется устанавливать значение более четырёх.

«Максимальное снижение порога, %» - определяет допустимую разницу между максимальной и минимальной релевантностью фрагментов при фильтрации результатов.

Также в блоке есть флажки «Использовать генерацию» и «Кэширование формулировки». Если вы ставите активный флажок «Кэширование формулировки», то вопрос, который вы задали, будет направлен в кэш вопросов вместе с найденным ответом и будет доступен для редактирования на вкладке «Вопросы».

Результат отработки метода отобразится после нажатия на кнопку «Получить ответ» внизу. Показатель «достоверность» отражает процент достоверности ответа, основываясь на всех найденных фрагментах. Вопросы, которые вы создаёте с помощью кнопки «Задать вопрос» (при активной галочке «Использовать генерацию»), отображаются в списке на вкладке «Вопросы» и становятся доступными для редактирования.

Вкладка «Кэш»

Во вкладке «Кэш» вы найдёте инструменты для работы с документами. Эта вкладка включает в себя следующие функциональные блоки (рис. 7):

Рис. 7 Рабочая область вкладки «Кэш»

• панель управления;
• блок со списком вопросов содержит поиск по вопросам и ответам, а так же фильтрацию по категориям. При необходимости эту область можно скрыть, кликнув на стрелочку Скрыть боковую панель между списком вопросов и блоком для редактирования (появляется при наведении курсора);
• добавление нового вопроса;
• блок для работы с вопросами и ответами на них;
• блок поиска ответов;
• список доступных для работы режимов, которые включают в себя:
  • «Подробный» (перечень его функциональных блоков описан в текущем списке);
  • «Утверждение кандидатов»;
  • «Проверка новых вопросов»;
• вкладка «Шаблоны запросов»;
• вкладка «Каналы» содержит список всех созданных каналов, можно как редактировать уже существующие, так и добавлять новые;
• вкладка «Категории» содержит список всех созданных каналов, можно как редактировать или удалять уже существующие, так и добавлять новые;
• вкладка «Логи обработки» — это меню для просмотра результата (ошибок) после и во время массовой обработки вопросов (подробнее см. разд. Панель управления вкладки «Вопросы»). При желании их можно экспортировать кликнув на кнопку Экспорт в правом нижнем углу меню.
• Информационная вкладка «Серверы», которая отображает информацию о серверах и процессах, находится в правом нижнем углу рабочей области.

Добавление новых и редактирование вопросов

Вопросы в QAS могут быть 3 видов:

Кандидаты — это новые запросы к системе, которые, по мнению самой системы, являются семантически близкими к основному вопросу и его формулировкам. Чтобы перевести кандидата в формулировки, нужно утвердить их (подробнее см. разд. Вкладка Кандидаты)

Формулировки (алиасы) — это различные варианты одного и того же вопроса. Этот список станет основой для системы при поступлении новых запросов. Она будет использовать его, чтобы определить, в кандидаты к какому основному вопросу стоит отнести новый.

Основной вопрос — это новый вопрос, который ранее не существовал в базе данных QAS, а также не имел семантически близких аналогов. Каждому основному вопросу присваивается категория. Он может включать дополнительные формулировки и кандидатов.

Чтобы добавить новый вопрос в базу, нужно кликнуть по меню «Добавить вопрос» и в появившемся окне заполнить все необходимые поля:

• категорию вопроса;

• текст вопроса.

Чтобы отредактировать уже существующий вопрос, нужно выбрать его из списка. После этого его текст и ответы появятся в блоке для редактирования, который находится в середине страницы. Если вопрос слишком длинный и не умещается в одну строку, просто нажмите на него, и он будет развёрнут.

Рис. 8 Интерфейс вкладки «Дополнительно»

Меню «Дополнительно» включает в себя следующие опции:

- изменение формулировки основного вопроса,

- изменение категории вопроса (перенос в другую категорию) осуществляется путём выбора из списка доступных категорий, расположенного в верхней части окна (рис. 8). Вопрос будет перенесен без потерь со всеми ответами, кандидатами и формулировками.

- под категорией вопроса есть флаг «Неполный вопрос». Его следует активировать в случае если вопрос требует уточнения. Это позволит системе сохранить контекст, получить дополнительную информацию от абонента, вернуться к QAS, найти похожий вопрос и предоставить ответ.

Например, если абонент задаёт роботу вопрос: детский сад. Из этого обращения мы не всегда можем понять, что именно нужно человеку: записаться в детский сад, поменять путёвку или уточнить список необходимых документов. Поэтому мы создаём короткие вопросы, помечаем их как «неполные» и добавляем уточняющие вопросы в ответ. Например: «Уточните, пожалуйста, что именно вы хотите узнать по поводу детского сада?» Получив такой вопрос, абонент должен будет уточнить свои потребности, а затем робот объединит оба запроса и выдаст ответ, если он есть в базе данных QAS.

- добавление, удаление или перенос. Чтобы удалить формулировку, необходимо навести курсор на нужную фразу. После этого справа появятся две кнопки (см. рис. 8). Одна из них в виде стрелочки предназначена для того, чтобы сделать эту формулировку основным вопросом. А кнопка в виде корзинки позволяет удалить выбранную фразу. Есть возможность удалять несколько формулировок, для этого нужно выбрать формулировки для удаления и нажать на кнопку Удалить, рядом с кнопкой Переместить. - есть возможность переместить формулировки и/или кандидатов в другой вопрос. Для этого поставьте галочку напротив нужной фразы и нажмите кнопку «Переместить». В появившемся диалоговом окне выберите нужный вопрос (вы можете предварительно отфильтровать вопросы по категориям). Выберите, из выпадающего списка куда следует переместить выбранные вопросы: в формулировки или в список кандидатов, — и нажмите кнопку «Переместить». После этого обязательно сохраните изменения в текущем вопросе.

Обращаем ваше внимание, что если вы указываете, что перемещение должно быть выполнено в кандидаты, то вам необходимо будет затем перейти и утвердить кандидата.

- так же вы можете ознакомиться со списком кандидатов, который включает формулировки, близкие по смыслу к основному вопросу. Если среди них есть подходящие варианты, отметьте их галочкой и нажмите кнопку «Утвердить». После этого выбранные формулировки появятся в общем списке «Формулировки». Добавление большого количества разных формулировок необходимо, чтобы модель могла понимать суть вопроса, независимо от того, как его сформулирует человек, и выдавать один и тот же ответ на разные варианты этого вопроса.

- удаление вопроса из базы на вкладке «Дополнительно» внизу будет кнопка Удалить вопрос полностью.

Внимание: Нажимая на кнопку Удалить вопрос полностью в меню Дополнительно, вы удаляете весь вопрос, включая формулировки, ответы на него из всех каналов и всех кандидатов.

- после того как вы внесете изменения, кнопка «Сохранить» станет активной в меню «Дополнительно» и на панели для редактирования ответов.

Кроме того, предусмотрена фильтрация по каналам связи и ответов для каждого из каналов. Напротив вопроса есть выпадающий список с доступными каналами, переключаясь между ними можете просмотреть и отредактировать ответы на текущий вопрос. Количество ответов в каналах, если они есть, отображается рядом с названием в круглых скобках. Если канал не выбран, то будет указано значение «не выбран».

Каждый вопрос сопровождается флажком «Проверено», который отмечает ответы, проверенные пользователем. При наведении курсора мыши на ответ, вместо канала к которому принадлежит вопрос, появляются кнопки:

• копировать в канал, с ее помощью можно продублировать ответ для любого доступного канала;
• переместить в канал, перемещает ответ с текущего канала на другой выбранный пользователем канал;
• удалить ответ.

Также вы можете добавить новый вопрос в список, воспользовавшись функцией поиска ответа на вкладке «Вопросы» с включенным флажком «Использовать генерацию» или задав новый вопрос по документам на вкладке «Документы», так же выбрав опцию «Использовать генерацию». Если похожего вопроса раньше не было, то он появится в списке на вкладке «Вопросы». Вы сможете редактировать и изменять его по своему усмотрению. В случае, если похожий вопрос уже встречался, система предложит его как кандидата к похожему вопросу. Это значит, что его нужно будет перенести в формулировки (утвердить) и сохранить изменения.

Поиск по вопросам и ответам. Фильтрация

Рис. 9 Иллюстрация поиска по вопросам

В разделе «Вопросы» есть три вида поиска:

1. поиск по вопросам и их формулировкам;
2. поиск по ответам.

А так же два вида фильтрации:

1. по категории;
2. по содержанию ответов: Все, Проверенные, Непроверенные, Пустые.
3. по полноте вопроса: Все, Полный, Неполный. К полным вопросам относятся вопросы с конкретикой. К неполным - короткие вопросы без конкретики.

Рис. 10 Иллюстрация поиска по ответам

С помощью поиска по вопросам и их формулировкам можно найти все вопросы или вопросы в определённой категории, которые содержат определённое слово или фразу в своей формулировке. Поиск работает как для основного вопроса, так и для дополнительных формулировок. Например, на рисунке 9 в категории «Водительские права» мы ищем все вопросы, в которых есть сочетание букв «замена». Если открыть меню, внизу экрана, «Дополнительно», то можно увидеть, что это сочетание используется в альтернативных формулировках вопроса, найденные сочетания подсвечиваются. Обращаем внимание, что если в основном вопросе нет искомого слова или сочетания букв, то система все равно выведет вопрос, если найдет совпадения в альтернативных формулировках.

Рис. 11 Результат работы двух видов поиска одновременно

Предусмотрен поиск по ответам, в поле «Ответ» можно ввести слово или фразу и система подсветит поля ответов, где искомое сочетание было найдено (рис. 10). По умолчанию канал связи стоит в положении «не выбран» и выводятся все ответы из всех каналов, где найдено слово или фраза. Можно принудительно выбрать канал из списка, тогда отобразятся ответы выбранного канала и будут подсвечены те ответы, где найден искомый текст. Область ответа с искомым текстом будет подсвечена бледно-голубым (рис. 10). Можно одновременно использовать два вида поиска. В результате будут отображены вопросы, в которых присутствует искомое значение – как в вопросах, так и в ответах (рис. 11).

Поиск ответа

Рис. 12 Интерфейс блока «Поиск ответов»

Блок «Поиск ответа» (рис. 12) работает так же, как кнопка «Задать вопрос» на вкладке «Документы».

Важно отметить, что поиск ответа происходит в два этапа:

1. поиск нужных фрагментов из документов в категории,
2. из найденных фрагментов формируется ответ, на базе самого похожего на запрос. Если в нем найден контекст вопроса.

Он включает в себя поле для ввода текста вашего вопроса, выпадающий список с категориями (если категория не указана, ответ будет сформулирован на основании всех документов в базе данных), список созданных каналов.

В выпадающем списке «Модель генерации» вы можете выбрать модель, которая будет создавать итоговый ответ. Чтобы в списке появились дополнительные модели, кроме стандартной, администратор должен их добавить. После этого они появятся в списке, и вы сможете использовать их вместо стандартной модели.

«Шаблон запроса к LLM»: здесь вы можете выбрать, какой промпт отправить на генеративную модель вместе с найденными фрагментами и вопросом. Если промпт не выбран, LLM будет использовать стандартный запрос. Подробнее о шаблонах запросов тут.

Для чего это нужно? Если стандартный промпт не работает так, как нужно для конкретной категории, или требуется что-то особенное, можно создать новый шаблон. Это делается без изменения стандартного промпта.

Если выбираете шаблон, отличный от стандартного, то напротив выпадающего списка появится значок «Подсказка» , при наведении курсора на него вы увидите текст промпта этого шаблона.

Меню «Использовать кэш». В этом меню можно выбрать, использовать ли только проверенные ответы или любые. Кэш-память позволяет сервису быстрее отвечать на запросы пользователей. А опция «Только проверенные ответы» гарантирует, что ответы, которые получает пользователь, были отредактированы и проверены оператором.

Также в блоке есть флажки «Использовать генерацию». Флажок «Кэширование формулировки» установите активным, если хотите чтобы вопрос попал в кэш (список вопросов). Если система найдет семантическую близость с каким-либо вопросом, который уже есть в списке, то добавит его в альтернативные формулировки. Если нет — добавит в список как новый вопрос. После заполнения всех полей и нажатия кнопки «Получить ответ», результат появится ниже. Показатель «достоверность» отражает процент достоверности ответа, основываясь на всех найденных фрагментах.

Аналогично вкладке «Документы», вы можете настроить количество документов, в которых будет осуществляться поиск ответа, соответствующего вашему вопросу. Это число определяется интуитивно: чем больше вы выберете, тем меньший контекст будет извлечён из каждого документа. Однако, если в категории более четырёх документов, не рекомендуется устанавливать значение более четырёх.

Функционал режима «Утверждение кандидатов»

Режим «Утверждение кандидатов» содержит перечень всех кандидатов. В рабочей области находится таблица, в которой представлен список кандидатов, перечень основных вопросов, где эти кандидаты находятся, а также категория, присвоенная этим вопросам. Есть возможность фильтрации по каждой из колонок (рис. 13).

Рис. 13 Интерфейс режима Утверждения кандидатов

При наведении на любую строку слева появляются две иконки:

1. Сделать основным — позволяет сделать кандидата основным вопросом. По нажатию на эту кнопку появляется диалоговое окно, где требуется подтвердить намерение сделать кандидата основным вопросом. После подтверждения нужно выбрать категорию, в которую хотели бы добавить вопрос и аналогично функционалу добавить новый вопрос (см. раздел Добавление новых и редактирование вопросов).
2. Утвердить — позволяет утвердить кандидата, в текущем вопросе, включая её в формулировку вопроса. Это означает, что кандидат подходит по смыслу к основному вопросу и его формулировкам.

Чтобы утвердить сразу несколько кандидатов, отметьте их галочками. После этого внизу появится строка с выпадающим списком всех основных вопросов из базы данных QAS.

Рис.14 Работа в режиме Утверждение кандидатов

По умолчанию система предлагает утвердить выбранного кандидата или кандидатов в текущем вопросе. Однако если вы хотите перенести его в другой вопрос, просто начните вводить его название в поле поиска. Затем нажмите кнопку «Утвердить», расположенную в правом нижнем углу (рис. 14).

Если вы хотите удалить кандидата или кандидатов, выделите их и нажмите на иконку «Корзинка», которая находится над кнопкой «Утвердить».

На панели управления вкладки Кандидатов находится только кнопка Меню пользователя, где отображается имя, есть возможность сменить пароль, выйти из системы, убрать/показать фон.

Функционал режима «Проверка новых вопросов»

Режим «Проверка новых вопросов» содержит перечень всех новых вопросов. В рабочей области находится таблица, в которой представлен список новых вопросов, ответы на них, категория, присвоенная этим вопросам, а также дата создания вопроса. Есть возможность фильтрации по каждой из колонок (рис. 15).

Рис.15. Интерфейс режима утверждения новых вопросов

При наведении на любую строку слева появляются иконка и чекбокс:

1. Утвердить — позволяет утвердить ответ на текущий вопрос. Это означает, что ответ и категория соответствует вопросу. После утверждения вопрос пропадет из таблицы и получит статус «Проверено».
2. Чекбокс — позволяет выбрать несколько позиций таблицы для утверждения. Означает, что у всех выбранных позиций ответ и категория соответствует вопросу. Для утверждения всех выбранных позиций необходимо нажать кнопку «Утвердить», в подвале таблицы, в правом нижнем углу.

В подвале таблицы расположены следующие функциональные элементы:

1. Развернуть — разворачивает таблицу и входит в полноэкранный режим. Расположена в левой нижней части подвала.
2. Свернуть — выходит из полноэкранного режима и возвращает таблицу в исходное состояние. Расположена в левой нижней части подвала.
3. — позволяет переключаться между состояниями режима «Подтверждения изменений». При включенном режиме при каждом массовом утверждении ответов на вопросы будет появляться диалоговое окно, которое будет запрашивать подтверждение текущих изменений перед отправкой на сервер. Расположена в левой нижней части подвала.
4. Кнопка «Утвердить» — позволяет утвердить все выбранные на данный момент ответы на вопросы. Кнопка не активна, пока не выбрана ни одна позиция в таблице. Находится в правой части подвала таблицы.
5. — позволяет удалить все выбранные на данный момент ответы на вопросы. При включенном режиме «Подтверждения изменений» при удалении запросит подтверждение в диалоговом окне, перед отправкой на сервер. Находится в правой части подвала таблицы.

Данный режим позволяет как точено, так и массово проверять ответы и категорию на соответствие вопросу. По каждому столбцу в таблице в левой части интерфейса есть фильтры.

Рис.16. Работа в режиме утверждения новых вопросов

В таблице реализована возможность самостоятельной правки вопросов/ответов/категорий. Для этого надо кликнуть на интересующую вас ячейку и внести правки. Сразу после изменений в верхней правой части ячейки появится иконка для отката изменений в ячейке изначальное состояние. Если в строке произошли какие-то изменения, то строка автоматически переходит в состояние выбранной (рис. 16).

В таблице реализована клавиатурная доступность, которая позволяет перемещаться между ячейками и утверждать выбранные позиции в таблице. Для этого используются следующие комбинации клавиш: Ctrl + ⬆/⬇/⬅/➡/Enter.

На панели управления режима «Проверка новых вопросов» находится только кнопка Меню пользователя, где отображается имя, есть возможность сменить пароль, выйти из системы, убрать/показать фон.

Панель управления вкладки «Кэш»

Панель управления располагается в самом верху рабочей области и может содержать до 5 кнопок в зависимости от выбранного режима:

1. выбрать вопросы,
2. экспорт вопросов в формате корпуса,
3. обновить данные вопроса,
4. генерация ответов,
5. массовая обработка вопросов,
6. меню пользователя.

Подробное описание каждой кнопки можно найти в таблице 2.

Табл. 2 Описание функционала панели управления вкладки «Вопросы»

Иконка кнопки	Наименование кнопки	Описание
	Выбрать вопросы	При нажатии на эту кнопку активируется режим, в котором можно выбрать несколько вопросов из списка для последующего перемещения или удаления. Сама кнопка подсвечивается красным цветом, показывая, что она активна. Нажав на неё второй раз, можно выключить режим и сбросить выбор. После того как вы отметили галочками вопросы, справа от кнопки появляется опции «Переместить вопросы» и «Удалить выбранные вопросы». Если вы собираетесь переместить вопросы, но в них уже есть проверенные ответы, в диалоговом окне появится предупреждение об этом. Если вы всё же решите переместить эти вопросы, ответы будут потеряны, а перемещаемые вопросы попадут в формулировки выбранного вопроса. Эта кнопка доступна только в режиме «Подробный».
	Экспорт вопросов	Эта кнопка позволяет экспортировать вопросы в формате CSV для классификатора или для отчета. Структура файла для классификатора выглядит следующим образом: Категория ⇥ Вопрос. Структура файла отчетности: Категория⇥ Вопрос⇥ Обозначение вопроса(основной/алиас/кандидат). Эта кнопка доступна только в режиме «Подробный».
	Автосохранение	позволяет включить автосохранение. При включенном (вокруг кнопки появляется красный контур) режиме будет сохраняться через 10 секунд после изменения данных. Эта кнопка доступна только в режиме «Подробный».
	Обновить данные вопроса	с помощью этой кнопки можно обновить данные текущего вопроса после генерации ответов, по нажатию на кнопку отобразятся все ответы, которые система сгенерировала на этот вопрос. Генерация ответов происходит для разных каналов связи. Вы можете просмотреть их, выбрав нужный канал в меню рядом с основным вопросом. Эта кнопка доступна только в режиме «Подробный».
	Генерация ответов	эта кнопка предназначена для генерации ответов. По нажатию на кнопку появляется диалоговое окно, в котором требуется: введите желаемое количество ответов. затем выберите категорию, для которой требуется генерация. Если вы хотите создать ответы только для одного конкретного документа, то укажите его в выпадающем списке. далее, в выпадающем меню, выберите режим генерации: по документам или перефразирование проверенных. затем укажите, для каких вопросов нужно сгенерировать ответы: для всех или только для пустых. далее выберите, следует ли заменить существующие ответы. Если «да», то ответы будут заменены на новые. Если «нет», то они будут дополнены новыми вариантами. укажите модель генерации (по умолчанию используется default). Другие модели будут отображаться в списке только после того, как администратор добавит их, и наконец, укажите количество документов [1,10], в которых будет осуществляться поиск ответа, соответствующего вашему вопросу. Это число определяется интуитивно: чем больше вы выберете, тем меньший контекст будет извлечён из каждого документа. Однако, если в категории более четырёх документов, не рекомендуется устанавливать значение более четырёх. и кликните на кнопку «Запуск». Генерация может занимать достаточно продолжительное время. Помимо канала по умолчанию, ответы генерируются и для других каналов, после окончания обновите данные вопроса и просмотрите все существующие каналы. Совет: лучше использовать сначала режим генерации ответов по документам, после чего проверить их правильность и запускать генерацию в режиме перефразирования ответов. Также перед тем, как сгенерировать ответы, обновите страницу. Убедитесь, что предыдущая генерация ответов закончена, иначе кнопка не сработает, и вам нужно будет либо остановить предыдущую генерацию, либо подождать, пока она завершится. Для удобства отслеживания на иконке отображается прогресс генерации. Иконка выглядит так , если генерация запущена. При наведении на нее она меняется на Остановить генерацию ответов и вы можете принудительно остановить генерацию. Все ответы, которые успели сгенерироваться, останутся. Эта кнопка доступна только в режиме «Подробный».
	Массовая обработка вопросов	нажав на кнопку, появится меню с двумя разделами: «Загрузка» и «Замена». Функционал раздела «Замена». Этот раздел позволяет заменить определенный текст в ответах на вопросы. Для этого необходимо заполнить следующие поля: категория искомый текст в ответах замена и нажать запуск. Функционал раздела «Загрузка».Этот раздел предназначен для обработки множества вопросов (в режиме Текст ) или пар вопрос-ответ (в JSON-режиме ). Режим Текст . Для массовой обработки вопросов в режиме Текст требуется выбрать: файл с вопросами в формате .csv, выбрать категорию, к которой относятся вопросы из файла, выбирать канал связи не нужно, параметр для использования кэша установить в режим Любые ответы, укажите модель генерации, если нужно сгенерировать еще и ответы (по умолчанию используется значение по умолчанию, и если не активирован флаг «Использовать генерацию», функция работать не будет.). Другие модели будут отображаться в списке только после того, как администратор добавит их. укажите количество документов [1, 10], в которых будет осуществляться поиск ответа, соответствующего вашему вопросу. Для случаев с генерацией ответов. Это число определяется интуитивно: чем больше вы выберете, тем меньший контекст будет извлечён из каждого документа. Однако, если в категории более четырёх документов, не рекомендуется устанавливать значение более четырёх. а также активировать только флаг Кэшировать формулировку вопроса остальные снять (подробнее см. разд. Поиск ответа). Можно активировать остальные флаги для случаев, когда нужно помимо обработки нужно еще и сгенерировать ответы. а так же активировать опцию «Установить порог похожести,%». Если вы активируете её, то сможете выбрать значение по умолчанию — 90% или задать своё собственное. Важно: в файле могут быть вопросы только по одной тематике. Обработка вопросов осуществляется по следующей схеме: каждый новый вопрос сравнивается с предыдущими (и формулировками). Если обнаруживается вопрос, который кажется схожим по смыслу, то новый вопрос включается в список его возможных кандидатов. Если же не находится вопроса, который имеет семантическую близость с новым, то новый становится основным. Совет: для массовой обработки вопросов без генерации ответов лучше снять флажок «Использовать генерацию» и установить параметр «Использовать кэш ответов» в состояние «Любые ответы». Режим JSON. Чтобы массово обрабатывать пары вопрос-ответ, переключитесь в режим JSON и заполните следующие поля: файл с вопросами в формате .json. Формат json-файла для загрузки в интерфейс:  [     [ "вопрос2", "ответ 2" ],     [ "вопрос1", "ответ 1" ] ] выбрать категорию, к которой относятся пары вопрос-ответ в файле, выбирать канал связи не нужно, параметр для использования кэша установить в режим Не использовать, оставьте параметр «Количество документов» в значении по умолчанию — 1. а также активировать только флаг Кэшировать формулировку вопроса остальные снять (подробнее см. разд. Поиск ответа). Этот функционал позволяет создать основную базу. После того как пары вопросов и ответов будут добавлены, можно будет добавлять формулировки в вопросы. Эта кнопка доступна только в режиме «Подробный».
	Меню пользователя	отображает меню пользователя (имя, смена пароля, выход из системы, убрать/показать фон)

Рис. 17. Интерфейс вкладки Шаблоны запросов

Функционал вкладки «Шаблоны запросов»

Данный раздел позволяет управлять шаблонами промптов: создавать, редактировать, удалять и настраивать их использование (Рис. 17).  

1. Интерфейс вкладки

- Фильтрация по типу

В верхней части окна слева расположен выпадающий список «Тип», позволяющий отфильтровать шаблоны по категориям:  

    - Чат

    - Запрос к документу

    - Очистка документа

    - Генератор синонимичных фраз

    - Перефразировка фрагмента текста

    - Суммаризация текста

    - Генератор вопросов по тексту

- Векторная замена информации

- Поиск несоответствий информации

Напротив каждого типа в скобках указано количество доступных шаблонов.

У каждого типа запроса из коробки есть один экземпляр шаблона. Он не редактируемый и является шаблоном по умолчанию, если не выбран другой.

- Список шаблонов

Справа от списка типов отображаются шаблоны выбранной категории. При выборе шаблона из списка его содержимое отображается в области просмотра.  

- Редактирование шаблона

  - Название шаблона – можно изменить в соответствующем поле.  

Рис. 18. Шаблон сведения ответа в единый

  - Текст шаблона – поддерживает параметры в квадратных скобках [###Сопроводительный текст, если нужен{Параметр}], которые являются необязательными. Квадратные скобки обозначают необязательный параметр, то есть его может не быть и система все равно отработает.

  - Шаблон сведения ответа в единый (опционально) – используется в суммаризации для объединения нескольких частей в один результат.

Например, разбили совещание на куски, сделали по кускам суммаризации, а потом нужно в один результат все свести (Рис. 18).

  - Параметры генерации:

• max_tokens - ограничение максимального количества токенов, возвращаемых моделью в ответ на заданный запрос (prompt);
• top_k - параметр, определяющий количество наиболее вероятных токенов, которые модель учитывает при генерации текста. Чем ниже значение, тем более предсказуемым и повторяющимся будет ответ модели;
• top_p - параметр отвечает за динамический выбор словаря модели и является альтернативой настройке «температуры» ответа. Используется для уменьшения вероятности генерации неожиданных или нежелательных ответов;
• temperature - параметр влияет на детерминированность или случайность генерируемых ответов. При более низких значениях алгоритм предпочитает наиболее вероятные токены, что обеспечивает точность и краткость, идеально подходящие для фактических ответов. При повышении температуры выбор становится более случайным, что способствует разнообразию и творческим идеям, например, при создании стихов;
• repeat_penalty - количество повторений слов в ответе.

- Использовать данный шаблон по умолчанию – если активировать эту опцию, шаблон будет применяться автоматически в зависимости от типа (например, в QAS для запросов к документам или в SPR для суммаризации).  

2. Добавление нового шаблона 

1. Нажмите кнопку «Добавить» внизу вкладки.  

2. Заполните поля:  

   - Название шаблона  

   - Тип шаблона (выберите из выпадающего списка)  

   - Текст шаблона (обязательное поле)

  - Параметры генерации

3. Нажмите «Добавить» для сохранения.  

3. Редактирование и удаление шаблонов  

- Чтобы изменить шаблон, откройте его, внесите правки и нажмите «Сохранить».  

- Для удаления выберите шаблон и нажмите «Удалить».  

Примечание: Не забывайте сохранять изменения после редактирования шаблонов.

Рис. 19. Рабочая область вкладки «Интерактив».

Вкладка «Интерактив»

Вкладка «Интерактив» включает в себя три режима:

1. режим протоколирования,
2. чат,
3. очистка текста.

Рис.20. Блок редактирования и просмотра шаблона

Чтобы переключиться между режимами, просто нажмите на соответствующие иконки на панели управления. Активный режим выделяется красным свечением вокруг иконки.

Режим протоколирования служит для создания протоколов — кратких резюме — на основе стенограмм. Она обладает двумя ключевыми функциями: позволяет создавать шаблоны для протоколов и создавать протоколы.

Рис. 21. Форма для загрузки файла для протоколирования.

Рис. 22. Интерфейс вкладки Интерактив в режиме Чат

Слева располагается список всех шаблонов, где вы можете найти подходящий или создать новый. Для добавления нового шаблона необходимо нажать на кнопку «Добавить шаблон» и заполнить все необходимые поля в появившемся окне: указать название шаблона, а также наименования разделов и описать их содержание. В центральной части экрана, вы можете редактировать шаблон. Здесь вы можете внести изменения и сохранить их, либо удалить, нажав соответствующие кнопки внизу блока (см. рис. 20).

В нижней части экрана вы найдете форму для отправки файла на протоколирование (см. рис. 21). Для загрузки файла воспользуйтесь кнопкой «Выберите файл». Справа от поля выбора файла располагается значок «Подсказка» , при наведении на которую всплывает подсказка с поддерживаемыми типами файлов.

Шаблон запроса к LLM стоит по умолчанию, в выпадающем списке для этого функционала доступны только шаблоны типа "Суммаризация текста". Если выбираете шаблон, отличный от стандартного, то напротив выпадающего списка появится значок «Подсказка» , при наведении курсора на него вы увидите текст промпта этого шаблона.

Затем выберите одну из опций использования Шаблона протокола: "Использовать" или с "Не использовать". Справа будет отображаться сгенерированный протокол, его можно будет выгрузить в формате docx или txt (см. раздел. Панель управления). В рабочей области так же есть информационная вкладка «Серверы», которая отображает информацию о серверах и процессах, находится в правом нижнем углу рабочей области.

В режиме «Чат» можно в свободной форме пообщаться с LLM-моделью. Есть возможность обращаться к нескольким моделям. Рабочая область показана на рисунке 22. Слева на рисунке есть блок с выбором LLM-модели, "Шаблон запроса к LLM" типа "Чат" и опция «Глубина истории сообщений», которая варьируется в диапазоне [3, 10].

Внимание: варианты моделей появляются в интерфейсе после того, как администраторы их добавят.

В центре экрана расположен сам чат. Внизу области расположено окно, в которое можно ввести свой запрос и отправить его по клику на кнопку «Отправить» . Очистить историю можно воспользовавшись одноименной кнопкой . Справа от чата блок с «Поиском ответов», подробнее о нем и его параметрах можно прочитать тут.

Рис. 23 Интерфейс вкладки Интерактив в режиме Очистка чата

Режим «Очистка текста» этот инструмент помогает убрать из текста лишнее и сделать его более читабельным. Чтобы воспользоваться функцией, вставьте текст в поле «Чистка текста» (в центре рабочей области) и нажмите кнопку «Очистить». После завершения процесса справа от исходного текста появится очищенный вариант (рис. 23). В него нельзя вносить изменения, но можно скопировать с помощью клавиш Ctrl+C или экспортировать в виде документа docx или txt на выбор.

Панель управления вкладки «Интерактив»

Иконка кнопки	Название кнопки	Описание
	Протоколирование	Режим протоколирования позволяет создавать протокол на основе стенограмм. Когда режим активен, вокруг появляется красный фон.
	Чат	Режим чата позволяет свободно общаться с LLM-моделью на любые темы. Когда вокруг кнопки появляется красный фон, режим активируется.
	Экспортировать как документ	Позволяет экспортировать документ протокола в одном из форматов docx или txt для режимов: протоколирование и очистка текста.
	Меню пользователя	При нажатии на неё открывается меню, в котором отображается имя пользователя, сменить пароль, выйти из системы и настроить фон.

Совместная работа

В QAS допускается работать нескольким пользователям, если они работают в разных категориях.

Методика работы с QAS

Чтобы начать пользоваться сервисом ответов на вопросы, вам нужно загрузить документацию, ответы на которую вы будете давать пользователям. Определить категорию этих документов. Напоминаем, что файл должен быть максимально ёмким, подробным и кратким подробнее см. раздел Добавление файла в список. Если в документе используются аббревиатуры или слова с неофициальными ("народными") вариантами написания/произношения, например, «материнский капитал» (маткапитал, маткап и так далее), их следует включить в глоссарий. Глоссарий можно найти в разделе «Дополнительно» на вкладке «Документы» под текстом документа.

Добавление вопросов

Если у вас нет готовых вопросов по документации есть два варианта:

1. добавлять вопросы и их формулировки вручную,
2. запустить генерацию вопросов по документации (см. раздел Панель управления вкладки Документы).

После того, как генерация вопросов завершится, необходимо пройти на вкладку Вопросы и проверить вопросы на соответствие документации и адекватность.

Если у вас есть csv файл с фразами-вопросами, то есть возможность загрузить их массово, воспользовавшись кнопкой Массовая обработка вопросов на панели управления вкладки Вопросы (подробнее см. Панель управления вкладки Кэш). После этого нужно скомпоновать по смыслу вопросы и почистить ненужные.

Добавление ответов

После того как вопросы будут загружены в базу вопросов QAS. Можно запустить генерацию ответов (см. раздел Панель управления вкладки Кэш). После ее завершения нужно проверить правильность и соответствие ответов вопросу, если ответ вас устраивает — поставьте галочку «Проверено». Либо отредактируйте ответ и так же отметьте его проверенным. Так же можно самостоятельно добавить ответы на вопроса из документации. А так же есть возможность запустить перефразирование уже проверенных ответов, что поможет немного расширить вариации ответов.

Работа с кэшем вопросов

После того как вы создадите базу вопросов и ответов, можно приступить к проверке работы кэша. В разделе «Вопросы» вы найдёте блок для поиска ответа. В поле «Текст» введите свой вопрос, который может быть похож на уже существующие и на которые может ответить ваша загруженная документация. Установите необходимые настройки поиска, подробности можно найти тут.

Далее возможны различные варианты развития событий:

• Если вопрос не похож ни на один из уже имеющихся в базе данных, и активирован флаг «Использовать генерацию», система сгенерирует ответ на основе документации (если в ней есть ответ на этот вопрос). А сам вопрос будет добавлен в список основных. Если функция генерации отключена, в ответ на вопрос будет указано «Информация не найдена». Сам вопрос будет отображаться в общем списке вопросов как основной, для работы с ним и с подобными нужно отфильтровать по Пустым ответам.
• Если система обнаружит сходство с каким-либо вопросом из базы данных, новый вопрос будет добавлен в список кандидатов к этому вопросу. Если кандидат попадет в верный вопрос его нужно будет утвердить (перенести в формулировки). Вы сможете найти его местоположение, перейдя на вкладку «Кандидаты» и отфильтровав одноимённую колонку с помощью формулировки вашего запроса. Подробности о работе с кандидатами тут.
• Если в базе данных уже есть похожий запрос, но система не может найти его и генерирует новый ответ на ваш запрос, то решить эту проблему можно, добавив ваш новый вопрос к основному запросу.

Запуск в прод

При массовом обращении к системе, например, на проде удобнее всего с новыми запросами работать через отчет по кандидатам. С его помощью можно увидеть, в какие категории и в какие вопросы поступают новые запросы, и сразу же внести изменения — поменять категорию или утвердить кандидатов. А также увидеть, каким запросам не присвоилась категория вообще.