SPR. UPS руководство по работе с интерфейсом

Главное меню

Рис. 1 Главный экран UPS

В главном меню UPS (Universal Proxy Server) расположены кнопки для перехода в блоки (см. рис. 1):

1. SMC Классификатор,
2. SEE Сущности,
3. SPR Распознавание,
4. SBS Биометрия,
5. TTS Синтез,
6. QAS ЧаВО,
7. SES Сценарная машина,
8. CLS Информатор,
9. Выход.

Переключаться между продуктами можно двумя способами:

1. Воспользоваться кнопкой на панели управления «На главную»   .
2. Воспользоваться кнопкой в виде линии , которая находится снизу в центе экрана (см. рис. 2).

Перейти в блок «Распознавание» можно кликнув по соответствующей кнопке на главном экране UPS (см.рис. 1).

Рис. 2 Интерфейс рабочей области блока «Распознавание»

Описание интерфейса блока SPR «Распознавание»

В левой части экрана находится список задач для распознавания (SPR). Он упорядочен по времени добавления, новые дорожки отображаются вверху. Кроме того, имеется панель управления, а также блок, позволяющий загружать звуковые файлы для распознавания. В центре рабочей области расположены блоки, позволяющие просматривать:

* результат распознавания;

* информация о спикерах;

* информацию о модели и времени, затраченном на распознавание выбранного аудио;

* возможность прослушивания или скачивания аудио.

Ниже слева находятся переключатели для вкладок «Очередь» и «Стенограммы». Так же есть информационная вкладка - Серверы, которая отображает информацию о серверах и процессах - находится в правом нижнем углу рабочей области (рис. 2). Вкладка «Суммаризация» помогает создавать протоколы совещаний с использованием готовых шаблонов.

Рис. 3 Интерфейс вкладки «Очередь»

Вкладка «Очередь» SPR

Рабочая область вкладки «Очередь» содержит список всех распознанных аудиодорожек и тех, что на очереди распознавания: сам аудиофайл и его текст, панель управления (см. раздел. Панель управления вкладки «Очередь» SPR). Выше каждой аудиодорожки отображается информация о модели, времени добавления файла и времени окончания обработки (рис. 3).

Важно отметить, что распознавание аудио дорожек происходит последовательно, а не параллельно.

Чтобы прослушать аудиодорожку, вы можете нажать на кнопку «Play» . Если вы хотите начать прослушивание с определенного слова, просто щелкните по нему левой кнопкой мыши и нажмите на кнопку воспроизведения (рис. 4.

Рис.4 Прослушивание отдельных слов и фрагментов стенограммы

Вы можете ускорить или слегка замедлить воспроизведение аудио. Для этого справа от аудиодорожки есть переключатель скорости . По умолчанию он установлен на 1x, что соответствует оригинальной скорости.

Аудиодорожку также можно сохранить, нажав на иконку «Скачать» , которая находится справа от аудио. В текст можно вносить изменения вручную, корректируя ошибки распознавания и пунктуации. Однако, если вносите новые слова, которых нет в тексте, у них не будет таймлайна и они будут подсвечены при проигрывании как одно слово.

Справа от блока с информацией о модели, времени загрузки и обработки аудио находится блок с данными о спикерах. Здесь можно увидеть общее количество спикеров, их имена, общее количество фрагментов, а также суммарное время каждого спикера на аудио. Кроме того, доступна аналитика по полу и возрасту.

Работа с биометрическими слепками в разделе «Очередь»

В разделе «Очередь распознавания» функционал работы со слепками позволяет как отправлять целые реплики, так и выделять из них отдельные фрагменты. Это особенно полезно, когда система распознавания речи некорректно разбила аудио на спикеров, и в одной реплике содержится речь двух разных людей.

Отправка целой реплики

Процесс отправки целой реплики в слепок полностью аналогичен работе в разделе «Стенограммы»:

1.  Наведите курсор на нужную реплику в очереди.

2.  В появившейся панели нажмите на значок «Отпечаток».

3.  В открывшейся форме введите имя спикера и нажмите «Добавить» или «Дополнить», если слепок с таким именем уже существует.

Отправка фрагмента реплики

Чтобы отправить в слепок не всю реплику, а только ее часть (например, для отделения голосов разных спикеров), сделайте следующее:

1.  Выделите фрагмент: Зажмите левую кнопку мыши и выделите слова в тексте фрагмента, которые должны попасть в слепок.

Особенности выделения:

• Система автоматически захватывает слова целиком, независимо от того в каком месте слова вы ткнули курсором.
• Выделять слова можно как слева направо, так и справа налево.
• Для отправки в слепок можно выделить даже одно слово.
• Выделенные слова будут подсвечены синим цветом.

2.  Отправьте выделенный фрагмент: После выделения справа от реплики появится синяя кнопка «Отпечаток», что говорит о том, что выделение активно. Нажмите на нее, чтобы открыть форму отправки в биометрический слепок. Будет отправлен только выделенный фрагмент аудио.

3.  Сброс выделения: Чтобы отменить выделение, щелкните левой кнопкой мыши в любом месте за пределами подсвеченного текста. Синяя подсветка исчезнет, и кнопка «Отпечаток» станет неактивной.

Важно!

• Пока в реплике есть выделенный фрагмент, отправить в слепок другие реплики будет невозможно.
• Система не позволяет выделять текст нескольких реплик. При попытке захватить две и более реплик выделение автоматически сбросится до предыдущего корректного состояния (в пределах одной реплики).

Панель управления вкладки «Очередь» SPR

Табл.1 Описание функционала панели управления

Иконка кнопки	Наименование кнопки	Описание
	Включить подсветку достоверности и анализа на токсичность	подсвечивает красным слова, где модель сомневается в правильности распознавания, где уровень достоверности от 0 до 0.4 подсвечивает красным, от 0.4 до 0.7 - розовым. С помощью ползунка можно задать уровень достоверности. При наведении на реплику будет выводиться анализ на наличие токсичных выражений, таких как ненормативная лексика и угрозы. Вы можете настроить процент достоверности, при котором слова будут подсвечиваться. Для этого используйте бегунок, который появляется при наведении на кнопку. Если вокруг кнопки есть красное свечение, значит, режим подсветки активен. В противном случае он отключен.
	Создать стенограмму	создает стенограмму из данных распознавания из очереди. При нажатии на эту кнопку создается стенограмма, доступная для редактирования во вкладке «Сохранено».
	Экспортировать как документ Microsoft Word	позволяет сохранить текст распознавания в виде документа в формате doc(x) или txt.
	Удалить задачу	Позволяет удалить задачу распознавания. В диалоговом окне подтверждения действия, после чего появляется сообщение о статусе удаления в правом нижнем углу. Нельзя создать стенограмму, кнопка не активна, если спикер всего один.
	Меню пользователя	отображает меню пользователя (имя, смена пароля, переход на главную страницу, выход из системы и убрать фон). В меню пользователя добавлена функция выбора набора данных* (очередь, стенография). Это позволяет работать с различными изолированными группами данных в рамках одной учетной записи. При изменении активного набора данных система автоматически обновляет список пользовательских данных в сервисе. Это обеспечивает удобное переключение между разными проектами или рабочими пространствами без необходимости перезагрузки интерфейса. *права на создание наборов данных есть у администраторов или у ролей, где эти права прописаны.
Функциональный блок загрузки аудио на распознавание
	Начать запись	С помощью этой кнопки вы можете записать фрагмент аудио и отправить его на распознавание. Для работы данной кнопки требуется доступ к UPS по https. Настроить его можно проксированием через любой веб-сервер (nginx или apache).
	Остановить запись	С помощью этой функции можно остановить запись с микрофона.
	Аудио-файл	функционал данной кнопки позволяет выбрать любой файл с вашего компьютера подходящий по формату (входные форматы - все которые в состоянии обработать ffmpeg).
	Настройки	Функционал этой кнопки позволяет выбрать модель (big/common) и настроить опции для распознавания. Описание опций: Анализ на токсичность — при активации этого флага система будет оценивать текст на предмет наличия в нём токсичных выражений, таких как ненормативная лексика и угрозы. Эта статистика будет доступна во всплывающем окне при наведении курсора на реплику. Голосовой анализ — при активации этой функции будет проведен анализ голоса, чтобы определить пол (мужской или женский) и примерный возраст (ребенок, взрослый или пожилой человек). Также будет отображаться эмоциональная окраска каждого фрагмента. Эти данные будут отображаться во всплывающем окне над репликой, когда вы наведете на неё курсор. Определение говорящих — эта функция осуществляет поиск говорящих в базе данных SBS. Текстовый анализ — это метод, который позволяет определить только эмоциональное содержание каждого фрагмента текста. Установить количество говорящих — активировав этот флаг, вы увидите окно с опцией «Количество говорящих». Если вам известно точное число участников аудио- или видеозаписи, вы можете ввести его в это окно. После этого система будет отображать именно это количество спикеров. Справа от выпадающего списка с выбором моделей есть две кнопки: Импорт — функция, которая позволяет загружать модели SPR. Удалить модель — нажав на кнопку, вы можете удалить выбранную модель.
	Отправить	отправляет звуковой файл на распознавание. Важно отметить, что при длительности аудио менее 60 сек будет запущено синхронное распознавание и его результат появится во всплывающем окне. При отправке аудио более 60 сек в правом нижнем углу появится сообщение о том, что файл добавлен в очередь на распознавание. После этого результат распознавания можно будет увидеть в очереди (блок со списком аудиодорожек в левой части рабочей области).

Вкладка «Стенограммы» SPR

Рис. 5 Интерфейс вкладки «Сохранено»

Во вкладке «Стенограммы» находятся все созданные стенограммы из очереди на распознавание, аудиофайл, панель управления (см. раздел. Панель управления вкладки «Сохранено» SPR), область редактирования стенограммы, блок с информацией о модели и список спикеров (рис. 5). Вкладка «Суммаризация» (находится рядом с вкладкой серверы в правой части экрана) позволяет создавать протоколы на основе транскрипции с использованием шаблонов. Подробнее об этом можно узнать здесь.

Если необходимо, можно переименовать спикера, нажав на иконку карандаша справа от имени. Затем нужно внести изменения и подтвердить действие, нажав на зеленую галочку. Предусмотрена функция прослушивания самого длинного отрезка спикера, для этого нужно кликнуть на значок напротив имени спикера (рис. 5). При изменении данных спикера длина самого большого отрезка пересчитывается. Над каждой репликой указано имя спикера. Чтобы выбрать имя из списка или ввести новое, нужно кликнуть левой кнопкой мыши по имени. После этого можно нажать «Добавить нового спикера», его имя появится в списке спикеров.

Рис. 6 Функционал работы со стенограммой

Чтобы удалить лишнее слово, добавить недостающее, разделить реплику на двух разных спикеров, или наоборот, объединить реплики одного спикера, нужно кликнуть правой кнопкой мыши на нужной реплике и в диалоговом окне выбрать необходимое действие (рис. 6). Реплики можно объединить только в том случае, если совпадают имена спикеров.

Чтобы добавить новое слово, поместите курсор в то место, где должно быть слово, и вызовите контекстное меню. Когда вы нажмёте на пункт меню «Добавить слово», на этом месте появится подчёркивание. Введенное вами слова будет с достоверностью 100% и подсветится синим.

Добавление голосового слепка

Биометрический слепок — это цифровой образ голоса человека, созданный на основе аудиозаписи. Данный функционал позволяет создавать и пополнять слепки в ситуациях, когда нет возможности записать голос спикера.

Назначение функции

• Создание слепка из имеющейся расшифровки речи, когда нет отдельного аудио спикера или нет возможности записать его голос снова.
• Пополнение существующего слепка новыми данными для повышения его точности.
• Использование отдельных фрагментов реплики для добавления в слепок.

Как отправить реплику в слепок

Чтобы создать или дополнить биометрический слепок из стенограммы:

1. В разделе «Стенограммы» наведите курсор на любую строку с репликой.
2. В появившейся панели нажмите на значок «Отпечаток» .
3. Откроется форма для ввода данных. В поле «Имя» введите имя спикера, для которого создается слепок.
4. Нажмите кнопку «Добавить». Вся реплика будет отправлена на обработку для создания биометрического слепка.

Как дополнить существующий слепок

Если слепок с таким именем спикера уже существует в системе:

1. После ввода имени в форме вы увидите сообщение: «Слепок с таким именем уже существует».
2. Кнопка «Добавить» автоматически сменится на кнопку «Дополнить».
3. Нажмите «Дополнить», чтобы добавить текущую реплику к уже имеющимся данным этого слепка. Это повысит качество и точность модели.

Как отправить в слепок фрагмент реплики

Если вы хотите добавить в слепок не всю реплику, а только ее часть:

1. В тексте стенограммы предварительно разбейте длинную реплику на отдельные части. Воспользуйтесь ПКМ и нажмите «Разделить фрагмент».
2. После того как нужный фрагмент будет выделен в отдельную строку, выполните для него описанные выше шаги: наведите курсор, нажмите на «Отпечаток» и отправьте в слепок, создав новый или дополнив существующий.

Панель управления вкладки «Стенограммы» SPR

Табл. 2 Функционал панели управления вкладки «Стенограммы»

Иконка кнопки	Наименование кнопки	Описание
	Включить подсветку достоверности	подсвечивает красным слова, где модель сомневается в правильности распознавания, где уровень достоверности от 0 до 0.4 подсвечивает красным, от 0.4 до 0.7 - розовым.
	Включить автосохранение	позволяет включить автоматическое сохранение каждые 30 секунд. Если кнопка активирована вокруг нее появляется красный контур.
	Повторное распознавание	позволяет отправить аудио стенограммы на повторное распознавание. В диалоговом окне можно найти те же настройки распознавания, что и на вкладке «Очередь», которые доступны через кнопку «Настройки».
	Метрики	показывает качество работы распознавания, определяя процент неправильно распознанных символов — CER. Также отображается общий показатель производительности системы SPR — WER.
	Сохранить изменения	позволяет сохранить внесенные правки в стенограмму.
	Экспортировать как документ Microsoft Word	позволяет сохранить текст распознавания в виде документа.
	Удалить задачу	позволяет удалить задачу распознавания. В диалоговом окне подтверждения действия, после чего появляется сообщение о статусе удаления в правом нижнем углу.
	Меню пользователя	отображает меню пользователя (имя, смена пароля, переход на главную страницу, выход из системы и убрать фон). В меню пользователя добавлена функция выбора набора данных* (очередь, стенография). Это позволяет работать с различными изолированными группами данных в рамках одной учетной записи. При изменении активного набора данных система автоматически обновляет список пользовательских данных в сервисе. Это обеспечивает удобное переключение между разными проектами или рабочими пространствами без необходимости перезагрузки интерфейса. *права на создание наборов данных есть у администраторов или у ролей, где эти права прописаны.

Рис. 7 Описание вкладки Суммаризация

Суммаризация

Суммаризация — это инструмент, который помогает создавать протоколы совещаний на основе транскрибации, используя готовые шаблоны. Ее можно найти в правом углу экрана, чуть выше вкладки «Серверы».

Чтобы создать протокол, выберите нужную транскрибацию из списка слева. Затем откройте вкладку «Суммаризация». На вкладке есть две подвкладки: «Сохранено» и «Новая».

Рис. 8 Сохранение результата протокола

Рассмотрим вкладку «Новая».

Из выпадающего меню выберите подходящий шаблон. Напротив каждого шаблона есть иконка с подсказкой , которая появляется при наведении. Подсказки отличаются для каждого шаблона и содержат правила формирования протокола.

Выберите модель генерации из списка. Всегда доступна модель по умолчанию, но администраторы могут добавить любую другую, и она тоже появится в списке. Нажмите кнопку «Создать протокол» и дождитесь результата (рис. 6).

После того как протокол готов внизу появятся две кнопки Добавить и Экспортировать. Кнопка экспорт позволяет выгрузить результат суммаризации (протокол) в одном из форматов: .docx или .txt на выбор.

Вкладка «Сохранено».

Нажмите кнопку «Добавить», и протокол переместится на вкладку «Сохранено». Теперь у вас есть несколько опций:

1. Редактирование: Нажмите кнопку «Редактировать», чтобы внести изменения в протокол. Она сменится на «Просмотр», который покажет финальную версию с учетом всех изменений и форматирований.

2. Удаление: Удалите протокол полностью.

3. Экспорт: Экспортируйте протокол.

Весь этот процесс не затрагивает первоначальный протокол, который остается на вкладке «Новая». Если вы захотите отменить изменения, просто нажмите кнопку «Заменить» (вкладка «Новая»), которая заменит новый протокол на старый. Таким образом, вы всегда можете вернуться к исходной версии.