SEE. UPS руководство по работе с интерфейсом

SEE Сущности

В главном меню UPS (Universal Proxy Server) расположены кнопки для перехода в блоки (см. рисунок 1):

1. SMC Классификатор,
2. SEE Сущности,
3. SPR Распознавание,
4. SBS Биометрия,
5. TTS Синтез,
6. QAS ЧаВО,
7. SES Сценарная машина,
8. Выход.

Переключаться между продуктами можно двумя способами:

1. Воспользоваться кнопкой на панели управления «На главную»  .
2. Воспользоваться кнопкой в виде линии, которая находится снизу в центе экрана (см. рисунок 2).

Для перехода в раздел «Сущности» кликните на одноименную иконку на главном экране UPS (рисунок 1).

Рисунок 1 – Главный экран UPS.

В блоке интерфейса «Сущности» есть две вкладки: «Модели» и «Данные» рисунок 2). На вкладке «Модели» отображаются все созданные модели в виде списка в алфавитном порядке, «Данные» – все корпуса данных в виде списка также в алфавитном порядке.

Рисунок 2 - Интерфейс SEE

Функционал вкладки «Модели» сервиса SEE

Рисунок 3 - Информационный блок о модели.

Над переключателями между вкладками «Модели» и «Данные» сервиса SEE находится кнопка «Добавить новую модель» при нажатии на нее выводится форма для добавления новой модели в список, необходимо заполнить имя модели и нажать на кнопку «Добавить». Что бы выбрать модель SEE из списка нужно один раз кликнуть по ней левой клавишей мыши, после чего справа от списка отобразится подробная информация о выбранной модели (рисунок 3):

• название модели
• версия модели: черновик, рабочая, архив.

Таблица 1 – Версии модели

Иконка версии	Наименование версии модели	Описание
	Черновик	это не примененная модель. Можно обучать, переобучать, устанавливать и применять. Можно экспортировать и импортировать. Цвет акцента версии модели - серый. После применения (установки) модель (см. табл.2 «Установка») становится «Рабочей версией».
	Рабочая	это модель, которая уже используется в прод (англ. production – производство). Применённую модель нельзя установить заново или обучить. Можно провести ручное тестирование и проверить конкретные фразы. Можно экспортировать модель. Цвет акцента версии модели - зелёный. По нажатию кнопки «Архив»- «Рабочая» модель переходит в архивную версию.
	Архивная	это рабочая модель, которая переводится в архив (резервную копию) после применения черновика. Можно вернуть архивную модель в рабочую версию, нажав на кнопку «Откат». При этом рабочая версия также становится архивной, то есть рабочая и архивная версии меняются местами. Цвет акцента версии модели - синий.

Рисунок 4 - Примеры статусов модели.

Модель SEE имеет свойство «Статус» (рисунок 4), которые принимает следующие значения:

• Пустая. Новая созданная модель. Пустую модель можно обучить (кнопка «Обучение» на панели управления см. табл. 2) на корпусе данных, а можно импортировать из файла (кнопка «Импорт» на панели управления см. табл. 2).
• Обучение. Это модель, которая в данный момент обучается.
• Обучена. Доступен просмотр информации о точности обучения, параметрах модели и матрица ошибок.
• Установлена. В этот статус модель переходит при нажатии кнопки «Установка». В этом статусе возможны Импорт, Экспорт, Обучение, Ручная проверка, Применение модели – по соответствующим кнопкам на панели управления.
• Применена. В статус Применена модель переходит при нажатии кнопки «Применение». Для модели в статусе Применена возможны только – Ручная проверка конкретной фразой по кнопке «Ручная проверка» и экспорт (выгрузка) по кнопке «Экспорт» (см. табл. 2).
• Ошибка. Информирует о сбое процессов импорта, обучения, остановки обучения.

Панель управления вкладки «Модели» сервиса SEE

В правом верхнем углу экрана располагается панель управления для вкладки «Модели». На ней располагаются кнопки из таблицы 2. Цвет кнопок указывает на доступность действия для данной модели: синий означает, что кнопка активна, а голубой - что она неактивна.

Таблица 2 – Описание функционала панели управления на вкладке «Модели»

Иконка кнопки	Наименование кнопки	Описание
	Экспорт	позволяет экспортировать модель или данные корпуса.
	Импорт	позволяет импортировать (добавить) модель или данные корпуса.
	Обучение	позволяет обучить модель SEE, выбрав данные для обучения из выпадающего списка и установив параметр «Шум» – уровень шума для генерации синтезированных данных для обучения модели, от 1 до 5, по умолчанию 2.
	Ручная проверка1	позволяет протестировать модель конкретной фразой, увидеть величину достоверности каждого класса, определенного системой.
	Установка обработчика в рабочую версию модели	позволяет перезаписать обработчик на применяемой модели без перевода из тестового режима, если изменился только обработчик, а корпус остался прежним.
	Установка	переводит модель в статус установлена. После чего кнопка меняется на кнопку «Применение» . Пока модель не применена (не используется), можно ее обучить, проверить методом «Ручная проверка» экспортировать или импортировать данные. После того как модель начинает использоваться, возможность ее обучения или изменения исчезает. Остается возможность экспорта и ручной проверки модели.
	Откат	позволяет перевести архивную версию модели обратно в рабочую.
	На главную	отправляет на главный экран.
	Меню пользователя	отображает меню пользователя (имя, смена пароля, выход из системы).

¹ Режим «Ручная проверка» сервиса SEE

В режиме «Ручная проверка» можно также обратиться сразу к нескольким моделям SEE. Чтобы сделать это, нужно включить «Расширенный режим» (поставить галочку) в диалоговом окне. Под диалоговым окном выводится информация о результате проверки.

1.    Текст – найденная сущность

2.    Процент соответствия — это порог сходства найденной сущности с эталонными, в процентах. По умолчанию - 70%.

3.    Модель — это название дополнительной модели (моделей), к которой хотите отправить запрос (имя нужно выбрать из выпадающего списка) (рисунок 5). Предусмотрена возможность обращения сразу к нескольким моделям  сервиса SEE, тогда на выходе получаем: к какой из моделей относится слово (слова), а параметр Длина отображает количество найденных слов во фразе (рисунок 6).

4.    Позиция – позиция первого слова фрагмента, определяющего сущность.

5.    Достоверность – вероятность правильного определения сущности.

6.    Вычислен – тег, к которому относится найденная сущность.

Рисунок 5 - Функционал режима Ручная проверка.

Рисунок 6 - Функционал режима Ручная проверка. Тест несколькими моделями.

Рисунок 7 - Информационные блоки.

Информационные вкладки: Серверы, Ошибки обучения, Логи, Постобработка

Справа на рабочем экране находятся информационные вкладки (рисунок 7):

• «Серверы» - отображает информацию о серверах и процессах.
• «Ошибки обучения» - отображает информацию об ошибках обучения, только для обученных моделей.
• «Логи» - выводит информацию о процессах обучения.
• «Постобработка» - используется для написания кода обработчика handler.py.

Функционал вкладки «Данные» сервиса SEE (Сущности)

Вкладка «Данные» содержит все корпуса SEE в виде списка в алфавитном порядке. Справа от интерфейса на вкладке «Данные» находится подробная информация о корпусе SEE, в которую входит:

• Название корпуса: можно изменить, нажав на иконку «Карандаш» рядом с названием. Иконка «Корзина» рядом с названием позволяет удалить корпус.
• Количество строк – общее количество фраз в корпусе.
• Количество классов – общее количество классов в корпусе.

Список классов (под блоком информации о корпусе данных) – содержит список названий классов и информацию о количестве фраз в каждом классе. В списке классов можно удалять классы, нажимая на иконку «Корзина» при наведении на количество фраз в классе, а также переименовывать их.

Чтобы создать новый корпус, перейдите на вкладку «Данные» нажмите и «Добавить новый корпус» (над переключателями вкладок «Модели и Данные» рисунок 8). Затем выберите вариант «Из файла», введите имя и выберите файл. Поддерживаются файлы форматов csv и txt с кодировкой UTF-8.

Блок для работы с данными корпуса дает возможность изменять и взаимодействовать с корпусом. Можно:

• проверить корпус на наличие повторяющихся элементов (галочка «Показать дубликаты фраз» на рабочей области),
• отфильтровать его по названию класса, фразе или слову, а также по классу и слову,
• добавить фразы в корпус как по одной, так и в виде группы в один класс,
• изменить класс фразы и отредактировать фразу корпуса, сохраняя изменения,
• дополнять корпус данными, используя кнопку «Импорт» на панели управления,
• удалять фразы из корпуса.

Рисунок 8 - Интерфейс вкладки данные и информационный блок о корпусах данных.

Панель управления вкладки «Данные»

Панель управления на вкладке «Данные» отличается своими функциями. В таблице 3 представлен список кнопок.

Таблица 3 – Описание функционала панели инструментов вкладки «Данные»

Иконка кнопки	Наименование кнопки	Описание
	Экспорт	позволяет экспортировать (выгрузить) корпус данных.
	Импорт	Позволяет импортировать (добавлять) данные из файла или из корпуса, который уже существует в UPS. Если выбран вариант «Из файла», нужно выбрать файл для загрузки. Поддерживаемые форматы файлов: csv, txt. Кодировка - UTF-8. Затем можно выбрать действие: добавить или заменить. Если выбрано «добавить», данные текущего корпуса будут дополнены данными из файла или корпуса. Если выбрано «заменить», данные текущего корпуса будут заменены данными из файла или корпуса.
	Копировать	позволяет скопировать корпус данных.
	Сохранить	сохранение изменений.
	На главную	отправляет на главный экран.
	Меню пользователя	отображает меню пользователя (имя, смена пароля, выход из системы).