SMC. UPS руководство по работе с интерфейсом

Классификатор (SMC)

Рис. 1. Иконки начального экран UPS.

В главном меню UPS (Universal Proxy Server) расположены кнопки для перехода в блоки (см. рис. 1):

1. SMC Классификатор,
2. SEE Сущности,
3. SPR Распознавание,
4. SBS Биометрия,
5. TTS Синтез,
6. QAS ЧаВО,
7. SES Сценарная машина,
8. CLS Информатор,
9. Выход.

Рис. 2. Рабочая область «SMC»

Переключаться между продуктами можно двумя способами:

1. Воспользоваться кнопкой на панели управления «На главную» (см. табл. 2).
2. Воспользоваться кнопкой в виде линии , которая находится снизу в центе экрана (см. рис. 2).

Рабочая область «SMC» включает в себя (рис. 2):

• панель управления,
• кнопки переключения между версиями моделей,
• блоки для работы с моделями и данными,
• информация о текущей модели,
• информацию об обучении и тестировании, для обученных и протестированных моделей,
• информационные вкладки.

Рис. 3 Информационный блок о модели.

В блоке интерфейса «Классификатор» есть 3 вкладки:

1. «Модели» – содержит все созданные модели SMC списком в алфавитном порядке. Модели с постобработкой помечены значком .

2. «Данные» – содержит все корпуса данных SMC списком в алфавитном порядке.

3. «Метки» – содержит все словари меток SMC.

Функционал вкладки «Модели»

Во вкладке «Модели» доступен просмотр информации о модели, а именно:

• название модели,
• версия модели: черновик, рабочая, архив (табл. 1),
• статус модели.

Табл. 1. Версии модели.

Иконка версии	Наименование версии модели	Описание
	Черновик	это не примененная модель. Можно обучать, переобучать, тестировать, устанавливать и применять. Можно экспортировать и импортировать. Цвет акцента версии модели - серый. После применения (установки) модель (см. табл.2 «Установка») становится «Рабочей версией».
	Рабочая	это модель, которая уже используется в прод (англ. production – производство). Применённую модель нельзя установить заново или обучить. Можно провести ручное тестирование и проверить конкретные фразы (см. табл.2 «Ручная проверка»). Можно экспортировать модель.  Цвет акцента версии модели - зелёный. По нажатию кнопки «Архив»- «Рабочая» модель переходит в архивную версию.
	Архивная	это рабочая модель, которая переводится в архив (резервную копию) после применения черновика. Можно вернуть архивную модель в рабочую версию, нажав на кнопку «Откат». При этом рабочая версия также становится архивной, то есть рабочая и архивная версии меняются местами. Цвет акцента версии модели - синий.

Рис. 4. Примеры статусов модели.

Модель SMC имеет свойство «Статус» (рис. 4), которые принимает следующие значения:

• Обучение. Это модель, которая в данный момент обучается.
• Обучена. Доступен просмотр информации о точности обучения, параметрах модели и матрица ошибок.
• Тестирование. Это модель, которая в данный момент тестируется.
• Протестирована. Появляются доп. кнопки «Обучение» и «Тест» (под матрицей ошибок), нажав на которые можно посмотреть матрицу обучения и тестирования соответственно.
• Установлена. В этот статус модель переходит при нажатии кнопки «Установка». В этом статусе возможны Импорт, Экспорт, Обучение, Ручная проверка, Применение модели – по соответствующим кнопкам на панели управления.
• Применена. В статус Применена модель переходит при нажатии кнопки «Применение». Для модели в статусе Применена возможны только – Ручная проверка конкретной фразой по кнопке «Ручная проверка» и экспорт (выгрузка) по кнопке «Экспорт» (см. табл. 2).
• Ошибка. Информирует о сбое процессов импорта, обучения, тестирования, остановки обучения.

  Пустые модели больше не отображаются в интерфейсе.

Возможны манипуляции с моделями SMC:

• удаление модели, удаляется текущая версия модели,
• добавление новой модели SMC, нажмите кнопку «Добавить новую модель». Далее доступны два способа:
  1. Из файла: загрузите архив с готовой моделью.
  2. Обучить модель: создайте модель с нуля, выбрав для обучения либо корпус текстов, либо словарь меток.

Панель управления вкладки «Модели» SMC

В правом верхнем углу экрана располагается панель управления для вкладки «Модели». На ней располагаются кнопки из таблицы 2. Цвет кнопок указывает на доступность действия для данной модели: синий означает, что кнопка активна, а голубой - что она неактивна.

Табл. 2. Описание функционала панели управления на вкладке «Модели».

Иконка кнопки	Наименование кнопки	Описание
	Экспорт	позволяет экспортировать(выгрузить) модель SMC.
	Импорт	позволяет импортировать (добавить) модель SMC.
	Обучение	позволяет обучить модель SMC, выбрав данные для обучения из выпадающего списка. И затем следует выбрать метод обучения — по корпусу или по меткам (подробнее см. разд. Функционал вкладки Метки). Обучение на словаре меток имеет преимущества перед корпусом в том, что обучение модели происходит в разы быстрее.
	Обновление групп в модели	позволяет обновить группы в модели SMC. При нажатии на кнопку – открывается форма для указания корпуса.
	Тестирование	позволяет протестировать модель SMC корпусом данных. При нажатии на кнопку – открывается форма для указания корпуса, с помощью которого нужно протестировать модель.
	Ручная проверка1	позволяет протестировать модель SMC конкретной фразой, увидеть величину достоверности каждого класса, определенного системой.
	Установка обработчика в рабочую версию модели	позволяет перезаписать обработчик на применяемой модели без перевода из тестового режима, если изменился только обработчик, а корпус остался прежним.
	Установка	переводит модель SMC в статус установлена. После чего кнопка меняется на кнопку «Применение» . Пока модель не применена (не используется), можно ее обучить, протестировать, экспортировать или импортировать данные. После того как модель начинает использоваться, возможность ее обучения или изменения исчезает. Остается возможность экспорта и ручной проверки модели.
	Откат	позволяет перевести архивную версию модели SMC обратно в рабочую.
	Меню пользователя	отображает меню пользователя (имя, смена пароля, выход из системы). В меню пользователя добавлена функция выбора набора данных* (модели, корпуса, метки). Это позволяет работать с различными изолированными группами данных в рамках одной учетной записи. При изменении активного набора данных система автоматически обновляет список пользовательских данных в сервисе. Это обеспечивает удобное переключение между разными проектами или рабочими пространствами без необходимости перезагрузки интерфейса. *права на создание наборов данных есть у администраторов или у ролей, где эти права прописаны.

Рис. 5. Диалоговое окно режима «Ручная проверка».

¹ Режим «Ручная проверка».

Как описано в таблице 2 этот режим позволяет протестировать модель SMC конкретной фразой. При нажатии на кнопку открывается диалоговое окно со следующими вкладками:

• классификация,
• прочее.

Вкладка классификация содержит поля:

• текст - в это поле записывается фраза для проверки;
• порог доверия - показатель, отражающий степень уверенности в принадлежности новой фразы к конкретному классу (рис. 6). Другими словами, пороговое значение указывает, при какой минимальной вероятности полагаем, что фраза относится к определённому классу.
• Функция коррекции предназначена для исправления опечаток в тексте. Существует три режима работы этой функции, каждый из которых определяет допустимое количество ошибок в слове:
  • Базовая: исправляет только слова с минимальными опечатками (1-2 ошибки для коротких слов, макс. 1 ошибка)
    

    Рис. 6. Функционал вкладки Классификация.
  • Расширенная: допускает больше исправлений для сложных случаев (добавляет +1 ошибку к базовому порогу, макс. 2 ошибки).
  • Агрессивная: корректирует даже сильно искажённые слова (добавляет +2 ошибки к базовому порогу, макс. 3 ошибки).
  • либо коррекция может Отсутствовать.

Важно: Эти режимы действуют только при коррекции по словарю модели. Поскольку идет сравнение слова с опечаткой со словом из словаря без ошибок.

Есть галочка расширенный режим - позволяет обратиться сразу к нескольким моделям SMC. После нажатия на кнопку классифицировать, выводится результат - метки классов, которые модель смогла распознать.

Классификатор (SMC) также выводит следующую информацию:

1.  Классы: здесь отображается название класса, к которому был отнесен текст, и вероятность его принадлежности к этому классу.

2.  Группы: отображается название группы и число совпавших классов. Если метки совпадают с несколькими группами, они отображаются в порядке убывания числа совпавших классов (т.е. чем полнее группа, тем выше ее позиция в списке).

3.  Ближайшие группы: отображаются группы, до которых не хватает всего одной метки, с указанием процента заполненности и сортировкой по убыванию этого процента.

Вкладка прочее SMC Классификатора включает в себя несколько опций: анализ на эмоциональность, пунктуация, анализ токсичности и коррекция ошибок, обратная нормализация, сжатие.

Сжатие - позволяет выделить основной смысл фразы.

• текст - в это поле записывается фраза для проверки;

• порог сжатия - означает процент сжатия фразы, например, порог сжатия 100 - выводит всю фразу в окно результата.

Все эти манипуляция можно производить с фразой в блоке - текст.

Рис. 7. Интерфейс раздела «Классификатор»: Информационные вкладки для протестированной модели.

Информационные вкладки SMC: Сервер, Ошибки, Логи, Постобработка

Справа на экране располагаются информационные вкладки (рис. 7)

• «Серверы» – отображает информацию о серверах и процессах,
• «Ошибки разметки» – в этот раздел попадают фразы и метки, предположительно с ошибкой разметки, то есть те, что вызвали сложности у модели. Это может быть связано с недостаточным количеством данных с этими метками в корпусе (так называемые «слабые данные»), либо наиболее часто встречающаяся - с действительной проблемой в процессе разметки данных (то есть, недостающая метка или избыточная),
• «Ошибки обучения» – отображает информацию об ошибках обучения для модели в состоянии «Обучена», те фразы, которыми модель так и не обучилась. Также можно, находясь на вкладке «Ошибки обучения» использовать метод «Ручная проверка»,
• «Ошибки тестирования» – доступны для модели в состоянии Протестирована – отображает информацию об ошибках тестирования. Можно выгрузить ошибки в файл с помощью кнопки «Экспорт». Есть возможность преобразовать ошибки в данные корпуса,
• «Логи» – отображают логи процессов обучения, тестирования, точности обучения на разных этапах обучения,
• «Постобработка» – редактор для написания кода handler.py.

Рис. 8. Интерфейс вкладки данные с родительскими и дочерними вкладками

Рис. 9 Интерфейс вкладки данные

Рис. 10. Информация о корпусе данных.

Функционал вкладки «Данные» SMC

Вкладка «Данные» SMC (рис. 8) содержит список всех доступных корпусов данных. При выборе различных корпусов данных можно просмотреть информацию о них (рис. 10):

• Название корпуса: можно изменить с помощью иконки «Карандаш». Можно удалить корпус с помощью иконки «Корзина» (см. рис. 10).

• Количество строк – общее количество фраз в корпусе.

• Количество классов – общее количество классов в корпусе.

• Количество групп – отображает общее количества групп в корпусе данных (подробнее см. раздел «Описание подготовки и этапов разметки корпуса данных SMC»).

Рис. 11. Создание родительского класса.

Под информационным блоком о корпусе данных SMC есть список классов, в котором содержатся названия классов и информация о количестве фраз в каждом классе. Можно удалять и добавлять классы. В самом низу списка есть меню для Экспорт списка классов в формате csv. Есть возможность скрыть блок с корпусами данных, нажав на стрелочку между блоком корпусов и информационным блоком корпуса. Существует три вида (ранга) классов (меток):

1. Обычный класс — это класс, который не относится ни к одному из родительских классов.
2. Родительский класс — это класс, который включает в себя другие классы. Например, родительский класс «Паспорт» включает в себя два класса-потомка: «паспорт рф_о» и «загранпаспорт_о».
3. Класс-потомок — это класс, который относится к какому-либо родительскому классу.

Чтобы преобразовать обычный класс в родительский, нужно выбрать его в списке классов и нажать на самую правую иконку в виде папки (рис. 11), которая говорит «Сделать класс родительским». Чтобы добавить метку в родительский класс, нужно нажать правой кнопкой мыши на метку и выбрать нужный родительский класс из появившегося списка. После этого появится диалоговое окно, подтверждающее действие, и изменения вступят в силу (см. рис. 12). Метка станет классом-потомком.

Рис. 12. Перемещение метки в родительский класс.

Удалить родительскую метку, в отличие от обычной, просто так нельзя. Сначала ее нужно вернуть в статус обычной, нажав на иконку «Сделать класс обычным» напротив нужного класса (рис. 13). После этого она будет расформирована и ее можно будет удалить.

Добавление нового корпуса

Рис. 13. Сделать родительский класс обычным.

Для создания нового корпуса данных SMC выполните следующие шаги:

1. Перейдите на вкладку «Данные».
2. Нажмите кнопку «Добавить новый корпус».
3. Введите название корпуса в открывшемся окне.
4. Подтвердите создание, нажав кнопку «Добавить».

После создания корпуса вы можете заполнить его данными одним из следующих способов:

1. Ручное добавление

• В нижней части экрана находится форма для ввода текста.
• Добавляйте фразы вручную и сразу выполняйте их разметку в интерфейсе.

2. Импорт данных

Нажмите кнопку «Импорт» и выберите подходящий источник:

• Логи из модели. Создаёт корпус на основе логов рабочей версии и черновых моделей.
• Из ЧаВО. Позволяет загрузить все вопросы из базы знаний QAS. Как использовать:
  1. Введите название корпуса.
  2. Нажмите кнопку «Добавить». В результате будет создан корпус, где вопросам из QAS соответствуют метки их категорий.
• Из файла. Загрузите данные из CSV-файла, подготовленного по шаблону системы.
• Из корпуса. Скопируйте данные из существующего в системе корпуса в новый.

Есть возможность проверить корпус на дубликаты, с помощью галочки «Показать дубликаты:» выбрав одну из опций: фраз или полные. В последнем случае будут отображены полные совпадения и по классу, и по фразе. Все дублированные строки выделяются автоматически, чтобы можно было сразу удалить. Аналогичный функционал предусмотрен и для групп.

При включении флага «Показать определившиеся группы» слева появится третий столбец «Группа». В нём будет отображаться название группы, назначенной для данной фразы. Это работает, если у вас создан список групп и заданы комбинации классов, которые в них входят.

Вы можете редактировать группы меток непосредственно в таблице данных:

• Создание или изменение групп
  • Введите название новой группы или выберите существующую для одной или нескольких (предварительно выделив галочками) строк таблицы.
  • Изменения автоматически синхронизируются с таблицей групп.
• Массовое присвоение групп для выбранных строк
  • Выделите нужные строки в таблице.
  • Присвойте им группу, внизу появится форма с функцией «Изменить группу»:
    • Для строк без группы — будет установлена выбранная группа.
    • Для строк с уже назначенной группой — группа будет переопределена на новую.

Рис. 14. Возможности фильтрации.

Можно фильтровать (рис. 14):

1. по названию класса,

2.  по фразе или слову,

3.  для более точной фильтрации можно использовать переключатель «и», «или», «кроме» и «только».

Есть возможность редактировать фразу в корпусе: вносить изменения в поле с фразой и сохранять изменения (кнопка «Дискета» на панели управления). Можно дополнять корпус данных по кнопке «Импорт» на панели управления (подробнее см. описание функций панели управления). После дополнения не забудьте сохранить изменения. Удаление фраз из корпуса возможно как по одной, так и сразу несколько, для этого нужно выделить необходимые для удаления фразы и нажать на красную иконку «Корзина» в правом нижнем углу блока работы с данными.

Рис. 15. Добавление и разметка фраз.

Можно вручную добавлять фразы в корпус по одной или сразу несколько (каждая фраза с новой строки, enter в конце каждой фразы)(рис. 15), записав их в поле «Фразы» в нижней части блока для работы с данными. Можно назначить или изменить классы (метки) для фразы, указав новый в поле «Класс» или выбрав существующий класс из выпадающего списка. Метки классов могут быть больше чем одна на одну фразу (мультиклассовая классификация).

Рассмотрим пример разметки новой фразы. Допустим мы хотим добавить вручную две фразы:

1. «Здравствуйте, у меня возникли неполадки, возникающие во время установки SBS. Помогите решить проблему. Заранее спасибо.»
2. «Добрый день, у меня появляется ошибка при установке биометрии. Заранее благодарю за ответ.»

Разметка производится исходя из того «о чем эта фраза?», задача разметки в том, чтобы помочь модели понять суть фразы. Например, во фразах выше говорится об ошибках во время установки сервиса биометрии, так же присутствует благодарность и приветствие, соответственно метки будут: SBS, ошибка, установка_ПО, благодарность, приветствие.

ВАЖНО: соблюдать однозначность в корпусе.

Рис. 16(а). Добавление общего класса.

Имеется функция «Добавить общий класс». С ее помощью можно присвоить одну или несколько общих меток сразу нескольким выбранным из списка фразам (рис. 16 (а)), если была допущена ошибка при разметке фраз. Для изменения набора меток у одной фразы нужно всего лишь один раз щелкнуть на список классов и добавить нужную метку из выпадающего списка или навести курсор на лишнюю метку и, также щелкнув, удалить ее. Если необходимо удалить сразу несколько меток с фразы или нескольких фраз, под кнопкой «Добавить общий класс» есть кнопка «Удалить классы» (рис. 16 (б)). Сначала выделите нужные фразы, а затем выберите класс (классы), которые вы хотите удалить из выпадающего списка, и кликните по кнопке «Удалить классы».

Рис. 16(б). Удаление нескольких классов.

Рис. 17. Объединение меток разных родительских классов.

Кроме того, существует еще одна полезная функция для работы в корпусе данных SMC — «объединить метки». Для лучшего понимания рассмотрим пример. Предположим, у вас есть две метки с одинаковым названием — «версия» и «версия», но в одном случае название содержит английскую «е», а в другом — русскую (классы отображаются в алфавитном порядке, метка с английскими буквами будет нарушать его). И этими метками уже помечены некоторые фразы. Чтобы решить эту проблему, можно воспользоваться функцией «объединения». Необходимо скопировать название правильной метки из списка меток («карандаш» — выделить название), затем нажать на «карандаш» напротив неправильной метки и заменить ее названием корректной метки. После этого метки объединятся и останется только корректная метка. Если эти метки принадлежат какой-либо группе, то замена произойдет и в ней. Возможность объединения групп также предусмотрена и осуществляется по такому же алгоритму.

Однако есть некоторые особенности работы этой функции при работе с классами-потомками. Функция работает только в том случае, если вы хотите объединить метки в пределах одного родительского класса. То есть нельзя объединить классы разных рангов, например родитель — потомок, в этом случае появится сообщение об ошибке и невозможности объединить две метки из разных родительских классов (рис. 17).

Работа с группами классов

Интерфейс вкладки «Группы» аналогичен вкладке «Данные». Панель управления описана в таблице 3.

Основные функции вкладки:

• Создание и редактирование групп: Используйте поля для ввода названия группы и добавления в неё классов. Все группы отображаются в окне «Список групп».
• Переименование группы: Нажмите на значок карандаша рядом с названием группы в списке, введите новое имя и сохраните изменения (зелёная галочка). После переименования или любых внесенных изменений необходимо обновить группы в модели (см. ниже).

Фильтрация и поиск:

• Фильтруйте данные по группам и классам.
• Для точной настройки фильтра используйте правую панель с операторами: «И», «ИЛИ», «Кроме», «Только».
• Для отображения повторяющихся строк включите флажок «Показать дубликаты» и выбрав одну из опций: полные (будут отображены полные дубли) и классов (отобразятся дубли по комбинации классов).

Массовые операции с группами:

1. Выделите нужные группы с помощью флажков.
2. В нижней части окна появится меню для массовых действий:
   • Добавить класс: выбранный класс будет добавлен ко всем выделенным группам.
   • Удалить класс: выбранный класс будет удален из всех выделенных групп.
   • Копировать: создание копий выделенных групп в одном из трёх режимов:
     • Простое копирование.
     • Копирование с добавлением выбранного класса.
     • Копирование с удалением выбранного класса.

Обновление модели после изменения групп

Если вы внесли изменения в состав или названия групп, необходимо применить эти изменения к работающей модели.

1. Нажмите кнопку «Обновление групп в модели» на панели управления.
2. Модель классификатора будет дообучена с учётом внесённых правок без необходимости полного повторного обучения.

Важно: Эта операция необходима после переименования групп, массового добавления/удаления классов или изменения состава групп, чтобы модель начала учитывать новые правила.

Описание подготовки и этапов разметки корпуса данных

Классификатор SMC использует мультиклассовый подход: одна текстовая фраза может быть отнесена одновременно к нескольким классам (меткам).

Процесс подготовки данных состоит из двух ключевых этапов (вы можете выполнить оба или только один из них):

Разметка фраз классами

При добавлении новой фразы необходимо назначить ей один или несколько классов.

• Выбор существующего класса: укажите нужные классы из выпадающего списка «Классы».
• Создание нового класса: введите название нового класса в поле «Класс» и нажмите кнопку «Добавить новый класс».

Подробное описание функционала вкладки «Данные» и пример разметки новой фразы представлены в соответствующем разделе инструкции.

Группировка классов

Это этап пост-обработки, который выполняется после формирования корпуса и обучения модели. Его цель — оптимизировать выходные данные модели для создания вопросно-ответных пар.

• Назначение: Группировка помогает модели без дообучения определять, к какой группе классов принадлежит новая, ранее не встречавшаяся фраза.
• Результат: Формируются группы, которые агрегируют несколько отдельных классов (меток) и используются для конечного ответа.

Панель управления вкладки «Данные» сервиса SMC

Панель управления на вкладке «Данные» отличается своими функциями. В таблице 3 представлен список кнопок.

Табл. 3 Описание функционала панели инструментов вкладки «Данные»

Иконка кнопки	Наименование кнопки	Описание
	Экспорт	позволяет экспортировать (выгрузить) корпус данных.
	Импорт	позволяет импортировать данные из внешнего файла, логов обращений к модели, уже существующего в системе корпуса или базы знаний ЧаВО. Если выбран вариант «Из файла», нужно выбрать файл для загрузки. Поддерживаемые форматы файлов: csv, txt. Кодировка — UTF-8. Затем можно выбрать действие: дополнить или заменить. Если выбрано «дополнить», данные текущего корпуса будут дополнены данными из файла или корпуса. Если выбрано «заменить», данные текущего корпуса будут полностью заменены данными из файла или корпуса.
	Авторазметка	позволяет автоматически разметить корпус по словарю меток (подробнее см. разд Функционал вкладки Метки). В диалоговом окне необходимо заполнить поля с названием задачи, выбрать из списка нужный словарь меток. Из выпадающего списка «Метки» выбрать либо замену меток, либо дополнение. И запустить авторазметку. После этого автоматически размеченный корпус будет доступен для обычного редактирования разметки.
	Копировать	позволяет скопировать корпус данных.
	Сохранить	сохранение изменений.
	Меню пользователя	отображает меню пользователя (имя, смена пароля, выход из системы). В меню пользователя добавлена функция выбора набора данных* (модели, корпуса, метки). Это позволяет работать с различными изолированными группами данных в рамках одной учетной записи. При изменении активного набора данных система автоматически обновляет список пользовательских данных в сервисе. Это обеспечивает удобное переключение между разными проектами или рабочими пространствами без необходимости перезагрузки интерфейса. *права на создание наборов данных есть у администраторов или у ролей, где эти права прописаны.

Функционал вкладки «Метки»

Рис. 19. Интерфейс вкладки Метки.

Интерфейс вкладки «Метки» представлен на рисунке 19. Слева вы увидите список всех доступных словарей. Чтобы открыть один из них, просто нажмите на его название — и в центральной части экрана появится сам словарь.

Процесс добавления нового словаря состоит из двух простых шагов:

1. Нажмите на кнопку «Добавить словарь меток», расположенную в нижней левой части экрана. В появившемся диалоговом окне введите название нового словаря.

2. Затем добавьте данные в словарь: укажите название метки и пороговое значение коэффициента достоверности в левой части таблицы и её определяющие фразы в правой части таблицы. Более подробную информацию вы найдёте в разделе «Подготовка словаря меток». Если у вас уже есть файл с описанием меток, вы можете воспользоваться кнопкой Импорт на панели управления (см. раздел Панель управления вкладки «Метки»).

Подготовка словаря меток

Подготовка словаря меток включает в себя определение набора требуемых меток под конкретную задачу. После этого нужно в описание каждой метки добавить все возможные определяющие фразы, которые однозначно определяют эту метку, каждое слово (фраза) с новой строки. Не нужно добавлять целые фразы, как это делается при разметке SMC. Принцип описания больше похож на разметку SEE корпуса: просто укажите ключевые слова или словосочетания, которые определяют данную метку, а также все, что хотите отнести к этой метке.

Например, мы создаем метку «Документация» и в определяющих фразах указываем все возможные варианты, которые однозначно описывают эту метку с новой строки: «дока», «инструкция», «документация», «мануал».

Подготовленный для импорта документ должен быть в формате csv. И иметь следующую структуру:

Метка<TAB>Описание 1, Описание 2, ..., Описание N<TAB>Порог

Пороговое значение в файле указывается в диапазоне [0,1]. Далее при необходимости это значение можно будет поменять в интерфейсе.

После того как словарь будет заполнен или загружен, вы сможете редактировать описания меток и их названия в интерфейсе. Чтобы внести изменения в определяющие фразы, просто нажмите на поле метки и в левой части таблицы будут показаны фразы этой метки. Не забудьте сохранить изменения.

Чтобы удалить лишнюю фразу или метку - наведите курсор на выбранную строку и нажмите на появившуюся иконку корзинки в конце строки . Не забудьте сохранить изменения.

Также сверху таблицы словаря меток располагается поле ввода "Поиск по фразе". При ее заполнении будут отфильтровываться метки, содержащие введенную фразу (левая таблица), и совпадения по фразе в выбранной метке (правая таблица).

Панель управления вкладки «Метки»

Описание функционала панели управления на вкладке «Метки» представлено в таблице 4.

Табл. 4 Описание функционала панели инструментов вкладки «Метки»

Иконка кнопки	Наименование кнопки	Описание
	Экспорт	позволяет экспортировать (выгрузить) словарь меток.
	Импорт	Позволяет импортировать (добавлять) данные из файла. По нажатию на кнопку появится диалоговое окно, в котором требуется выбрать файл с компьютера в формате csv.
	Сохранить	сохранение изменений.
	Удалить	позволяет удалить выбранный словарь меток.
	Меню пользователя	отображает меню пользователя (имя, смена пароля, выход из системы). В меню пользователя добавлена функция выбора набора данных* (модели, корпуса, метки). Это позволяет работать с различными изолированными группами данных в рамках одной учетной записи. При изменении активного набора данных система автоматически обновляет список пользовательских данных в сервисе. Это обеспечивает удобное переключение между разными проектами или рабочими пространствами без необходимости перезагрузки интерфейса. *права на создание наборов данных есть у администраторов или у ролей, где эти права прописаны.

Работа с ошибками SMC

Рис. 20. Иллюстрация ошибки тестирования первого типа.

Рис. 21. Обогащение корпуса данных.

Во время работы с классификатором, вы можете столкнуться с 3-мя видами ошибок:

• ошибки разметки;
• ошибки обучения;
• ошибки тестирования.

Как описано выше в разделе «Информационные вкладки: Сервер, Ошибки, Логи, Постобработка» - «ошибки разметки» – раздел куда попадают фразы и метки, предположительно с ошибкой разметки, то есть те, что вызвали сложности у модели. Это может быть связано с недостаточным количеством данных с этими метками в корпусе (так называемые «слабые данные»), либо наиболее часто встречающаяся - с действительной проблемой в процессе разметки данных (то есть, недостающая метка или избыточная). Вкладка «ошибки обучения» – отображает информацию об ошибках обучения для модели в состоянии «Обучена», те фразы, которыми модель так и не обучилась.

«Ошибки тестирования» являются наиболее сложными и делятся на два основных типа:

1. нехватка данных, тогда необходимо обогатить корпус данных фразами и разметкой;
2. нехватка комбинаций меток для группы.

Рис. 22. Иллюстрация ошибки тестирования второго типа.

Пример ошибки типа 1. Нехватка данных.

Есть фраза «Директор МФЦ иркутской области» - модель классифицирует ее неправильно, на скриншоте (см. рис. 20) этой фразе присвоены метки: Иркутская область_о, как_в, губернатор_о Это происходит из-за того, что директор и губернатор - имеют семантическое сходство, так как являются руководителями. Но в связке с Иркутской областью - упоминания директора в корпусе не было. Поэтому модель исходя из имеющихся у нее данных - определила для этой фразы  - метку губернатор_о. Группа: кто является губернатором иркутской области района.

Если мы отфильтруем корпус данных по слову директор, то увидим, что в корпусе отсутствуют фразы где и директор и иркутская область упоминались бы одновременно, а так же не была определена метка мфц_о, следовательно фразы директор мфц (дополнительно добавленная выделенная фраза) тоже не хватало (см. рис. 21). Нужно добавить эти фразы в корпус, сохранить изменения, переобучить модель, так как вносились изменения в данные, и ошибка будет устранена.

Рис. 23. Добавление новой комбинации меток для группы.

Пример ошибки типа 2. Нехватка комбинаций меток для группы.

Имеется фраза «а какие документы нужно подать для оформления путевки инвалиду». Проводим тестирование в ручном режиме и видим, что этой фразе не присвоена ни одна группа, а значит нет конечной точки, которой бы соответствовал полученный от модели набор меток. (см. рис. 22).

Переходим во вкладку Данные, выбираем нужный корпус данных, идем во вкладку Группы. Далее фильтруем группы по Классам: инвалидность_о, путевка в санаторий_о переводим переключатель справа в положение «и» (см. рис. 23) и смотрим, что у нас отсутствует комбинация меток: с подачей документов. Добавляем еще одну комбинацию (см. рис. 23), сохраняем изменения, переходим во вкладку Модели, кликаем на кнопку «Обновление групп», в диалоговом окне выбираем модель и нажимаем кнопку обновить - ошибка устранена. Переобучать модель не нужно, кнопка «Обновление групп» позволяет внести изменения без переобучения.