SEE. Руководство администратора - История изменений

KorolkovS в 10:45, 12 января 2026

2026-01-12T10:45:15Z

← Предыдущая версия		Версия от 13:45, 12 января 2026
Строка 113:		Строка 113:
	\|cluster.logfile		\|cluster.logfile
	\|logs/sync.log		\|logs/sync.log
	\|~~путь к логу~~ синхронизации ~~ноды~~ кластера		\|Файл логов синхронизации есть только на главном сервере кластера
	\|-		\|-
	\|cluster.statusFile		\|cluster.statusFile
	\|logs/sync.status		\|logs/sync.status
	\|~~путь к файлу статуса ноды~~ кластера		\|Статус задачи синхронизации есть только на главном сервере кластера
	\|-		\|-
	\|cluster.nodes		\|cluster.nodes
	\|[]		\|[]
	\|~~список IP адресов~~ нод кластера		\|Перечень подчиненных нод для синхронизации изменений заполняется только на главном сервере кластера
	\|}		\|}

			====='''Работа в составе кластера'''=====

			Для высоконагруженных систем сервис можно расположить на нескольких нодах (виртуальных машинах). В этом случае, чтобы не потерять документы и изменения, полученные на одной из нод, выделяется один основной сервис и вспомогательные сервисы.

			* База файловая, в папке data.
			* lsync настроен через конфиг SEE для репликации базы на все указанные серверы в списке cluster.nodes: [], указываем все слейв-сервера.
			* На всех слейвах список cluster.nodes: [] оставляем пустым.
			* Векторная база на каждом сервере своя, она следит за своей папкой data и обновляет в оперативке по этой папке данные у себя.
			* UPS при изменении данных работает только с мастером SEE, а при запросе данных — со всеми серверами cluster, распределяя нагрузку.
			* В конфигурации UPS: в servers.see.cluster.trainer указываем мастер-сервер, в servers.see.cluster перечисляем все сервера кластера SEE, в том числе и мастер.

KorolkovS в 10:08, 12 января 2026

2026-01-12T10:08:07Z

← Предыдущая версия		Версия от 13:08, 12 января 2026
Строка 78:		Строка 78:
	!По умолчанию		!По умолчанию
	!Назначение		!Назначение
			\|-
			\|device
			\|cuda:0
			\|Вычислительное устройство (cpu/cuda:N, где N — номер графического ускорителя), в ОЗУ которого осуществляется загрузка моделей.
	\|-		\|-
	\|logs.path		\|logs.path
	\|logs/		\|logs/
	\|~~Дерриктория~~ для хранения логов. Примеры абсолютного пути: "/var/log/see/"/		\|Директория для хранения логов. Примеры абсолютного пути: "/var/log/see/"
	\|-		\|-
	\|logs.backups		\|logs.backups
	\|10		\|10
	\|Количество файлов ротации/		\|Количество файлов ротации
	\|-		\|-
	\|logs.maxSize		\|logs.maxSize
Строка 106:		Строка 110:
	\|30		\|30
	\|Таймаут ответа от smc		\|Таймаут ответа от smc
			\|-
			\|cluster.logfile
			\|logs/sync.log
			\|путь к логу синхронизации ноды кластера
			\|-
			\|cluster.statusFile
			\|logs/sync.status
			\|путь к файлу статуса ноды кластера
			\|-
			\|cluster.nodes
			\|[]
			\|список IP адресов нод кластера
	\|}		\|}

KorolkovS: Интервалы между абзацами...

2025-04-28T10:57:58Z

Интервалы между абзацами...

KorolkovS: Добавление информации о лицензировании

2025-04-28T10:53:46Z

Добавление информации о лицензировании

@@ Строка 5: / Строка 5: @@
 ===== '''Термины и определения''' =====
 Simple Entity Extractor (SEE) – сервис выделения сущностей.
 ===== '''Системные требования''' =====
@@ Строка 11: / Строка 10: @@
 Оперативной памяти необходимо не менее 4Gb.
 ===== '''Установка/обновление сервиса''' =====
@@ Строка 45: / Строка 41: @@
 ===== '''Предустановленные модели''' =====

Ka.shapovalov в 10:56, 25 марта 2025

2025-03-25T10:56:19Z

← Предыдущая версия		Версия от 13:56, 25 марта 2025
Строка 47:		Строка 47:

	===== '''Предустановленные модели''' =====		===== '''Предустановленные модели''' =====
	В состоянии поставки SEE содержит специализированные модели. Предустановленные модели расположены в каталоге /opt/see/pretrained/. ↵ Одна из моделей — «fio» для выделения фамилий, имен, отчеств из текста. Для этой модели возможно создать пользовательский словарь на случай, если модель не смогла определить правильно ФИО. ~~Файл словаря с именем userdict.txt должен быть расположен~~ в /opt/see/pretrained/fio/. ~~Файл должен содержать в каждой строке ФАМИЛИЯ ИМЯ ОТЧЕСТВО~~ в именительном падеже ~~в любом регистре (модель все равно приводит текст в нижний регистр~~). ~~Допускаются только буквы, пробелы, переносы строк. Пример содержимого:~~		В состоянии поставки SEE содержит специализированные модели. Предустановленные модели расположены в каталоге /opt/see/pretrained/. Одна из моделей — «fio» для выделения фамилий, имен, отчеств из текста. Для этой модели возможно создать пользовательский словарь на случай, если модель не смогла определить правильно ФИО. Пользовательские словари нужно располагать в папке /opt/see/pretrained/fio/custom (surnames.txt - фамилии, firstname.txt - имена, lastnames.txt - отчества, в именительном падеже).

	~~<code>бутявкина бутявка бутявковна</code>~~

	~~<code>Сириусов Нефит Ексакустодионович</code>~~



	===== '''Конфигурирование параметров сервиса''' =====		===== '''Конфигурирование параметров сервиса''' =====

V.Kazantsev: /* Конфигурирование параметров сервиса */

2025-02-28T12:26:44Z

Конфигурирование параметров сервиса

@@ Строка 80: / Строка 80: @@
 |[  "не"  ]
 |«Строгие частицы» — частицы речи, меняющие смысл фразы. После применения настройки, если сущность содержит такую частицу, то фраза без этой частицы не вызовет положительного срабатывания.
 |}

E.Elagina: /* Установка/обновление сервиса */

2025-02-20T09:32:54Z

Установка/обновление сервиса

← Предыдущая версия		Версия от 12:32, 20 февраля 2025
Строка 24:		Строка 24:
	** <code>/opt/see/inupdate -b</code> — обновить до последней beta версии;		** <code>/opt/see/inupdate -b</code> — обновить до последней beta версии;
	** <code>/opt/see/inupdate -r</code> — обновить до последней release версии;		** <code>/opt/see/inupdate -r</code> — обновить до последней release версии;
	** <code>/opt/see/inupdate -n</code> — обновить до последней версии (~~не важно~~ beta или release).		** <code>/opt/see/inupdate -n</code> — обновить до последней версии (неважно beta или release).
	* Проверить актуальную версию продукта <code>curl -s "<nowiki>https://repo.connect2ai.net/api/see/version</nowiki></code>.		* Проверить актуальную версию продукта <code>curl -s "<nowiki>https://repo.connect2ai.net/api/see/version</nowiki></code>.
	* Посмотреть лог изменений <code>curl -s "<nowiki>https://repo.connect2ai.net/api/see/changelog</nowiki>" --user '[user]:[pass]'</code>.		* Посмотреть лог изменений <code>curl -s "<nowiki>https://repo.connect2ai.net/api/see/changelog</nowiki>" --user '[user]:[pass]'</code>.
Строка 30:		Строка 30:
	* В папке с продуктом можно добавить 2 файла конфигурации (допускается один общий файл на все продукты в папке с окружением /opt/pve/):		* В папке с продуктом можно добавить 2 файла конфигурации (допускается один общий файл на все продукты в папке с окружением /opt/pve/):
	** echo -n <code>"[user]:[pass]"</code> > /opt/see/.userapi (это файл авторизации в API, нужен для обновления)		** echo -n <code>"[user]:[pass]"</code> > /opt/see/.userapi (это файл авторизации в API, нужен для обновления)
	** echo -n <code>"<nowiki>http://example.com:3128</nowiki> [user] [password]"</code> > /opt/see/.proxy (это файл конфигурации proxy необходим для обновления, при отсутствующем прямом ~~подключение~~ к интернету)		** echo -n <code>"<nowiki>http://example.com:3128</nowiki> [user] [password]"</code> > /opt/see/.proxy (это файл конфигурации proxy необходим для обновления, при отсутствующем прямом подключении к интернету)

	При обновлении следующий список файлов и папок сохраняется: .userapi, .proxy, logs, nnets, config.json, cache, pretrained, pve, data. Сервис не требует остановки и возвращается в актуальное состояние после обновления.		При обновлении следующий список файлов и папок сохраняется: .userapi, .proxy, logs, nnets, config.json, cache, pretrained, pve, data. Сервис не требует остановки и возвращается в актуальное состояние после обновления.

E.Elagina: /* Общее описание */

2025-02-20T08:13:19Z

Общее описание

← Предыдущая версия		Версия от 11:13, 20 февраля 2025
Строка 8:		Строка 8:

	===== '''Системные требования''' =====		===== '''Системные требования''' =====
	Для нормальной работы сервиса на каждые 100 одновременных запросов классификации необходимо обеспечить 1 CPU >= 2.20GHz с поддержкой инструкций AVX2 или новее.		Для нормальной работы сервиса на каждые 100 одновременных запросов классификации необходимо обеспечить 1 CPU >= 2.20GHz с поддержкой инструкций AVX2 или новее.

	Оперативной памяти необходимо не менее 4Gb.		Оперативной памяти необходимо не менее 4Gb.




	===== '''Установка/обновление сервиса''' =====		===== '''Установка/обновление сервиса''' =====
	[https://cloud.connect2ai.net/index.php/apps/files/?dir=/see&fileid=581 Дистрибутив] распространяется в виде установочных пакетов для окружения и сервиса. Загрузите установочные пакеты на сервер и выполните команды для ~~Вашей~~ системы в каталоге с пакетом.		[https://cloud.connect2ai.net/index.php/apps/files/?dir=/see&fileid=581 Дистрибутив] распространяется в виде установочных пакетов для окружения и сервиса. Загрузите установочные пакеты на сервер и выполните команды для вашей системы в каталоге с пакетом.

	Перед установкой непосредственно сервиса необходимо [[PVE. Установка сервисного пакета окружения\|установить сервисный пакет окружения]].		Перед установкой непосредственно сервиса необходимо [[PVE. Установка сервисного пакета окружения\|установить сервисный пакет окружения]].
Строка 21:		Строка 22:
	* Загрузить последнюю версию продукта <code>curl -s "<nowiki>https://repo.connect2ai.net/api/see/new</nowiki>" --user '[user]:[pass]' 2>&1 \| bash</code> или в интерактивном режиме <code>bash -c "$(curl -s <nowiki>https://repo.connect2ai.net/api/see</nowiki> --user '[user]:[pass]' 2>&1)"</code>.		* Загрузить последнюю версию продукта <code>curl -s "<nowiki>https://repo.connect2ai.net/api/see/new</nowiki>" --user '[user]:[pass]' 2>&1 \| bash</code> или в интерактивном режиме <code>bash -c "$(curl -s <nowiki>https://repo.connect2ai.net/api/see</nowiki> --user '[user]:[pass]' 2>&1)"</code>.
	* Обновить SEE <code>/opt/see/inupdate</code> в интерактивном режиме. Или запустить с ключом:		* Обновить SEE <code>/opt/see/inupdate</code> в интерактивном режиме. Или запустить с ключом:
	** <code>/opt/see/inupdate -b</code> - обновить до последней beta версии;		** <code>/opt/see/inupdate -b</code> — обновить до последней beta версии;
	** <code>/opt/see/inupdate -r</code> - обновить до последней release версии;		** <code>/opt/see/inupdate -r</code> — обновить до последней release версии;
	** <code>/opt/see/inupdate -n</code> - обновить до последней версии (не важно beta или release).		** <code>/opt/see/inupdate -n</code> — обновить до последней версии (не важно beta или release).
	* Проверить актуальную версию продукта <code>curl -s "<nowiki>https://repo.connect2ai.net/api/see/version</nowiki></code>.		* Проверить актуальную версию продукта <code>curl -s "<nowiki>https://repo.connect2ai.net/api/see/version</nowiki></code>.
	* Посмотреть лог изменений <code>curl -s "<nowiki>https://repo.connect2ai.net/api/see/changelog</nowiki>" --user '[user]:[pass]'</code>.		* Посмотреть лог изменений <code>curl -s "<nowiki>https://repo.connect2ai.net/api/see/changelog</nowiki>" --user '[user]:[pass]'</code>.
	* Полное описание всех команд API репозитория можно найти по ссылке '''https://repo.connect2ai.net/api'''. <code>[user]:[pass]</code> - это тот же логин и пароль, что и от [https://cloud.connect2ai.net '''Nextcloud'''.]		* Полное описание всех команд API репозитория можно найти по ссылке '''https://repo.connect2ai.net/api'''. <code>[user]:[pass]</code> — это тот же логин и пароль, что и от [https://cloud.connect2ai.net '''Nextcloud'''.]
	* В папке с продуктом можно добавить 2 файла конфигурации (допускается один общий файл на все продукты в папке с окружением /opt/pve/):		* В папке с продуктом можно добавить 2 файла конфигурации (допускается один общий файл на все продукты в папке с окружением /opt/pve/):
	** echo -n <code>"[user]:[pass]"</code> > /opt/see/.userapi (это файл авторизации в API, нужен для обновления)		** echo -n <code>"[user]:[pass]"</code> > /opt/see/.userapi (это файл авторизации в API, нужен для обновления)
	** echo -n <code>"<nowiki>http://example.com:3128</nowiki> [user] [password]"</code> > /opt/see/.proxy (это файл конфигурации proxy необходим для обновления, при отсутствующем прямом подключение к интернету)		** echo -n <code>"<nowiki>http://example.com:3128</nowiki> [user] [password]"</code> > /opt/see/.proxy (это файл конфигурации proxy необходим для обновления, при отсутствующем прямом подключение к интернету)

	При ~~обновление~~ следующий список файлов и папок сохраняется: .userapi, .proxy, logs, nnets, config.json, cache, pretrained, pve, data. Сервис не требует остановки и возвращается в актуальное состояние после обновления.		При обновлении следующий список файлов и папок сохраняется: .userapi, .proxy, logs, nnets, config.json, cache, pretrained, pve, data. Сервис не требует остановки и возвращается в актуальное состояние после обновления.

	Не забудьте запустить сервис и включить в автозапуск в системе:		Не забудьте запустить сервис и включить в автозапуск в системе:
Строка 46:		Строка 47:

	===== '''Предустановленные модели''' =====		===== '''Предустановленные модели''' =====
	В состоянии поставки ~~see~~ содержит специализированные модели. Предустановленные модели расположены в каталоге /opt/see/pretrained/.		В состоянии поставки SEE содержит специализированные модели. Предустановленные модели расположены в каталоге /opt/see/pretrained/. ↵ Одна из моделей — «fio» для выделения фамилий, имен, отчеств из текста. Для этой модели возможно создать пользовательский словарь на случай, если модель не смогла определить правильно ФИО. Файл словаря с именем userdict.txt должен быть расположен в /opt/see/pretrained/fio/. Файл должен содержать в каждой строке ФАМИЛИЯ ИМЯ ОТЧЕСТВО в именительном падеже в любом регистре (модель все равно приводит текст в нижний регистр). Допускаются только буквы, пробелы, переносы строк. Пример содержимого:
	Одна из моделей ~~- "fio"~~ для выделения фамилий, имен, отчеств из текста. Для этой модели возможно создать пользовательский словарь на случай, если модель не смогла определить правильно ФИО. Файл словаря с именем userdict.txt должен быть расположен в /opt/see/pretrained/fio/. Файл должен содержать в каждой строке ФАМИЛИЯ ИМЯ ОТЧЕСТВО в именительном падеже в любом регистре (модель все равно приводит текст в нижний регистр). Допускаются только буквы, пробелы, переносы строк. Пример содержимого:

	<code>бутявкина бутявка бутявковна</code>		<code>бутявкина бутявка бутявковна</code>
Строка 67:		Строка 67:
	\|logs.path		\|logs.path
	\|logs/		\|logs/
	\|Дерриктория для хранения логов. Примеры абсолютного пути: "/var/log/see/"		\|Дерриктория для хранения логов. Примеры абсолютного пути: "/var/log/see/"/
	\|-		\|-
	\|logs.backups		\|logs.backups
	\|10		\|10
	\|Количество файлов ротации		\|Количество файлов ротации/
	\|-		\|-
	\|logs.maxSize		\|logs.maxSize
	\|5242880		\|5242880
	\|Максимальный размер файла в байтах, триггер для ротации		\|Максимальный размер файла в байтах, триггер для ротации.
	\|-		\|-
	\|stricts		\|stricts
	\|[ "не" ]		\|[ "не" ]
	\|~~"Строгие частицы" -~~ частицы речи меняющие смысл фразы. После применения настройки, если сущность содержит такую частицу, то фраза без этой частицы не вызовет положительного срабатывания.		\|«Строгие частицы» — частицы речи, меняющие смысл фразы. После применения настройки, если сущность содержит такую частицу, то фраза без этой частицы не вызовет положительного срабатывания.
	\|}		\|}

V.Kazantsev: /* Сбор данных об ошибках */

2025-02-18T13:27:26Z

Сбор данных об ошибках

← Предыдущая версия		Версия от 16:27, 18 февраля 2025
Строка 83:		Строка 83:

	===== '''Сбор данных об ошибках''' =====		===== '''Сбор данных об ошибках''' =====
	Логи сервиса по умолчанию находятся в файле /opt/~~ups~~/logs/log.txt		Логи сервиса по умолчанию находятся в файле /opt/see/logs/log.txt

E.Elagina: /* Часто задаваемые вопросы */

2025-02-07T11:21:05Z

Часто задаваемые вопросы

← Предыдущая версия		Версия от 14:21, 7 февраля 2025
Строка 91:		Строка 91:


	~~===== '''Часто задаваемые вопросы''' =====~~
	~~{\| class="wikitable"~~
	\|+
	~~!Вопрос~~
	~~!Ответ~~
	\|-
	\|
	\|
	\|-
	\|
	\|
	\|-
	\|
	\|
	\|}

← Предыдущая версия		Версия от 13:57, 28 апреля 2025
Строка 1:		Строка 1:
	===== '''Общее описание''' =====		===== '''Общее описание''' =====
	Сервис Simple Entity Extractor (SEE) предназначен для выделения смысловых сущностей из текста. Входным значением для сервиса являются данные в текстовом формате. В ответ на входящий запрос сервис возвращает данные в формате JSON.		Сервис Simple Entity Extractor (SEE) предназначен для выделения смысловых сущностей из текста. Входным значением для сервиса являются данные в текстовом формате. В ответ на входящий запрос сервис возвращает данные в формате JSON.



	===== '''Термины и определения''' =====		===== '''Термины и определения''' =====
	Simple Entity Extractor (SEE) – сервис выделения сущностей.		Simple Entity Extractor (SEE) – сервис выделения сущностей.



	===== '''Системные требования''' =====		===== '''Системные требования''' =====
Строка 10:		Строка 13:

	Оперативной памяти необходимо не менее 4Gb.		Оперативной памяти необходимо не менее 4Gb.



	===== '''Установка/обновление сервиса''' =====		===== '''Установка/обновление сервиса''' =====
Строка 56:		Строка 61:

	2. Передать полученный UUID руководителю проекта для оформления лицензии.		2. Передать полученный UUID руководителю проекта для оформления лицензии.



	===== '''Предустановленные модели''' =====		===== '''Предустановленные модели''' =====
	В состоянии поставки SEE содержит специализированные модели. Предустановленные модели расположены в каталоге /opt/see/pretrained/. Одна из моделей — «fio» для выделения фамилий, имен, отчеств из текста. Для этой модели возможно создать пользовательский словарь на случай, если модель не смогла определить правильно ФИО. Пользовательские словари нужно располагать в папке /opt/see/pretrained/fio/custom (surnames.txt - фамилии, firstname.txt - имена, lastnames.txt - отчества, в именительном падеже).		В состоянии поставки SEE содержит специализированные модели. Предустановленные модели расположены в каталоге /opt/see/pretrained/. Одна из моделей — «fio» для выделения фамилий, имен, отчеств из текста. Для этой модели возможно создать пользовательский словарь на случай, если модель не смогла определить правильно ФИО. Пользовательские словари нужно располагать в папке /opt/see/pretrained/fio/custom (surnames.txt - фамилии, firstname.txt - имена, lastnames.txt - отчества, в именительном падеже).



	===== '''Конфигурирование параметров сервиса''' =====		===== '''Конфигурирование параметров сервиса''' =====
Строка 98:		Строка 107:
	\|Таймаут ответа от smc		\|Таймаут ответа от smc
	\|}		\|}



	===== '''Сбор данных об ошибках''' =====		===== '''Сбор данных об ошибках''' =====