SMC. Руководство администратора - История изменений

KorolkovS в 07:41, 29 января 2026

2026-01-29T07:41:00Z

← Предыдущая версия		Версия от 10:41, 29 января 2026
Строка 170:		Строка 170:
	\|cache.size.embedding		\|cache.size.embedding
	\|262144		\|262144
	~~\| rowspan="5"~~ \|Максимальный размер кэша векторов (~~штуки~~)		\|Максимальный размер кэша векторов (количество записей)
	\|-		\|-
	\|cache.size.classify		\|cache.size.classify
	\|32768		\|32768
			\|Максимальный размер кэша запросов классификации (количество записей)
	\|-		\|-
	\|cache.size.correction		\|cache.size.correction
	\|32768		\|32768
			\|Максимальный размер кэша запросов коррекции (количество записей)
	\|-		\|-
	\|cache.size.punctuation		\|cache.size.punctuation
	\|32768		\|32768
			\|Максимальный размер кэша запросов пунктуации (количество записей)
	\|-		\|-
	\|cache.size.similar		\|cache.size.similar
	\|32768		\|32768
			\|Максимальный размер кэша запросов похожести фраз (количество записей)
	\|-		\|-
	\|cache.update		\|cache.update

KorolkovS в 07:36, 29 января 2026

2026-01-29T07:36:30Z

@@ Строка 167: / Строка 167: @@
 |0.7
 |Порог отсева
 |-
 |devices.productionModel

KorolkovS в 10:43, 12 января 2026

2026-01-12T10:43:36Z

← Предыдущая версия		Версия от 13:43, 12 января 2026
Строка 198:		Строка 198:
	\|cluster.logfile		\|cluster.logfile
	\|logs/sync.log		\|logs/sync.log
	\|~~путь к логу~~ синхронизации ~~ноды~~ кластера		\|Файл логов синхронизации есть только на главном сервере кластера
	\|-		\|-
	\|cluster.statusFile		\|cluster.statusFile
	\|logs/sync.status		\|logs/sync.status
	\|~~путь к файлу статуса ноды~~ кластера		\|Статус задачи синхронизации есть только на главном сервере кластера
	\|-		\|-
	\|cluster.nodes		\|cluster.nodes
	\|[]		\|[]
	\|~~список IP адресов~~ нод кластера		\|Перечень подчиненных нод для синхронизации изменений заполняется только на главном сервере кластера
	\|}		\|}

Строка 217:		Строка 217:
	large_client_header_buffers 8 256k;		large_client_header_buffers 8 256k;


			====='''Работа в составе кластера'''=====

			Для высоконагруженных систем сервис можно расположить на нескольких нодах (виртуальных машинах). В этом случае, чтобы не потерять документы и изменения, полученные на одной из нод, выделяется один основной сервис и вспомогательные сервисы.

			* База файловая, в папке data.
			* lsync настроен через конфиг SMC для репликации базы на все указанные серверы в списке cluster.nodes: [], указываем все слейв-сервера.
			* На всех слейвах список cluster.nodes: [] оставляем пустым.
			* Векторная база на каждом сервере своя, она следит за своей папкой data и обновляет в оперативке по этой папке данные у себя.
			* UPS при изменении данных работает только с мастером SMC, а при запросе данных — со всеми серверами cluster, распределяя нагрузку.
			* В конфигурации UPS: в servers.smc.cluster.trainer указываем мастер-сервер, в servers.smc.cluster перечисляем все сервера кластера SMC, в том числе и мастер.

KorolkovS в 08:44, 12 января 2026

2026-01-12T08:44:14Z

← Предыдущая версия		Версия от 11:44, 12 января 2026
Строка 150:		Строка 150:
	\|logs.path		\|logs.path
	\|logs/		\|logs/
	\|~~Дерриктория~~ для хранения логов. Примеры абсолютного пути: "/var/log/smc/"		\|Директория для хранения логов. Примеры абсолютного пути: "/var/log/smc/"
	\|-		\|-
	\|logs.backups		\|logs.backups
Строка 168:		Строка 168:
	\|Порог отсева		\|Порог отсева
	\|-		\|-
	\|~~gpu~~.~~productionModels~~		\|devices.productionModel
	\|~~true~~		\|cuda:0
	\| rowspan="8" \|~~Флаг загрузки модели~~ в ~~GPU~~. ~~productionModels~~ подразумевает все рабочие модели классификации, которые создаются в системе. Остальные модели — сервисные: embeddingModel — языковая, punctuationModel — пунктуация, emotionsModel — анализ эмоций, compressorModel — модель сжатия фраз, toxicityModel — модель анализа фразы на токсичность. Можно отдельно по названию сервисной модели включать/выключать ее загрузку в GPU. Рабочие модели можно включить в память GPU только все вместе.		\| rowspan="9" \|Вычислительное устройство (cpu/cuda:N, где N — номер графического ускорителя), в ОЗУ которого осуществляется загрузка моделей. productionModel подразумевает все рабочие модели классификации, которые создаются в системе. Остальные модели — сервисные: embeddingModel — языковая, punctuationModel — пунктуация, emotionsModel — анализ эмоций, compressorModel — модель сжатия фраз, toxicityModel — модель анализа фразы на токсичность. Можно отдельно по названию сервисной модели включать/выключать ее загрузку в GPU. Рабочие модели можно включить в память GPU только все вместе.
			\|-
			\|devices.normalizationModel
			\|cuda:0
			\|-
			\|devices.embeddingModel
			\|cuda:0
			\|-
			\|devices.punctuationModel
			\|cuda:0
			\|-
			\|devices.emotionsModel
			\|cuda:0
	\|-		\|-
	\|~~gpu~~.~~embeddingModel~~		\|devices.compressorModel
	\|~~true~~		\|cuda:0
	\|-		\|-
	\|~~gpu~~.~~punctuationModel~~		\|devices.emotionsModel
	\|~~true~~		\|cuda:0
	\|-		\|-
	\|~~gpu~~.~~emotionsModel~~		\|devices.toxicityModel
	\|~~true~~		\|cuda:0
	\|-		\|-
	\|~~gpu~~.~~compressorModel~~		\|devices.correctionModel
	\|~~true~~		\|cuda:0
	\|-		\|-
	\|~~gpu~~.~~emotionsModel~~		\|cluster.logfile
	\|~~true~~		\|logs/sync.log
			\|путь к логу синхронизации ноды кластера
	\|-		\|-
	\|~~gpu~~.~~toxicityModel~~		\|cluster.statusFile
	\|~~true~~		\|logs/sync.status
			\|путь к файлу статуса ноды кластера
	\|-		\|-
	\|~~gpu~~.~~correctionModel~~		\|cluster.nodes
	\|~~true~~		\|[]
			\|список IP адресов нод кластера
	\|}		\|}

Ka.shapovalov в 05:28, 3 июля 2025

2025-07-03T05:28:32Z

← Предыдущая версия		Версия от 08:28, 3 июля 2025
Строка 159:		Строка 159:
	\|5242880		\|5242880
	\|Максимальный размер файла в байтах, триггер для ротации.		\|Максимальный размер файла в байтах, триггер для ротации.
			\|-
			\|noise.enabled
			\|true
			\|Детекция мусора при классификации (фраз, которые не относятся ни к одному классу)
			\|-
			\|noise.threshold
			\|0.7
			\|Порог отсева
	\|-		\|-
	\|gpu.productionModels		\|gpu.productionModels

KorolkovS: Добавление информации о лицензировании

2025-04-28T11:01:09Z

Добавление информации о лицензировании

← Предыдущая версия		Версия от 14:01, 28 апреля 2025
Строка 49:		Строка 49:

	Разрешите доступ к порту 6181 на нужном интерфейсе по протоколу tcp.		Разрешите доступ к порту 6181 на нужном интерфейсе по протоколу tcp.



			===== '''Лицензия''' =====
			Сервис не функционирует без действующей лицензии. Информация о лицензии хранится в файле:

			<code>/opt/smc/license.json</code>

			Файл лицензии должен соответствовать следующему формату:

			<code>{"service": "smc", "expire": "2045-01-01", "licenses": , "key": ""}</code>

			Для получения лицензии необходимо:

			1. Запустить сервис <code>systemctl start smc</code> и извлечь UUID, указанный в файле <code>/opt/smc/logs/log.txt</code>

			2. Передать полученный UUID руководителю проекта для оформления лицензии.

V.Kazantsev: /* Установка сервисных моделей SMC */

2025-02-27T08:42:27Z

Установка сервисных моделей SMC

← Предыдущая версия		Версия от 11:42, 27 февраля 2025
Строка 113:		Строка 113:

	'''ВНИМАНИЕ!''' Модели '''punctuation, embeddings, correction''' обязательны для установки, остальные - в зависимости от сценария использования.		'''ВНИМАНИЕ!''' Модели '''punctuation, embeddings, correction''' обязательны для установки, остальные - в зависимости от сценария использования.


	===== '''Установка моделей классификации''' =====		===== '''Установка моделей классификации''' =====
	Модель классификации — это модель, обученная на определенном наборе данных (корпусе) и предназначенная непосредственно для классификации. Установка модели возможна запросом с помощью методов API. Методы описаны в [https://wiki.connect2ai.net/index.php/SMC._%D0%A0%D1%83%D0%BA%D0%BE%D0%B2%D0%BE%D0%B4%D1%81%D1%82%D0%B2%D0%BE_%D0%BF%D0%BE%D0%BB%D1%8C%D0%B7%D0%BE%D0%B2%D0%B0%D1%82%D0%B5%D0%BB%D1%8F руководстве пользователя]. Также модель может быть установлена копированием содержимого каталога /opt/smc/nnets/<имя модели> с одного сервера smc на другой. Внимание! При этом способе UPS, в конфигурационном файле которого указан новый smc, не увидит скопированную модель.		Модель классификации — это модель, обученная на определенном наборе данных (корпусе) и предназначенная непосредственно для классификации. Установка модели возможна запросом с помощью методов API. Методы описаны в [https://wiki.connect2ai.net/index.php/SMC._%D0%A0%D1%83%D0%BA%D0%BE%D0%B2%D0%BE%D0%B4%D1%81%D1%82%D0%B2%D0%BE_%D0%BF%D0%BE%D0%BB%D1%8C%D0%B7%D0%BE%D0%B2%D0%B0%D1%82%D0%B5%D0%BB%D1%8F руководстве пользователя]. Также модель может быть установлена копированием содержимого каталога /opt/smc/nnets/<имя модели> с одного сервера smc на другой. Внимание! При этом способе UPS, в конфигурационном файле которого указан новый smc, не увидит скопированную модель.

V.Kazantsev: /* Установка сервисных моделей SMC */

2025-02-27T08:41:48Z

Установка сервисных моделей SMC

← Предыдущая версия		Версия от 11:41, 27 февраля 2025
Строка 112:		Строка 112:
	\|}		\|}

			'''ВНИМАНИЕ!''' Модели '''punctuation, embeddings, correction''' обязательны для установки, остальные - в зависимости от сценария использования.
	===== '''Установка моделей классификации''' =====		===== '''Установка моделей классификации''' =====
	Модель классификации — это модель, обученная на определенном наборе данных (корпусе) и предназначенная непосредственно для классификации. Установка модели возможна запросом с помощью методов API. Методы описаны в [https://wiki.connect2ai.net/index.php/SMC._%D0%A0%D1%83%D0%BA%D0%BE%D0%B2%D0%BE%D0%B4%D1%81%D1%82%D0%B2%D0%BE_%D0%BF%D0%BE%D0%BB%D1%8C%D0%B7%D0%BE%D0%B2%D0%B0%D1%82%D0%B5%D0%BB%D1%8F руководстве пользователя]. Также модель может быть установлена копированием содержимого каталога /opt/smc/nnets/<имя модели> с одного сервера smc на другой. Внимание! При этом способе UPS, в конфигурационном файле которого указан новый smc, не увидит скопированную модель.		Модель классификации — это модель, обученная на определенном наборе данных (корпусе) и предназначенная непосредственно для классификации. Установка модели возможна запросом с помощью методов API. Методы описаны в [https://wiki.connect2ai.net/index.php/SMC._%D0%A0%D1%83%D0%BA%D0%BE%D0%B2%D0%BE%D0%B4%D1%81%D1%82%D0%B2%D0%BE_%D0%BF%D0%BE%D0%BB%D1%8C%D0%B7%D0%BE%D0%B2%D0%B0%D1%82%D0%B5%D0%BB%D1%8F руководстве пользователя]. Также модель может быть установлена копированием содержимого каталога /opt/smc/nnets/<имя модели> с одного сервера smc на другой. Внимание! При этом способе UPS, в конфигурационном файле которого указан новый smc, не увидит скопированную модель.

E.Elagina: /* Конфигурирование параметров сервиса */

2025-02-20T10:15:54Z

Конфигурирование параметров сервиса

← Предыдущая версия		Версия от 13:15, 20 февраля 2025
Строка 134:		Строка 134:
	\|logs.backups		\|logs.backups
	\|10		\|10
	\|Количество файлов ротации		\|Количество файлов ротации.
	\|-		\|-
	\|logs.maxSize		\|logs.maxSize
	\|5242880		\|5242880
	\|Максимальный размер файла в байтах, триггер для ротации		\|Максимальный размер файла в байтах, триггер для ротации.
	\|-		\|-
	\|gpu.productionModels		\|gpu.productionModels

E.Elagina: /* Установка/обновление сервиса SMC */

2025-02-20T09:32:04Z

Установка/обновление сервиса SMC

← Предыдущая версия		Версия от 12:32, 20 февраля 2025
Строка 29:		Строка 29:
	** <code>/opt/smc/inupdate -b</code> – обновить до последней beta версии;		** <code>/opt/smc/inupdate -b</code> – обновить до последней beta версии;
	** <code>/opt/smc/inupdate -r</code> – обновить до последней release версии;		** <code>/opt/smc/inupdate -r</code> – обновить до последней release версии;
	** <code>/opt/smc/inupdate -n</code> – обновить до последней версии (~~не важно~~ beta или release).		** <code>/opt/smc/inupdate -n</code> – обновить до последней версии (неважно beta или release).
	* Установить модели <code>/opt/smc/inmodel</code> в интерактивном режиме.		* Установить модели <code>/opt/smc/inmodel</code> в интерактивном режиме.
	* Проверить актуальную версию продукта <code>curl -s "<nowiki>https://repo.connect2ai.net/api/smc/version</nowiki></code>.		* Проверить актуальную версию продукта <code>curl -s "<nowiki>https://repo.connect2ai.net/api/smc/version</nowiki></code>.
Строка 36:		Строка 36:
	* В папке с продуктом можно добавить 2 файла конфигурации (допускается один общий файл на все продукты в папке с окружением /opt/pve/):		* В папке с продуктом можно добавить 2 файла конфигурации (допускается один общий файл на все продукты в папке с окружением /opt/pve/):
	** echo -n <code>"[user]:[pass]"</code> > /opt/smc/.userapi (это файл авторизации в API, нужен для обновления и загрузки моделей)		** echo -n <code>"[user]:[pass]"</code> > /opt/smc/.userapi (это файл авторизации в API, нужен для обновления и загрузки моделей)
	** echo -n <code>"<nowiki>http://example.com:3128</nowiki> [user] [password]"</code> > /opt/smc/.proxy (это файл конфигурации proxy необходим для обновления и загрузки моделей, при отсутствующем прямом ~~подключение~~ к интернету)		** echo -n <code>"<nowiki>http://example.com:3128</nowiki> [user] [password]"</code> > /opt/smc/.proxy (это файл конфигурации proxy, необходим для обновления и загрузки моделей, при отсутствующем прямом подключении к интернету)

	При обновлении следующий список файлов и папок сохраняется: .userapi, .proxy, logs, nnets, config.json, cache, pretrained, pve, data. Сервис не требует остановки и возвращается в актуальное состояние после обновления.		При обновлении следующий список файлов и папок сохраняется: .userapi, .proxy, logs, nnets, config.json, cache, pretrained, pve, data. Сервис не требует остановки и возвращается в актуальное состояние после обновления.