BSS. Руководство администратора - История изменений

KorolkovS: изменения касательно Apscheduler

2025-08-25T11:55:27Z

изменения касательно Apscheduler

← Предыдущая версия		Версия от 14:55, 25 августа 2025
Строка 57:		Строка 57:
	\|logs.path		\|logs.path
	\|"logs/"		\|"logs/"
	\|~~Дерриктория~~ для хранения логов. Примеры абсолютного пути: "/var/log/bss/"		\|Директория для хранения логов. Примеры абсолютного пути: "/var/log/bss/"
	\|-		\|-
	\|logs.backups		\|logs.backups
Строка 72:		Строка 72:
	\|-		\|-
	\|cleanup_time		\|cleanup_time
	\|"20~~:00~~"		\|"0 20 * * *"
	\|Время старта очистки устаревших копий.		\|Время старта очистки устаревших копий.
	\|-		\|-
Строка 90:		Строка 90:
	\|-		\|-
	\|servers.schedule_time		\|servers.schedule_time
	\|"19~~:00~~"		\|"0 19 * * *"
	\|Время старта задания резервного копирования. Для каждого сервера время ~~лучше изменить~~.		\|Время старта задания резервного копирования. Для каждого сервера целесообразно установить разное время.
	\|-		\|-
	\|servers.retention_days		\|servers.retention_days
Строка 103:		Строка 103:
	\|Расположение лог файла синхронизации.		\|Расположение лог файла синхронизации.
	\|-		\|-
	\|mirror.~~logfile~~		\|mirror.statusFile
	\|"logs/sync.status"		\|"logs/sync.status"
	\|Расположение файла статуса lsyncd.		\|Расположение файла статуса lsyncd.

E.Elagina: /* Конфигурирование параметров сервиса */

2025-02-20T10:15:22Z

Конфигурирование параметров сервиса

← Предыдущая версия		Версия от 13:15, 20 февраля 2025
Строка 51:		Строка 51:
	{\| class="wikitable"		{\| class="wikitable"
	\|+		\|+
	!Параметр		!'''Параметр'''
	!По умолчанию		!'''По умолчанию'''
	!Назначение		!'''Назначение'''
	\|-		\|-
	\|logs.path		\|logs.path

E.Elagina: /* Конфигурирование параметров сервиса */

2025-02-20T10:14:59Z

Конфигурирование параметров сервиса

← Предыдущая версия		Версия от 13:14, 20 февраля 2025
Строка 75:		Строка 75:
	\|Время старта очистки устаревших копий.		\|Время старта очистки устаревших копий.
	\|-		\|-
	\| colspan="3" \|'''Раздел servers -''' серверы с данными		\| colspan="3" \|'''Раздел servers''' — серверы с данными.
	\|-		\|-
	\|servers.ip_address		\|servers.ip_address
Строка 97:		Строка 97:
	\|Глубина хранения резервных копий в сутках.		\|Глубина хранения резервных копий в сутках.
	\|-		\|-
	\| colspan="3" \|'''Раздел mirror -''' серверы на которые будут распространяться готовые резервные копии, и параметры работы lsyncd		\| colspan="3" \|'''Раздел mirror''' — серверы, на которые будут распространяться готовые резервные копии, и параметры работы lsyncd.
	\|-		\|-
	\|mirror.logfile		\|mirror.logfile
	\|"logs/sync.log"		\|"logs/sync.log"
	\|Расположение лог файла синхронизации		\|Расположение лог файла синхронизации.
	\|-		\|-
	\|mirror.logfile		\|mirror.logfile
	\|"logs/sync.status"		\|"logs/sync.status"
	\|Расположение файла статуса lsyncd		\|Расположение файла статуса lsyncd.
	\|-		\|-
	\|mirror.nodes		\|mirror.nodes

E.Elagina: /* Общее описание */

2025-02-20T10:14:17Z

Общее описание

← Предыдущая версия		Версия от 13:14, 20 февраля 2025
Строка 9:		Строка 9:

	===== '''Системные требования''' =====		===== '''Системные требования''' =====
	Для нормальной работы сервиса необходимо обеспечить не менее 2 потоков CPU >= 2.~~20GHz~~.		Для нормальной работы сервиса необходимо обеспечить не менее 2 потоков CPU >= 2.20 GHz.
	Оперативной памяти необходимо не менее ~~2Gb~~.
			Оперативной памяти необходимо не менее 2 GB.



	===== '''Установка/обновление сервиса''' =====		===== '''Установка/обновление сервиса''' =====
	[https://cloud.connect2ai.net/index.php/apps/files/?dir=/bss&fileid=581 Дистрибутив] распространяется в виде установочных пакетов для окружения и сервиса. Загрузите установочные пакеты на сервер и выполните команды для ~~Вашей~~ системы в каталоге с пакетом.		[https://cloud.connect2ai.net/index.php/apps/files/?dir=/bss&fileid=581 Дистрибутив] распространяется в виде установочных пакетов для окружения и сервиса. Загрузите установочные пакеты на сервер и выполните команды для вашей системы в каталоге с пакетом.

	Перед установкой непосредственно сервиса необходимо [[PVE. Установка сервисного пакета окружения\|установить сервисный пакет окружения]].		Перед установкой непосредственно сервиса необходимо [[PVE. Установка сервисного пакета окружения\|установить сервисный пакет окружения]].
Строка 20:		Строка 22:
	* Загрузить последнюю версию продукта <code>curl -s "<nowiki>https://repo.connect2ai.net/api/bss/new</nowiki>" --user '[user]:[pass]' 2>&1 \| bash</code> или в интерактивном режиме <code>bash -c "$(curl -s <nowiki>https://repo.connect2ai.net/api/bss</nowiki> --user '[user]:[pass]' 2>&1)"</code>.		* Загрузить последнюю версию продукта <code>curl -s "<nowiki>https://repo.connect2ai.net/api/bss/new</nowiki>" --user '[user]:[pass]' 2>&1 \| bash</code> или в интерактивном режиме <code>bash -c "$(curl -s <nowiki>https://repo.connect2ai.net/api/bss</nowiki> --user '[user]:[pass]' 2>&1)"</code>.
	* Обновить BSS <code>/opt/bss/inupdate</code> в интерактивном режиме. Или запустить с ключом:		* Обновить BSS <code>/opt/bss/inupdate</code> в интерактивном режиме. Или запустить с ключом:
	** <code>/opt/bss/inupdate -b</code> - обновить до последней beta версии;		** <code>/opt/bss/inupdate -b</code> – обновить до последней beta версии;
	** <code>/opt/bss/inupdate -r</code> - обновить до последней release версии;		** <code>/opt/bss/inupdate -r</code> – обновить до последней release версии;
	** <code>/opt/bss/inupdate -n</code> - обновить до последней версии (~~не важно~~ beta или release).		** <code>/opt/bss/inupdate -n</code> – обновить до последней версии (неважно beta или release).
	* Проверить актуальную версию продукта <code>curl -s "<nowiki>https://repo.connect2ai.net/api/bss/version</nowiki></code>.		* Проверить актуальную версию продукта <code>curl -s "<nowiki>https://repo.connect2ai.net/api/bss/version</nowiki></code>.
	* Посмотреть лог изменений <code>curl -s "<nowiki>https://repo.connect2ai.net/api/bss/changelog</nowiki>" --user '[user]:[pass]'</code>.		* Посмотреть лог изменений <code>curl -s "<nowiki>https://repo.connect2ai.net/api/bss/changelog</nowiki>" --user '[user]:[pass]'</code>.
	* Полное описание всех команд API репозитория можно найти по ссылке '''https://repo.connect2ai.net/api'''. <code>[user]:[pass]</code> - это тот же логин и пароль, что и от [https://cloud.connect2ai.net '''Nextcloud'''.]		* Полное описание всех команд API репозитория можно найти по ссылке '''https://repo.connect2ai.net/api'''. <code>[user]:[pass]</code> – это тот же логин и пароль, что и от [https://cloud.connect2ai.net '''Nextcloud'''.]
	* В папке с продуктом можно добавить 2 файла конфигурации (допускается один общий файл на все продукты в папке с окружением /opt/pve/):		* В папке с продуктом можно добавить 2 файла конфигурации (допускается один общий файл на все продукты в папке с окружением /opt/pve/):
	** echo -n <code>"[user]:[pass]"</code> > /opt/bss/.userapi (это файл авторизации в API, нужен для обновления)		** echo -n <code>"[user]:[pass]"</code> > /opt/bss/.userapi (это файл авторизации в API, нужен для обновления)
	** echo -n <code>"<nowiki>http://example.com:3128</nowiki> [user] [password]"</code> > /opt/bss/.proxy (это файл конфигурации proxy необходим для обновления, при отсутствующем прямом ~~подключение~~ к интернету)		** echo -n <code>"<nowiki>http://example.com:3128</nowiki> [user] [password]"</code> > /opt/bss/.proxy (это файл конфигурации proxy? необходим для обновления, при отсутствующем прямом подключении к интернету)

	При ~~обновление~~ следующий список файлов и папок сохраняется: .userapi, .proxy, logs, nnets, config.json, cache, pretrained, pve, data. Сервис не требует остановки и возвращается в актуальное состояние после обновления.		При обновлении следующий список файлов и папок сохраняется: .userapi, .proxy, logs, nnets, config.json, cache, pretrained, pve, data. Сервис не требует остановки и возвращается в актуальное состояние после обновления.

	Не забудьте запустить сервис и включить в автозапуск в системе:		Не забудьте запустить сервис и включить в автозапуск в системе:
Строка 44:		Строка 46:

	===== '''Конфигурирование параметров сервиса''' =====		===== '''Конфигурирование параметров сервиса''' =====
	Настройка параметров сервиса bss производится в файле /opt/bss/config.json. Кроме настройки параметров необходимо для пользователей (servers.username) обеспечить ssh доступ по ключу. Бэкап сервер по ssh согласно расписаниям раз в сутки забирает с рабочих серверов папки с данными и складывает их в виде tar.gz архивов в локальную директорию. Также через lsyncd готовые архивы зеркалируются на другие сервера из раздела mirror конфига.		Настройка параметров сервиса bss производится в файле /opt/bss/config.json. Кроме настройки параметров, необходимо для пользователей (servers.username) обеспечить ssh-доступ по ключу. Бэкап-сервер по ssh согласно расписаниям раз в сутки забирает с рабочих серверов папки с данными и складывает их в виде tar.gz-архивов в локальную директорию. Также через lsyncd готовые архивы зеркалируются на другие сервера из раздела mirror конфига.

	Описание параметров приведено в таблице.		Описание параметров приведено в таблице.
Строка 59:		Строка 61:
	\|logs.backups		\|logs.backups
	\|10		\|10
	\|Количество файлов ротации		\|Количество файлов ротации.
	\|-		\|-
	\|logs.maxSize		\|logs.maxSize
	\|5242880		\|5242880
	\|Максимальный размер файла в байтах, триггер для ротации		\|Максимальный размер файла в байтах, триггер для ротации.
	\|-		\|-
	\|local_destination		\|local_destination
	\|"/tmp"		\|"/tmp"
	\|Директория хранения резервных копий		\|Директория хранения резервных копий.
	\|-		\|-
	\|cleanup_time		\|cleanup_time
	\|"20:00"		\|"20:00"
	\|Время старта очистки устаревших копий		\|Время старта очистки устаревших копий.
	\|-		\|-
	\| colspan="3" \|'''Раздел servers -''' серверы с данными		\| colspan="3" \|'''Раздел servers -''' серверы с данными
Строка 77:		Строка 79:
	\|servers.ip_address		\|servers.ip_address
	\|"1.2.3.4"		\|"1.2.3.4"
	\|Адрес сервера, данные сервисов которого необходимо резервировать. Серверов в списке может быть несколько		\|Адрес сервера, данные сервисов которого необходимо резервировать. Серверов в списке может быть несколько.
	\|-		\|-
	\|servers.username		\|servers.username
	\|"root"		\|"root"
	\|Пользователь сервера с правами на резервируемые данные. Для этого пользователя должен быть прописан доступ по ~~ssh~~ ключу.		\|Пользователь сервера с правами на резервируемые данные. Для этого пользователя должен быть прописан доступ по SSH-ключу.
	\|-		\|-
	\|servers.remote_paths		\|servers.remote_paths
Строка 107:		Строка 109:
	\|mirror.nodes		\|mirror.nodes
	\|{"1.2.3.4":"/storage/backups"}		\|{"1.2.3.4":"/storage/backups"}
	\|Ноды на которые с мастер-сервера будут распространяться изменения. В словаре IP адрес и путь хранения зеркала бэкап сервера. Серверов может быть несколько. Для каждого должен быть настроен ~~ssh~~ доступ по ключу		\|Ноды, на которые с мастер-сервера будут распространяться изменения. В словаре IP-адрес и путь хранения зеркала бэкап-сервера. Серверов может быть несколько. Для каждого должен быть настроен SSH-доступ по ключу.
	\|}		\|}

V.Kazantsev: /* Конфигурирование параметров сервиса */

2025-02-18T13:31:39Z

Конфигурирование параметров сервиса

← Предыдущая версия		Версия от 16:31, 18 февраля 2025
Строка 98:		Строка 98:
	\|-		\|-
	\|mirror.logfile		\|mirror.logfile
	\|		\|"logs/sync.log"
	\|Расположение лог файла синхронизации		\|Расположение лог файла синхронизации
	\|-		\|-
	\|mirror.logfile		\|mirror.logfile
	\|logs/sync.status		\|"logs/sync.status"
	\|Расположение файла статуса lsyncd		\|Расположение файла статуса lsyncd
	\|-		\|-

V.Kazantsev: /* Конфигурирование параметров сервиса */

2025-02-18T13:31:03Z

Конфигурирование параметров сервиса

← Предыдущая версия		Версия от 16:31, 18 февраля 2025
Строка 95:		Строка 95:
	\|Глубина хранения резервных копий в сутках.		\|Глубина хранения резервных копий в сутках.
	\|-		\|-
	\| colspan="3" \|'''Раздел mirror -''' ~~сервера~~ на которые будут распространяться готовые резервные копии, и параметры работы lsyncd		\| colspan="3" \|'''Раздел mirror -''' серверы на которые будут распространяться готовые резервные копии, и параметры работы lsyncd
	\|-		\|-
	\|mirror.logfile		\|mirror.logfile

V.Kazantsev в 13:29, 18 февраля 2025

2025-02-18T13:29:48Z

← Предыдущая версия		Версия от 16:29, 18 февраля 2025
Строка 109:		Строка 109:
	\|Ноды на которые с мастер-сервера будут распространяться изменения. В словаре IP адрес и путь хранения зеркала бэкап сервера. Серверов может быть несколько. Для каждого должен быть настроен ssh доступ по ключу		\|Ноды на которые с мастер-сервера будут распространяться изменения. В словаре IP адрес и путь хранения зеркала бэкап сервера. Серверов может быть несколько. Для каждого должен быть настроен ssh доступ по ключу
	\|}		\|}


	===== '''Сбор данных об ошибках''' =====		===== '''Сбор данных об ошибках''' =====

V.Kazantsev: /* Конфигурирование параметров сервиса */

2025-02-18T13:29:10Z

Конфигурирование параметров сервиса

← Предыдущая версия		Версия от 16:29, 18 февраля 2025
Строка 107:		Строка 107:
	\|mirror.nodes		\|mirror.nodes
	\|{"1.2.3.4":"/storage/backups"}		\|{"1.2.3.4":"/storage/backups"}
	\|Ноды на которые с мастер-сервера будут распространяться изменения. В словаре IP адрес и путь хранения зеркала бэкап сервера.		\|Ноды на которые с мастер-сервера будут распространяться изменения. В словаре IP адрес и путь хранения зеркала бэкап сервера. Серверов может быть несколько. Для каждого должен быть настроен ssh доступ по ключу
	\|}		\|}

V.Kazantsev: /* Конфигурирование параметров сервиса */

2025-02-18T13:26:37Z

Конфигурирование параметров сервиса

← Предыдущая версия		Версия от 16:26, 18 февраля 2025
Строка 40:		Строка 40:
	<code>systemctl status bss.service</code>		<code>systemctl status bss.service</code>

	Разрешите доступ к порту ~~6184~~ на нужном интерфейсе по протоколу tcp.		Разрешите доступ к порту 6199 на нужном интерфейсе по протоколу tcp.


	===== '''Конфигурирование параметров сервиса''' =====		===== '''Конфигурирование параметров сервиса''' =====
	Настройка параметров сервиса bss производится в файле /opt/bss/config.json		Настройка параметров сервиса bss производится в файле /opt/bss/config.json. Кроме настройки параметров необходимо для пользователей (servers.username) обеспечить ssh доступ по ключу. Бэкап сервер по ssh согласно расписаниям раз в сутки забирает с рабочих серверов папки с данными и складывает их в виде tar.gz архивов в локальную директорию. Также через lsyncd готовые архивы зеркалируются на другие сервера из раздела mirror конфига.

	Описание параметров приведено в таблице		Описание параметров приведено в таблице.
	{\| class="wikitable"		{\| class="wikitable"
	\|+		\|+
Строка 54:		Строка 54:
	\|-		\|-
	\|logs.path		\|logs.path
	\|logs/		\|"logs/"
	\|Дерриктория для хранения логов. Примеры абсолютного пути: "/var/log/bss/"		\|Дерриктория для хранения логов. Примеры абсолютного пути: "/var/log/bss/"
	\|-		\|-
Строка 65:		Строка 65:
	\|Максимальный размер файла в байтах, триггер для ротации		\|Максимальный размер файла в байтах, триггер для ротации
	\|-		\|-
	\|~~stricts~~		\|local_destination
	\|[ "не" ]		\|"/tmp"
	\|"~~Строгие частицы~~" - ~~частицы речи меняющие смысл фразы~~. ~~После применения настройки~~, ~~если сущность содержит такую частицу, то фраза без этой частицы не вызовет положительного срабатывания~~.		\|Директория хранения резервных копий
			\|-
			\|cleanup_time
			\|"20:00"
			\|Время старта очистки устаревших копий
			\|-
			\| colspan="3" \|'''Раздел servers -''' серверы с данными
			\|-
			\|servers.ip_address
			\|"1.2.3.4"
			\|Адрес сервера, данные сервисов которого необходимо резервировать. Серверов в списке может быть несколько
			\|-
			\|servers.username
			\|"root"
			\|Пользователь сервера с правами на резервируемые данные. Для этого пользователя должен быть прописан доступ по ssh ключу.
			\|-
			\|servers.remote_paths
			\|["/tmp/xxx"]
			\|Список каталогов и файлов для резервирования с полными путями.
			\|-
			\|servers.schedule_time
			\|"19:00"
			\|Время старта задания резервного копирования. Для каждого сервера время лучше изменить.
			\|-
			\|servers.retention_days
			\|7
			\|Глубина хранения резервных копий в сутках.
			\|-
			\| colspan="3" \|'''Раздел mirror -''' сервера на которые будут распространяться готовые резервные копии, и параметры работы lsyncd
			\|-
			\|mirror.logfile
			\|
			\|Расположение лог файла синхронизации
			\|-
			\|mirror.logfile
			\|logs/sync.status
			\|Расположение файла статуса lsyncd
			\|-
			\|mirror.nodes
			\|{"1.2.3.4":"/storage/backups"}
			\|Ноды на которые с мастер-сервера будут распространяться изменения. В словаре IP адрес и путь хранения зеркала бэкап сервера.
	\|}		\|}

	===== '''Сбор данных об ошибках''' =====		===== '''Сбор данных об ошибках''' =====
	Логи сервиса по умолчанию находятся в файле /opt/~~ups~~/logs/log.txt		Логи сервиса по умолчанию находятся в файле /opt/bss/logs/log.txt

V.Kazantsev в 12:47, 18 февраля 2025

2025-02-18T12:47:36Z

← Предыдущая версия		Версия от 15:47, 18 февраля 2025
Строка 2:		Строка 2:
	===== '''Общее описание''' =====		===== '''Общее описание''' =====
	Сервис Backup Service System (BSS) предназначен для резервного копирования данных сервисов Флора AI.		Сервис Backup Service System (BSS) предназначен для резервного копирования данных сервисов Флора AI.


	===== '''Термины и определения''' =====		===== '''Термины и определения''' =====
Строка 10:		Строка 11:
	Для нормальной работы сервиса необходимо обеспечить не менее 2 потоков CPU >= 2.20GHz.		Для нормальной работы сервиса необходимо обеспечить не менее 2 потоков CPU >= 2.20GHz.
	Оперативной памяти необходимо не менее 2Gb.		Оперативной памяти необходимо не менее 2Gb.