Ответы на частые вопросы про TrueNAS SCALE и iSCSI-диска

[KasperZzz(22)]

1. Для чего нужен TrueNAS SCALE и iSCSI?

TrueNAS SCALE — это мощная система для управления хранилищем данных, основанная на Linux, которая поддерживает масштабируемость и гибкость для различных задач. iSCSI (Internet Small Computer Systems Interface) используется для предоставления доступа к дискам через сеть, как будто они подключены локально. Мы, например, используем TrueNAS SCALE с iSCSI для облачного гейминга: один диск клонируется и становится доступным сразу на множестве компьютеров. Это позволяет централизованно хранить игровые данные и быстро раздавать их на все машины в сети, экономя место и упрощая управление.

2. Сколько стоит примерно создать такой сервер?

Стоимость зависит от оборудования, которое вы выберете, но вот пример на основе твоих данных:

Процессор Intel(R) Xeon(R) CPU E5-2630L v3 - ЦЕНА (1 000 ₽);

Материнская плата MU70-SU0 — ЦЕНА (13 000 ₽);

Сетевая карта 2x10G PCIe — ЦЕНА (3 000 ₽);

Свитч 10G/2.5G на 8 портов — ЦЕНА (5 000 ₽);

Память 128 ГБ (2x64 ГБ) — ЦЕНА (по 6 000 ₽ за модуль, итого 12 000 ₽);

Диски SSD MX500 (4 шт.) — ЦЕНА (по 17 000 ₽ за штуку, итого 68 000 ₽);

Сетевые карты 2.5G для каждого ПК — ЦЕНА (по 1 100 ₽ за штуку).
Плюс мелочёвка вроде кабелей, которую я не считал. Итого без сетевых карт для ПК и мелочей выходит около 101 000 ₽ за сервер. Это примерная база, которую можно удешевить или улучшить в зависимости от задач.

3. Какая скорость такого диска в сети?

Скорость зависит от оборудования и настроек сети. У меня при копировании выходит примерно 240 МБ/с, с пиками до 280 МБ/с и просадками до 100 МБ/с на мелких файлах. Это типично для сети 2.5G или 10G с учётом накладных расходов iSCSI и нагрузки на диски.
Для сравнения, в идеальных условиях SSD вроде MX500 на 10G-сети могут выдавать до 500-600 МБ/с, но реальная скорость часто ниже из-за сетевых задержек или ограничений процессора.

4. При скольки компьютерах становится выгодно собирать такой сервер в сети?

Экономия и удобство начинают ощущаться примерно с 4 компьютеров. Если у каждого ПК свой диск, то это дороже и сложнее в управлении, чем один централизованный сервер. Для начала можно даже собрать сервер из подручного железа (старый ПК, пара SSD), главное — обеспечить хорошую сеть (хотя бы 2.5G). С 4+ машин ты уже выигрываешь в цене на диски, упрощаешь обновление данных и снижаешь нагрузку на локальное хранилище каждого ПК.


Задавайте вопросы, добавим ответы на них.

[Hamar]

Добрый день!

Примерно понятно что делает TrueNas но не до конца понятно как это работает на реальной машине с играми.

1. Я правильно думаю что на "клиентском" компьютере получается 2 диска - первый реальный на котором стоит система и второй сетевой с клоном TrueNas?

2. Тогда получается на системном диске мы по прежнему используем Shadow Defender для защиты данных?

3. А приложение МТС? Его можно поставить на любой диск но информацию о играх оно хранит на системном диске. Т.е. установка новых игр будет делаться "вручную" на каждой машине отдельно?

4. Как приложение Стим "терпит" сетевой диск. Если при следующей загрузке приложению подсовывают диск с обновлёнными играми. Приложение видит их как обновлённые (хотя оно само этого не делало)?

5. А обновления приложения МТС тоже нормально будут работать с сетевого диска?

6. Ну и ещё не понятно этот  iSCSI-диск это всё тот же smb диск т.е. обычная сетевая папка доступная в проводнике Виндовс, которую можно сделать локальным диском. Или это какая то другая технология. Есть ли какие то отличие в подключении такого диска к клиентской машине

[KasperZzz(22)]

 

1. Создание эталонного диска и клонов
   Не совсем так. Пример: у вас есть 5 ПК, сервер с Windows и TrueNAS. В TrueNAS вы создаете эталонный диск, подключаете его к Windows-серверу, устанавливаете на него нужные игры и обновляете их. Затем в TrueNAS создаете клон этого диска с играми и подключаете его через iSCSI к первому ПК. Аналогично создаете клоны для остальных ПК. Если клон повреждается (например, файлы удалены или испорчены), вы можете удалить его и создать новый из эталона.
2. Необходимость диска C для сохранений
   Да, защита диска C обязательна для Shadow, чтобы после перезагрузки восстанавливались папки с сохранениями и настройками.
3. Обновление игр и копирование сохранений
   Можно добавить новые игры на один ПК, настроить сохранения, а затем скопировать файл базы с играми и сохранениями на остальные компьютеры. Однако на каждом ПК придется запустить игру, чтобы скомпилировать шейдеры.
4. Обновление игр через Steam
   У меня с Steam проблем нет. Игры обновляются на серверном ПК, после чего я пересоздаю клоны для каждого ПК с уже обновленными версиями. После перезагрузки Steam автоматически подхватывает обновленные игры.
5. МТС на сетевом диске
   Не вижу смысла размещать МТС на сетевом диске.
6. Разница между iSCSI и SMB
   iSCSI — это не SMB. По сути, iSCSI работает как виртуальный SATA-кабель, который через локальную сеть подключает виртуальный диск к ПК.

Вывод
iSCSI экономит место и деньги, особенно при использовании 4 и более ПК. Вместо установки 30 игр на каждый компьютер вы можете хранить 200 игр на одном диске. Кроме того, iSCSI лишен недостатков SMB, таких как проблемы с одновременным изменением файлов в сетевой папке.

[Hamar]

О Спасибо большое за ответ!

Я пока сам пытался в теме разобраться, поставил себе пару виртуальных машин и потыкал этот TrueNas.
Теперь и с Вашими ответами, примерно понятно как это должно работать но новые вопросы появились.


1. . МТС на сетевом диске
Действительно много времени занимает обновление приложения МТС.
Попробовал пока папку с приложением МТС добавить в исключения Shadow. Что бы обновлять его не выходя из защиты.

2. Я правильно понял что для подмены снапшота iSCSI-диска  необходимо сначала выключать компьютеры к которым он подключен?
Тогда получается удалённо это нельзя сделать. Ведь потом компьютеры с iSCSI-диском надо будет включить обратно.

Для обновления игр это ок - я это делаю редко и находясь рядом с компьютерами.

3. Я многое прочитал что производительность TrueNas но так ничего и не понял. Все тесты что я видел какие то однобокие, с одной машины в сети.
А мне интересно какой процессор в TrueNas нужен для обслуживания допустим 10 клиентов на скорости 2.5Гбит у них.
За 5 тысяч рублей.. за 20, за 50..
Если посмотреть на готовые Nas в магазинах так там вообще какие то 1-2 ядерные ЦПУ стоят я частотой 2ГГц.. почему так?

Я так же знаю что TrueNas использует архивирование данных а это затратная задача ну и вообще обслуживание 10 запросов параллельно без задержек очевидно требует какой то мощности.

4. Про скорость сети.
Самую дешевый коммутор что я нашел в магазине Зарегестрируйтесь для просмотра ссылок.
И поставить в TrueNas  оптику , наприер такую Зарегестрируйтесь для просмотра ссылок.
Это будет работать хорошо или есть какая то проблема?
У Вас в списке коммутатор за 5к.. имеется в виду с Алика? Типо такого Зарегестрируйтесь для просмотра ссылок.


5. И про RAID и скорость дисков. У меня уже есть запас NVME PCIe v4 .. к ним вопросов нет
Но я видел тесты скорости TrueNas c ssd и там бывали какие то смешные цифры 100-200Мб\с ..  возможно я не нашёл нормального теста с нужными мне ситуациями.
Какие настройки выставить что бы получить полную скорость для 10Гбит? Архивирование, Какой тип RAID выбирать .. миррор, RAIDz или вообще без него.


 

[R12serg]

Здравствуйте вы писали" Для начала можно даже собрать сервер из подручного железа (старый ПК, пара SSD), главное — обеспечить хорошую сеть (хотя бы 2.5G)" Скажите, а  нельзя обеспечить прямую раздачу с роутера 5G? Какая схема примерно понятно, от свич подключаются к интернету 8 пк, и он же по вайфаю раздаёт как бы подключение к клонированным дискам?    И если есть возможность ссылки на на комплектующие и оборудование.

[R12serg]

Почитал про скорость TrueNAS при передаче данных и получается, что скорость ограничивается банально сетевой картой 2,5 Гбит/с это 250мб/с получается нет смысла использовать ссд в пуле, сата диски в рейде будут выдавать такую же скорость?

[KasperZzz(22)]

Да, упор в 2.5 сетевую. Но этого для игроков вполне хватает. Будет 10г вся сетка, будет быстрее, но думаю начнется драка за ресурсы трунас.

Процессор любой можно. Если в не собираетесь разворачивать виртуалки на трунасе или включать ненужную дедупликацию.

WiFi можно использовать, но это нестабильное соединение. Потому будут лаги. В таких делах только провод, wifi это крайний вариант для временного решения.

У меня все делается через аккаунт игровой, тип учетки сменил на админ, просто выключаешь заморозку, происходит перезагрузка, кликаешь обновить мтс, он обновляется, говорит что запущен с правами админа, игнорирую это включаю заморозку и перезагружаю пк. Занимает 2 минуты(Это совсем не долго).

Для подмены клонов я не выключаю пк, делаю на горячую. У меня стим игры. Стим на каждой машине на диске C стоит. Проблем не было. Выключать пк нужно только для сторонних лаунчеров, например EGS "теряет" игру если он включен и произошла подмена диска. Если использовать скрипт мой, то включаешь перезагрузку на пк, а в трунасе запускаешь скрипт, подмена новым клоном занимает 3-7 сек. Пк уже включается с новым клоном.

Сжатие l4z в трунас происходит на лету, практически не нагружая сервер или сеть.

Да, коммутатор с алика. Так же используйте не оптику, а так называемый DAC кабель, с ним меньше всего проблем.

Многие используют nvme pcie переходник на 4 шт nvme. Но есть нюанс, мат плата должна поддерживать разделение pci линий 4x4x4x4 что бы этот переходник заработал.

[Hamar]

О хорошо, всё понял.
Дак кабели тоже заметил, интересно выглядят.


А что с рэйдом в ТруНас, какой тип RAID выбирать .. миррор, RAIDz или вообще без него.

[KasperZzz(22)]

Все выбирают страйп, так как дорого(по гб) получается выбирать какой либо другой.

[Hamar]

Уже вторую или третью неделю работаю с ТруНас. Пока в целом всё работает.. даже начал чувствовать себя уверенее в жизни потому что появилось больше свободного времени а мои игры обновляются легко и удобно но

Есть один странный момент.
Когда я обновляю игру на эталонном ПК, обновляю диск у игрового сервера и потом захожу там в стим - я вижу что часть игр требует обновления. Но это обновление игр  "в понарошку" - стим о чём то пару секунд думает и обновление проходит.
Это как будто бы не мешает но хотелось бы понимать почему так происходит.