Какой уровень RAID лучше для хостинг-проектов

Короткий ответ сразу:

• Небольшие сайты и CMS → RAID 1
• Высоконагруженные сайты и интернет-магазины → RAID 10
• Хранилища, где важна емкость → RAID 6
• RAID 5 → почти никогда, и ниже разберем, почему его все равно продолжают выбирать

Не стройте несколько слоев избыточности друг на друга (RAID поверх RAID, поверх LVM, поверх лишнего кэширования). За избыточность должен отвечать один слой, так отказ и восстановление остаются предсказуемыми.

Эта статья закрывает вопрос «RAID 1 или RAID 5» и остальной расклад между уровнями. Если вы еще разбираетесь, какие бывают уровни RAID, начните с нашего разбора, как устроен RAID. Дальше мы исходим из того, что разницу между страйпом и зеркалом вы уже знаете и хотите принять решение.

Какие уровни RAID реально нужны для хостинга

В теории всего уровней шесть-семь. В реальном хостинге выбор сужается до четырех: 1, 5, 6 и 10. Вложенные массивы вроде 50 и 60 встречаются на больших СХД, но для веб-сервера они избыточны.

Одна логическая запись в RAID 5 — это не одна операция на диске. Контроллер читает старый блок данных, читает старую четность, считает новую и записывает оба блока. Четыре операции на одну запись. В RAID 6 их шесть. RAID 10 просто зеркалит запись — фактически одна операция. Этот разрыв и есть главная причина, по которой администраторы баз данных берут RAID 10 и спокойно мирятся с потерей емкости.

RAID 1 — полное зеркалирование

RAID 1 зеркалит данные на все диски массива (обычно это пара дисков). Сколько бы дисков вы ни поставили, полезного объема останется на один диск, а чтение ускоряется, потому что запрос можно обслужить с любого из них. Откажет один диск — второй справляется, пока вы не замените сбойный.

Это правильный выбор по умолчанию для системного раздела и небольших сайтов: дешево, предсказуемо, без архи-сложности. На NVMe программный RAID 1 через Linux mdadm быстр настолько, что зеркало не станет узким местом. PHP-воркеры или база упрутся в потолок раньше, чем сами диски.

RAID 5 — страйп с одинарной четностью

RAID 5 раскладывает данные по всем дискам и размещает между ними блоки четности, поэтому вы теряете емкость лишь одного диска независимо от размера массива. На спецификации это выглядит разумной серединой: избыточность при минимальной потере объема.

Сложности начинаются после отказа диска. Пока один диск выпал, у массива нет избыточности до конца ребилда, а сам ребилд заставляет контроллер прочитать каждый оставшийся диск целиком, чтобы восстановить потерянные данные. Чем больше диски, тем больше данных приходится прочитать, и тем выше шанс поймать неустранимую ошибку чтения (URE) до того, как массив достроится. RAID 5 не стал хуже — выросли диски, а вероятность ошибки чтения на бит за ними не подтянулась. Если второй диск отдаст URE в это окно, массив теряется целиком.

Есть справедливый контраргумент: на грамотно обслуживаемом массиве с регулярным scrubbing и нормальным мониторингом дисков сбойные секторы ловят заранее, и добрая часть страшилок про RAID 5 — это истории про массив, который годами никто не скрабил.

Но «RAID 5 надежен, если эксплуатировать его идеально» — слабая опора для хостинга, а RAID 6 снимает этот риск целиком ценой одного лишнего диска.

RAID 6 — двойная четность

RAID 6 — это RAID 5, у которого закрыли главную дыру. Два независимых блока четности на страйп позволяют потерять два диска разом и все равно восстановиться — включая случай, когда второй диск отказывает, пока первый еще ребилдится. Вы отдаете емкость двух дисков вместо одного, и штраф на запись выше (шесть I/O против четырех). Взамен риск отказа на ребилде уходит.

Для больших массивов под емкость — архивы, бэкапы, медиа, все, где нужен максимум полезных терабайт при реальной отказоустойчивости и где вы не упираетесь в запись — RAID 6 разумный выбор. С хорошим контроллером и достаточным кэшем запись идет быстрее, чем подсказывает сырая арифметика I/O: записи объединяются до попадания на диск. Но ниже четырех-пяти дисков RAID 6 теряет смысл — четность съедает слишком много, и проще зеркалить.

RAID 10 — зеркало и страйп

RAID 10 — это страйп поверх зеркальных пар. Вы получаете скорость чтения и записи страйпа вместе с избыточностью зеркала. Чтобы восстановить отказавший диск, массив копирует данные с его зеркального партнера. Ребилд RAID 10 трогает один диск, а не весь массив.

Но тут вы теряете половину сырой емкости. Восемь дисков по 2 ТБ дают 8 ТБ полезного объема, а не 14. Для нагрузок, тяжелых на запись — базы данных, активные магазины, все, что постоянно коммитит транзакции — это оправданная цена, поэтому RAID 10 берут по умолчанию под хранение БД. Медленные диски в RAID 10 нередко обгоняют более быстрые и дорогие диски в RAID 5: структура массива важнее скорости отдельного диска.

Вложенные уровни RAID

Пара слов о вложенных уровнях. Это вложенные типы RAID-массивов с крупных СХД. Для одиночного веб-сервера они почти никогда не нужны — полный разбор разных типов RAID-систем есть в обзоре RAID. Они решают задачу масштаба, а не хостинга.

• RAID 50 — страйп RAID 0 поверх нескольких групп RAID 5.
• RAID 60 — та же схема, но поверх групп RAID 6. Отдельную группу RAID 5 или 6 не делают слишком большой: с числом дисков растут и время ребилда, и шанс второго отказа. Поэтому большое количество дисков разбивают на несколько меньших групп с четностью и собирают в страйп поверх них. Внутри группы работает избыточность за счет четности, поверх всех групп — скорость страйпа, и любой отдельный ребилд остается быстрым и локальным.
• RAID 100 — страйп поверх нескольких наборов RAID 10. Его берут на очень больших массивах, где нужно поведение RAID 10 при таком числе дисков, на котором плоский RAID 10 становится неуправляемым.

Все три уровня — это область СХД. Одиночному веб-серверу они не нужны: многогрупповой массив с четностью это уже SAN, отдельная тема.

Как настроить это на реальном сервере

На выделенных серверах is*hosting RAID выбираете вы при заказе. На выделенном сервере с четырьмя enterprise SSD конфигуратор дает выбрать программный RAID без доплаты или аппаратный RAID-контроллер (PERC H730) как платную опцию. Четыре диска означают, что доступны и RAID 6, и RAID 10, а не только зеркало.

Программный RAID бесплатен, гибок и хорош для сценариев RAID 1 / RAID 10: mdadm зрелый, прозрачный и дает полный контроль. Аппаратный контроллер стоит денег, но снимает четность с CPU и добавляет выделенный кэш — то самое, что выручает в случае с задержкой записи у базы.

Если не уверены, что вам нужнее — софт или железо — мы подробно сравнили типы RAID здесь.

И поскольку RAID не бэкап, в каждый тариф is*hosting входят бесплатные еженедельные бэкапы. Так задача «восстановиться после собственной ошибки» закрыта заранее.

Последний совет: за избыточность должен отвечать один слой. RAID поверх LVM поверх лишнего кэширования выглядит основательно, но делает отказы и восстановление непредсказуемыми. А от слоя с вашими данными нужна как раз предсказуемость. Выберите уровень, выберите софт или железо, настройте один раз.

RAID 1 vs RAID 5 vs RAID 6 vs RAID 10: сравнение для хостинга

Перед тем как сравнивать RAID 5, 6 и 10, измерьте свою нагрузку — средние IOPS и задержку. Без этого вы выбираете уровень вслепую. На работающем сервере baseline снимается так:

# Профиль I/O по дискам: загрузка, IOPS на чтение/запись, задержка
iostat -x 5 3
#   смотрите на r/s, w/s (IOPS) и r_await, w_await (задержка, мс)

# Замер случайной записи синтетикой, близкой к нагрузке БД
fio --name=randwrite --ioengine=libaio --rw=randwrite \
    --bs=4k --numjobs=4 --iodepth=32 --size=4G --direct=1 --runtime=60

Иногда вопрос ставят как «RAID 0 или RAID 1», но для хостинга это не выбор. У RAID 0 нет избыточности вообще — отказ одного диска уносит все. RAID 0 против RAID 1 имеет смысл только там, где данные не так важны.

RAID 1 или RAID 5

Вопрос «RAID 1 или RAID 5» обычно упирается в число дисков и в то, что вам важнее. RAID 1 нужно два диска и у него нет штрафа на запись; RAID 5 требует минимум три и платит четыре операции I/O за каждую запись.

Для небольшого сайта RAID 1 проще, быстрее на запись и ребилдится без чтения всего массива. RAID 5 становится интересен только при нескольких дисках, когда нужна большая полезная емкость, чем дает зеркало. Но, как видно из разделов ниже, в этом случае спор «RAID 1 или RAID 5» обычно выигрывает RAID 6 или RAID 10.

RAID 1 или RAID 10

RAID 1 — это два диска; RAID 10 — несколько зеркальных пар в страйпе. Если проект помещается на одном зеркале, RAID 1 хватает с запасом. Так как на NVMe он настолько быстр, что переход на RAID 10 даст пропускную способность, которую вы не используете.

RAID 10 берут, когда одно зеркало не вмещает данные или когда объем записи реально требует страйпа. Для большинства малых и средних сайтов RAID 1 выигрывает простотой.

Связка Nginx/PHP-FPM/MariaDB на 4 SSD в аппаратном RAID 10, недельный load average около 16 с пиками до 28, рассматривается переезд на NVMe с программным RAID.

Первая мысль — «больше дисков в RAID 10, значит быстрее». Но идентичные NVMe в RAID 10 дадут максимум около 2× против RAID 1 только если вы еще не уперлись в CPU или в сами диски — а на веб/PHP-нагрузке один из этих потолков обычно достается первым.

На NVMe RAID 1 часто быстр настолько, что лишние два диска уходят в избыточность, а не в заметную скорость.

RAID 5 или RAID 6

Современных сценариев, где RAID 5 обходит RAID 6, почти нет. Фактическая замена RAID 5 — это и есть RAID 6: он закрывает дыру с отказом на ребилде, из-за которой RAID 5 опасен на больших дисках, ценой одного диска емкости и чуть большего оверхеда на запись. Если вы собирались поднять RAID 5 на четырех и более крупных дисках — поднимайте RAID 6.

Единственное, где у RAID 5 еще есть преимущество — это маленький массив из трех дисков, где нет емкости под двойную четность. Но и здесь стоит сильно подумать.

RAID 5 или RAID 10

RAID 5 тянет полезную емкость; RAID 10 — скорость записи и безопасный ребилд.

Для базы данных или нагруженного транзакционного сайта вопрос не стоит — RAID 10. Разрыв в IOPS большой, и его стоит показать в цифрах.

Массив из 12 дисков 10K, примерно 300 IOPS на запись каждый: в RAID 10 это порядка 1800 IOPS на запись по массиву, против ~900 у RAID 5 и ~600 у RAID 6.

Разложите на 15 виртуалок — выйдет примерно 120 / 60 / 40 IOPS на виртуалку для RAID 10 / 5 / 6. И это еще без учета более высокой задержки записи, которую добавляет четность.

Конкретные цифры зависят от железа, но можно положится на пропорции: четность стоит вам записей, и нагрузка, тяжелая на запись, это чувствует. Добавьте риск ребилда на больших дисках RAID 5 и решение обычно готово еще до разговора о производительности. На RAID 5 людей держит в основном нежелание платить за потерю емкости в RAID 10.

RAID 10 или RAID 6

RAID 10 дает лучшую случайную скорость чтения (любой блок лежит на двух дисках, и массив выбирает более быстрый путь) и простой ребилд. RAID 6 дает больше полезной емкости и переживает любые два одновременных отказа, а не только два диска из разных зеркал.

Запись в RAID 6 без кэша затратна: чтобы записать один блок, контроллер читает целевой блок и оба блока четности, пересчитывает четность и пишет три блока обратно — шесть операций на одну логическую запись. Но контроллер с приличным кэшем откладывает и объединяет записи, и арифметика переворачивается.

Возьмем десять дисков: в конфигурации 8+2 RAID 6 запись полного страйпа из 8 блоков стоит 10 дисковых записей (8 данных + 2 четности). Те же данные на RAID 10 из 5 зеркал стоят 16 записей — каждый блок зеркалится. Если кэша хватает, чтобы собирать записи в полные страйпы, RAID 6 может обращаться к дискам реже, чем RAID 10.

Итого:

• Четыре диска — RAID 10; базы и постоянные мелкие записи — RAID 10 в любом случае.
• Пять и более дисков, где емкость важнее пиковой скорости записи — преимущество смещается к RAID 6 с хорошим запасом RAM под кэш.

Какой уровень RAID подходит вашему проекту

Как обычно, все зависит от нагрузки. Вот три типичных хостинговых кейса.

Небольшие сайты и CMS (WordPress, Joomla)

Небольшой сайт читает куда больше, чем пишет: статика, закэшированный вывод PHP, скромная база, где SELECT-ов гораздо больше, чем записей. Четность и четыре диска тут не нужны. Подходит программный RAID 1 на двух NVMe под Linux mdadm с ext4 или XFS.

Зеркало на NVMe дает высокую параллельную скорость чтения — одновременные запросы расходятся по обоим дискам — а mdadm почти не ест RAM и оставляет память на то, что влияет на отдачу: кэш Nginx/Varnish и рабочий набор базы. Настройка в три команды:

# Создать зеркало RAID 1 из двух NVMe
mdadm --create /dev/md0 --level=1 --raid-devices=2 /dev/nvme0n1 /dev/nvme1n1

# Проверить, что массив собирается и здоров
mdadm --detail /dev/md0
#   State : clean, resyncing
#   Active Devices : 2

# Зафиксировать конфиг, чтобы массив собирался при загрузке
mdadm --detail --scan >> /etc/mdadm/mdadm.conf

Высоконагруженные сайты и интернет-магазины

У нагруженного магазина все наоборот: плотный поток записей (обновления корзины, коммиты заказов, запись сессий, изменения остатков) идет постоянно, и часто ровно в тот пик трафика, когда медленный I/O бьет больнее всего. Это работа для RAID 10.

Кроме скорости записи, RAID 10 на SSD обходит проблему write amplification. RAID 5 и 6 постоянно пересчитывают и перезаписывают блоки четности, и на флеше этот лишний трафик записи съедает ресурс каждого диска в массиве. У RAID 10 четности нет — он только зеркалит, поэтому бережнее к ресурсу SSD и при этом дает запись, которую требует транзакционный сайт. Вы платите емкостью, а получаете скорость и срок службы дисков.

Приложения с высокой нагрузкой на базу данных

Базы чувствительнее всего к задержкам, поэтому здесь начинаются неочевидные нюансы.

Эффект аппаратного кэша

Перенос базы со старого сервера с аппаратным RAID-контроллером и защищенным батареей кэшем записи на новую машину с программным RAID и более быстрыми NVMe может замедлить I/O на транзакционной нагрузке. Дело в том, как подтверждаются синхронные записи.

Аппаратный контроллер в режиме write-back подтверждает запись в момент, когда данные попали в защищенный батареей кэш, а на диск сбрасывает их в фоне. Программный RAID без выделенного кэша честно отрабатывает fsync. Журнал транзакций пишется до самого физического устройства, прежде чем база получит «готово», и вы съедаете полную задержку NAND на каждом коммите.

Если база на программном RAID, берите enterprise-NVMe с защитой от потери питания (PLP) — встроенные конденсаторы дают диску безопасно подтверждать внутренний кэш, не рискуя данными при пропадании питания. Это возвращает почти весь выигрыш по задержке без отдельного контроллера. Хотите отдать на железо — контроллер с защищенным батареей кэшем делает ту же работу.

ZFS под базой данных

Если вы держите ZFS ради снапшотов, инлайн-сжатия и контрольных сумм — все это полезно под базой — учтите, что ZFS Intent Log (ZIL) может стать узким местом на синхронных записях. Стандартное решение — SLOG: выделенное устройство с низкой задержкой и защитой от потери питания, которое ведет intent log отдельно от основного пула.

На этом слое «просто берите RAID 10» перестает быть полным ответом — выбор контроллера, кэша и дисков значит не меньше, чем сам уровень.

Напоследок: RAID — это не бэкап

Все выше — про доступность, чтобы сервер работал, когда умирает диск. От того, что реально удаляет данные, это не спасет: кривая миграция, rm -rf не в той директории, шифровальщик, дропнутая таблица, испорченная запись приложения, аккуратно отзеркаленная на все диски массива. RAID копирует ваши ошибки так же точно, как копирует данные.

Поэтому какой уровень вы ни выберете, он работает только вместе со стратегией бэкапов, а не вместо нее. RAID дает аптайм при отказе железа, бэкапы дают восстановление во всем остальном. Нужно и то, и другое.