0 июля в 13:08
Часть 1
Недавно наткнулся на полезную и очень подробную статью Adaptec, которая описывала ну просто все нюансы работы контроллеров, пугал разве что объем в 60 страниц. Возникло естественное желание сократить и разделить статью на 2 куска:
Материал будет интересен всем, кто связан с хранением данных – инженерам-интеграторам, системным администраторам и конечным пользователям.
Собственно, Часть 1.
На сегодняшний день внутренняя система хранения современного сервера базируется на технологиях SAS/SATA. И здесь, по сравнению со старой классической технологией SCSI, которая сейчас уже не используется, добавилось не так уж и много нового. По сути, только SAS экспандер, который позволяет создавать сетевой сегмент второго уровня для обмена информацией между контроллером и дисками на основе коммутатора второго уровня (научно говоря, сегмент типа “switched media” для общения targets и initiators).
И, как правило, внутренняя система хранения сервера строится на основе одного или нескольких SAS RAID контроллеров или HBA (в ряде случаев они могут быть интегрированы на материнскую плату) и SAS/SATA HDD или SSD дисков.
Внешние системы хранения дополнительно могут использовать и другие технологии, такие как FibreChannel, iSCSI, PCI-E. Системы хранения для центров обработки данных могут использовать современные решения типа NVRAM (виртуальные диски, созданные на основе быстрой оперативной памяти, которая имеет защиту от потери питания) и PCI-E (когда доступ к жесткому диску обеспечивается через сетевой сегмент технологии PCI-Express).
На рисунке показана современная внутренняя подсистема хранения сервера
В самом общем смысле стек — это операционная система RAID контроллера.
В узком смысле стек – это виртуализатор контейнеров (проще – виртуализатор дисков). Он создает контейнер нужного типа, распределяет его по нужному количеству дисков и из большого числа контейнеров «выпекает» виртуальный диск, которые в стеке Adaptec называется “RAID том”.
Примечание: на момент сборки сервера (создания системы хранения) на RAID контроллер надо загрузить самую последнюю версию его ОС или прошивки (firmware). Для RAID контроллеров Adaptec они предоставляются бесплатно.
Как ни странно, но на сегодняшний день RAID стеки это частные решения, не подчиняющиеся стандартам. Можно снять все физические диски с созданными на них RAID томами, например, с контроллера Adaptec 6805 и перенести их на контроллер 8885 и тома будут видны. Но если попробовать перенести таким образом тома на контроллер другого производителя, то чуда не случится, и ни будет никакой возможности увидеть данные и эти RAID тома. Почему так происходит? Потому что контроллер другого производителя поддерживает свой собственный стек, не совместимый со стеком Adaptec.
Каждый RAID том представляется операционной системе компьютера как «SCSI диск», который и будет виден как отдельный объект в дисковых утилитах типа disk manager.Выглядит это так.
Таким образом, в менеджере дисков можно увидеть 4 виртуальных диска: RAID0, RAID1 и два диска RAID5.
При создании томов работает каждый уровень.
Задача уровня физических дисков – создать специальную область на дисках, где будет храниться информация о создаваемых томах. Такая область называется областью метаданных и представляет из себя сложный контейнер хранения, где хранится служебная информация. В эту область имеет доступ только операционная система контроллера и больше никто. В стеке Adaptec этот процесс создания служебной области называется – инициализация и выполняется через команду – initialize.
В RAID контроллерах, которые поддерживают режим HBA, есть и обратная команда –deinitialize (это контроллеры 7 и 8 серии). Эта команда полностью удаляет с физического диска такую структуру данных и переводит данный диск в режим HBA. Т.е., для того чтобы контроллер 7 или 8 серии начал работать как обычный HBA на нем достаточно деинициализировать все диски. Тогда они все будут видны в утилите центральной операционной системы типа DISK MANAGER и никакие другие операции не требуются.
На физическом уровне выполняется и другая известная функция, называемая – coercion. В стеке Adaptec она производится одновременно с initialize. Эта функция немного «подрезает» емкость жесткого диска. Дело в том, что диски одной и той же категории по емкости от разных производителей все же имеют неодинаковую емкость. Чтобы диск одного производителя можно было в будущем в случае необходимости заменить диском другого производителя и выполняется функция coercion. Отрезанная емкость просто навсегда “теряется” и никак не используется.
На физическом уровне возможно размещение различных сервисных функций – проверка диска деструктивным или недеструктивным методом, форматирование, полное стирание данных, заполнение диска нулями и т.д.
Логический уровень необходим по двум причинам:
Во-первых, он значительно уменьшает дискретность емкостей, которые Вы выбираете для создания томов. Это делается через возможность создавать несколько логических дисков (просто отрезая часть емкости) на одном физическом или создавать один логический диск с помощью двух или более физических. При этом емкости различных физических будут просто складываться. Сначала данными будет заполняться одна область одного физического диска, потом другая другого физического диска и т.д. Такой метод объединения дисков называетсяChain (в некоторых других стеках используется слово Span).
Во-вторых, при создании таких объектов информация о них попадает в метаданные, и они перестают быть привязанными к физическим координатам. После этого диски можно переносить с одного порта контроллера на другой, переносить тома с одного контроллера на другой и это будет по-прежнему замечательно работать.
Дальше наступает очередь уровня RAID. Как правило, современные стеки имеют два подуровня на этом уровне. На каждом подуровне располагаются элементарные RAID, такие как: chain или span (это не совсем RAID, это просто “суммирование” емкостей с разных дисков), RAID0, RAID1, RAID1E, RAID5, RAID6 и т.д.
Самый нижний подуровень принимает логические диски, например, LD1, LD2, LD3, как на рисунке, и «выпекает» из них том RAID5. То же самое происходит и с LD4, LD5, LD6. Из них получаем второй RAID5. Два RAID5 тома подаются на еще более высокий уровень, где к ним применяют функцию RAID0. На выходе мы получаем комплексный том, называемый RAID50 (где 5 означает тип RAID, используемый на нижнем подуровне, а 0 – тип функции RAID с верхнего уровня). Единственное, чего не хватает в определении – сколько RAID5 (в данном случае 2) было использовано для создания RAID50. В стеке Adaptec это называется second level device. Этот параметр будет нужен, если Вы будете создавать сложные тома типа 50 или 60.
Самый верхний уровень нужен для того, чтобы предоставить такой виртуальный объект для доступа операционной системы. При передаче на этот уровень предлагается ряд сервисных функций. Самые важные в стеке Adaptec две – build и clear.
На рисунке — Виртуальный контейнер типа RAID1. Операция build.
Если у Вас новые диски, с фабрики, то в их секторах записаны нули. Поэтому результат действия обеих функций будет одинаковым.
Отличие между SimpleVolume и HBA режимом.
Эти два режима крайне похожи друг на друга. Оба могут использоваться для создания Software RAID решений.
При работе диска в HBA режиме на нем не создаются метаданные. И нет «подрезания» ёмкости функцией coercion. Это может вызвать проблему при необходимости замены диска на диск другого производителя. Диск напрямую передаётся операционной системе. При этом кэш контроллера с ним работать не будет!
В случае создания Simple Volume через конфигурацию томов, на диске создается область метаданных, “подрезается” емкость функцией coertion. Далее через утилиту конфигурации создается Simple Volume том с использованием всей свободной емкости диска. И после этого данный объект передается в работу центральной операционной системе.
Сегодня стеки RAID контроллеров постоянно совершенствуются. Компания Adaptec в своей функции MaxCache plus устанавливала еще один уровень в стек, так называемый уровень tier, c подуровнями. Это позволяло взять один RAID5 том, созданный на SSD дисках, и другой том, например, RAID60, созданный на дисках SATA с 7200 rpm и собрать из них комплексный, виртуальный том, где наиболее востребованные данные хранились на RAID5, а наименее востребованные на RAID60. При этом тома можно было брать с разных контроллеров. Сегодня эта функция не поддерживается в силу перехода таких возможностей в серверные операционные системы. Естественно, стек контроллеров, как виртуализационный механизм, не стоит на месте и постоянно совершенствуется и на уровне виртуализации и на уровне основных и сервисных функции.
Современный RAID контроллер представляет из себя информационную систему (упрощенно – компьютер), которая в силу выполнения своих основных функций: создания виртуального контейнера, размещения и обработки информации в контейнерах (по сути, ЧТЕНИЕМ – ЗАПИСЬЮ информации) обменивается данными с двумя другими типами информационных систем:
1. C операционной системой;
2. С HDD или SSD дисками.
С точки зрения внутренней архитектуры, современный RAID контроллер представляет из себя следующий набор основных подсистем:
Таблица — Основные подсистемы RAID контроллера.
Поддержка режима HBA.
Мы уже рассмотрели выше, какие модели RAID контроллеров поддерживают режим HBA. Важно отметить, что это делается независимо для каждого диска. Т.е., на контроллере, если вы не будете инициализировать часть дисков на физическом уровне, они автоматически попадут в программу типа «disk manager» и будут там видны и доступны для работы с ними. Вы можете одну часть таких дисков в режиме HBA использовать как одиночные диски, а другую часть использовать для создания software RAID средствами операционной системы. Проинициализированные диски будут использоваться для создания RAID томов средствами RAID контроллера.
Гибридные тома.
На последних версиях прошивки контроллер Adaptec автоматически создает Hybrid RAID-массив, когда вы создаете RAID 1/10 из одинакового количества SSD и HDD (но в старых прошивках было важно, чтобы в RAID1 парах SSD диск стоял «мастером», а HDD диск «слейвом»). Если Вы не знаете, как это проверить – обратитесь с службу тех. поддержки Adaptec. Контроллер Adaptec делает запись одновременно на HDD и SSD. В режиме гибридного тома чтение идет только с SSD! (для тома из двух HDD дисков при превышении некоторого порога операций ввода-вывода чтение происходит с двух дисков. В этом главное отличие гибридного режима RAID1/10). Результат – надежный массив с отличной производительностью чтения. Чтение как у одиночного SSD диска. Это на несколько порядков выше чему у HDD. Функция стандартно поставляется со всеми контроллерами Adaptec Series 2, 5,6, 7, 8.
Поддержка типов томов, являющихся заменой RAID5.
Надеюсь, вы хорошо представляете себе контейнер RAID5 — это достаточно классическое решение.
Красным показан контейнер хранения информации, созданный RAID контроллером. Это контейнер типа RAID5. Сам том RAID5 состоит из большого количества таких виртуальных контейнеров, сложенных в некоторую «пачку». Контейнер RAID5 состоит из набора секторов отдельных физических дисков. Особенность контейнера RAID5 заключается в том, что он может «пережить» проблемы в ряде контейнеров жестких дисков, из которых он состоит, т.е., секторы жестких дисков, которые входят в состав RAID5 контейнера, теряют свою информацию, но сам RAID5 контейнер ее хранит. Это происходит до определенного предела. При некотором количестве «испорченных» секторов сам RAID5 контейнер уже не сможет гарантировать 100% хранение информации. Из-за перехода с технологии SCSI на технологию SAS предлагаемое базовое качество хранения информации контейнером RAID5 очень сильно ухудшилось, буквально, на несколько порядков.
Произошло это из-за ряда объективных причин:
1. Из-за поддержки SATA дисков, особенно десктопного класса, качество хранения информации в контейнере типа «сектор диска» заметно упало (SCSI контроллеры поддерживали только высококачественные SCSI диски);
2. Количество дисков на контроллере выросло многократно (2х канальный SCSI контроллер – максимум 26 дисков, с учетом производительности 8 -10 (по 4-5 на канал));
3. Емкость дисков выросла значительно. Это значит, что в том RAID 5 может попадать намного больше контейнеров RAID5 (мах. Емкость SCSI дисков 400GB, максимальная емкость современного SATA жесткого диска – 8 ТБ).
Все это увеличивает вероятность возникновения проблем в одном контейнере RAID5, что значительно уменьшает вероятность сохранения информации в томе RAID5. По этой причине в современные стеки RAID контроллеров добавлены решения, которые позволяют исключить использование RAID5. Это RAID1E, RAID5EE и RAID6.
Раньше единственной альтернативой RAID5 был RAID10. Поддержка RAID 10, естественно, сохранилась.
Варианты замены RAID5:
Bad Stripe
Раньше, если даже один контейнер контроллера (страйп) терял информацию или не мог гарантировать ее сохранность, это приводило к ситуации перевода всего тома в режим offline со стороны RAID контроллера (остановка доступа, буквально, означала – контроллер не может гарантировать 100% целостность пользовательских данных на томе).
Современный контроллер “отрабатывает” такую ситуацию по-другому:
1. Доступ к тому не останавливается;
2. На томе выставляется специальный маркер “bad stripe”, которые означает, что в RAID томе есть специальные контейнеры, которые потеряли информацию;
3. О таких «испорченных контейнерах» сообщается операционной системе, чтобы она могла оценить возможные меры по предотвращению потери информации или ее восстановлению.
Маркер bad stripe невозможно удалить с тома. Можно только такой том удалить и создать заново. Появление тома с флагом «bad stripe» говорит о СЕРЬЕЗНЫХ ошибках или проблемах на этапе проектирования системы хранения или на этапе ее эксплуатации. Как правило, за такой ситуацией стоит серьезная некомпетентность проектировщика или системного администратора.
Основной источник проблем такого рода — неправильно спроектированный RAID5.
Некоторые реализации RAID 5 (например, RAID5 на десктопных дисках) запрещены для томов с пользовательскими данными. Требуется, как минимум, RAID5 + Hot Spare, что не имеет смысла при наличии RAID6. Получается, что там, где надо было создать RAID6, был создан RAID5, что через несколько лет эксплуатации привело к появлению маркера BAD STRIPE.
SSD кэширование
Функция SSD кэширования является одной из самых востребованных функций для оптимизации производительности RAID томов мощных систем хранения с большим количеством пользователей без значительного увлечения стоимости, количества юнитов решения, без потери емкости системы хранения и обеспечения оптимального энергопотребления.
Для применения SSD кэширования на запись, следует убедиться в выполнении двух условий:
1. Приложение работает в режиме «случайного чтения»;
2. Запросы к данным имеют неравномерную природу – есть контейнеры уровня RAID, к которым обращаются чаще, чтобы считать оттуда данные, а есть те, к которым обращения идут реже.
Надо отметить, что чем больше пользователей у системы, тем вероятнее, что запросы к отдельным контейнерам примут форму стандартного статистического распределения. По параметру «количество запросов в единицу времени» можно выделить условно «горячие данные» (количество обращений к ним будет больше заданного параметра) и «холодные данные» (количество обращений к ним меньше заданного параметра).
Работа SSD кэш на чтение заключается в копировании «горячих данных» на SSD диски и дальнейшем чтении с SSD, что ускоряет процесс в разы. Поскольку это копирование, то кэш на чтение имеет естественную защиту, если SSD диск, формирующий область SSD кэш, выходит из строя, это приводит только лишь к потере производительности, но никак не к потере данных.
Основные настройки функции SSD кэширования для контроллеров 7Q, 8Q:
1. Прежде всего убедиться, есть ли у Вас «горячие данные» и какой они имеют размер. Лучше всего это сделать экспериментально, поместив достаточно большой SSD диск в область кэша и сконфигурировав его в режиме Simple Volume. Такую работу могут сделать для Вас компании-интеграторы. Примерно через неделю через функцию управления можно снять статистику SSD кэширования. Она покажет есть ли у Вас «горячие данные» и какой объем они занимают.
2. К данному объему желательно добавить10-50 % емкости и на основании этих данных настроить Вашу схему кэширования на случай увеличения объема «горячих данных» в будущем, если такая тенденция есть.
Настройки позволяют от емкости ваших SSD дисков «отрезать» нужную емкость, забрать ее в RAID том нужного типа, а оставшуюся емкость можно перевести в обычный RAID том.
Далее следует оценить, есть ли смысл использовать SSD кэш на запись. Как правило, интернет приложения работают на чтение. Кэш на запись, в основном, используется как дополнение к кэшу на чтение, если приложение помимо чтения использует и запись. И в случае использования кэша на запись требуется обеспечить защиту кэша. Если что-то случается с областью кэша, то данные, помещенные туда при кэшировании записи, будут потеряны. Для защиты достаточно использовать RAID том, дающий избыточность по дискам, например, RAID1.
Возможные режимы конфигурации SSD кэш области.
Для отдельных томов на контроллере можно независимо включать и выключать SSD кэш на чтение и на запись в зависимости от потребностей и типов приложений, работающих с каждым томом.
Поддержка uEFI.
Все контроллеры и HBA текущей линейки продуктов Adaptec поддерживают режим uEFI биоса материнских плат. Переход с MBR на uEFI позволил, например, создавать системные и загрузочные тома больше 2TB, что было невозможным на платах с MBR BIOS (отметим, что все продукты Adaptec полностью поддерживают тома >2TB, со стороны контроллеров и HBA этой проблемы не существует). Есть много других преимуществ использования uEFI режима. Например, при поддержке дисков с размером сектора 4K. Все продукты Adaptec текущей линейки поддерживают диски с сектором 4К, кроме 6-ой серии контроллеров.
Важно помнить, что если материнская плата использует режим MBR, то утилита конфигурации контроллера вызывается через Cntrl +A.
На рисунке стандартная утилита конфигурации Adaptec, вызываемая через комбинацию клавиш Cntrl +A.
В случае режима uEFI конфигуратор контроллеров и HBA интегрируется в BIOS материнской платы. Эту утилиту легко найти по строчкам, содержащим слово «Adaptec» или «PMC». И, как видно на примере ниже, uEFI утилита имеет более расширенный функционал, чем утилита, вызываемая через Cntrl + A.
Функции Hot Spare.
Hot Spare диск выполняет роль пассивного элемента RAID тома, и «забирается» в RAID том, если с каким-то из дисков в составе тома что-то случилось, и он больше недоступен для выполнения своей работы. HOT SPARE называется диск, который установлен на контроллер, раскручен и назначен к одному или нескольким томам.
Относительно последней части определения HOT SPARE, можно создать 3 вида дисков:
Hot Spare диски используются в стеке Аdaptеc для ручного «ремонта» томов, у которых по разным причинам вышел из строя один диск. Например, Ваш RAID5 том потерял один диск и перешел в состояние «degraded». Вы вставляете новый диск вместо старого или в любой другой свободный слот, нажимаете функцию rescan и теперь видите новый диск на уровне физических дисков стека. Далее – объявляете его как HOT SPARE (неважно какого типа, например, Global Hot Spare) и ждете, когда это диск на 100% «встроится» в том. Том переходит в состояние – Optimal. После этого, Вы выбираете команду – delete hot spare. Эта команда снимает статус HOT SPARE с данного диска, и он становится полноценным участником данного RAID тома.
Функция Power Management.
RAID тома работают по-разному. Например, тома, созданные для резервного копирования данных, могут использоваться для перемещения данных, к примеру, два – три дня за месяц. Возникает вопрос: насколько хорошо подавать питание на жесткие диски и держать диски раскрученными, если фактически все оставшееся время они не используются?
Решением этого вопроса занимается функция power management. Ее философия – если диски не используются, их вращение можно замедлить (если такая функция поддерживается дисками), а потом полностью остановить и держать, пока они не понадобятся, в выключенном состоянии. Настройки данной функции крайне простые.
Сначала целиком на контроллер задается время по дням недели, когда эта функция активирована, а когда нет. Эта настройка привязана к работе типичной компании. Задаются параметры введения в работу внутренних и внешних дисков – попарно, по три, по четыре и т.д., чтобы распределить нагрузку на блоки питания. Кроме этого, задаются три значения таймера. По истечении первого, если нет операций ввода-вывода на диски данного тома, то эти диски перейдут в состояние «stand by», т.е. уменьшат свои обороты на 50%. Не все диски поддерживают этот режим, если он не поддерживается, то с диском ничего происходить не будет. По истечении второго таймера диски полностью остановятся и перейдут в состояние «power off». Третий таймер используется для периодической проверки дисков, которые выключились надолго. Контроллер включает диски, проводит их недеструктивную проверку и, если все ОК, то переводит их снова в «power off» состояние.
После этих настроек Вы можете активировать power management схему для каждого тома, где это будет полезным. Такие тома в системе управления будут помечаться зеленым цветом. Максимум преимуществ данная функция дает при использовании в центрах обработки данных, позволяя не только прямую экономию энергии за счет остановки дисков, но и вспомогательную экономию за счет уменьшения оборотов вентиляторов, обдувающих диски, когда последние переводятся в выключенное состояние.
Утилиты управления, которые входят в пакет Max View Storage Manager (MSM) построены на самых передовых стандартах и используют самые последние тенденции в совершенствовании принципов и улучшении эффективности управления. Поэтому мы легко можем использовать Adaptec Max View Storage Manager как базовую модель, чтобы посмотреть на основные функции и методы в области управления системами хранения. В качестве основного элемента управления используется RAID контроллер, который может обмениваться служебной информацией с дисками, экспандерами и корзинами и, таким образом, поддерживать функции управления для всей подсистемы хранения в целом.
Основные возможности современных систем управления системами хранения:
• Высокий уровень детализации, визуализации и вложенности объектов управления.Администратор может видеть, что весь сегмент сети стал красным, это означает – существует неисправность. Если раскрыть иконку сетевого сегмента, то будут видны все сервера. Проблемный сервер будет отмечен красным цветом. Если кликнуть мышкой на этом сервере будут видны RAID контроллеры, установленные в этой системе. Красный цвет одного из них означает какую-то проблему. При дальнейшей детализации будут видны тома, созданные на этом контроллере и проблемный том. И так с точностью до проблемного физического диска. Теперь администратор точно знает, что случилось, к каким последствиям это привело, и какой диск надо заменить.
• Высокий уровень безопасности систем управления при использовании стандартных сетевых протоколов. Механизмы управления системами хранения, очевидно, нуждаются в защите. Ведь при несанкционированном доступе или при открытом канале управления пользовательские данные могут быть уничтожены без возможности восстановления. С этой целью MSM использует базу пользователей и паролей из самой операционной системы. Кроме этого, на канале между браузером и сервером управления используется шифрование трафика через протокол HTTPS. В других компонентах системы управления вопросы безопасности также решаются на самом высоком уровне.
• Возможность отправки важных сообщений из системы хранения администратору.Чтобы не «приковывать» навеки взгляд администратора к экрану с MS в WEB браузере, система управления может быть настроена на отправку сообщений по E-mail. MSM имеет возможность отправлять все типы сообщений, включая тестовые. Наибольшую важность имеют сообщения типа Warning и Error, которые напрямую связаны с переходами RAID томов в состояние Degrade и Failed. Такие сообщения через почтовые приложения могут быть легко переданы на мобильный телефон администратора.
Все эти и многие другие функции делают системы управления устройствами хранения незаменимыми помощниками в ежедневной работе.
Информация предоставлена компанией Adaptec by PMC (Россия). Полный текст статьи можно найти на сайте Adaptec
- Часть 1. Общие сведения о RAID контроллерах (много теории, азы)
- Часть 2. Классификация контроллеров Adaptec (здесь всё очень конкретно – серии контроллеров, функции каждой серии, таблицы, картинки)
Материал будет интересен всем, кто связан с хранением данных – инженерам-интеграторам, системным администраторам и конечным пользователям.
Собственно, Часть 1.
Подсистема хранения информации современного сервера
На сегодняшний день внутренняя система хранения современного сервера базируется на технологиях SAS/SATA. И здесь, по сравнению со старой классической технологией SCSI, которая сейчас уже не используется, добавилось не так уж и много нового. По сути, только SAS экспандер, который позволяет создавать сетевой сегмент второго уровня для обмена информацией между контроллером и дисками на основе коммутатора второго уровня (научно говоря, сегмент типа “switched media” для общения targets и initiators).
И, как правило, внутренняя система хранения сервера строится на основе одного или нескольких SAS RAID контроллеров или HBA (в ряде случаев они могут быть интегрированы на материнскую плату) и SAS/SATA HDD или SSD дисков.
Внешние системы хранения дополнительно могут использовать и другие технологии, такие как FibreChannel, iSCSI, PCI-E. Системы хранения для центров обработки данных могут использовать современные решения типа NVRAM (виртуальные диски, созданные на основе быстрой оперативной памяти, которая имеет защиту от потери питания) и PCI-E (когда доступ к жесткому диску обеспечивается через сетевой сегмент технологии PCI-Express).
На рисунке показана современная внутренняя подсистема хранения сервера
RAID стек последнего поколения.
В самом общем смысле стек — это операционная система RAID контроллера.
В узком смысле стек – это виртуализатор контейнеров (проще – виртуализатор дисков). Он создает контейнер нужного типа, распределяет его по нужному количеству дисков и из большого числа контейнеров «выпекает» виртуальный диск, которые в стеке Adaptec называется “RAID том”.
Примечание: на момент сборки сервера (создания системы хранения) на RAID контроллер надо загрузить самую последнюю версию его ОС или прошивки (firmware). Для RAID контроллеров Adaptec они предоставляются бесплатно.
Сервер Тринити - надежное вложение
Как ни странно, но на сегодняшний день RAID стеки это частные решения, не подчиняющиеся стандартам. Можно снять все физические диски с созданными на них RAID томами, например, с контроллера Adaptec 6805 и перенести их на контроллер 8885 и тома будут видны. Но если попробовать перенести таким образом тома на контроллер другого производителя, то чуда не случится, и ни будет никакой возможности увидеть данные и эти RAID тома. Почему так происходит? Потому что контроллер другого производителя поддерживает свой собственный стек, не совместимый со стеком Adaptec.
Каждый RAID том представляется операционной системе компьютера как «SCSI диск», который и будет виден как отдельный объект в дисковых утилитах типа disk manager.Выглядит это так.
Таким образом, в менеджере дисков можно увидеть 4 виртуальных диска: RAID0, RAID1 и два диска RAID5.
При создании томов работает каждый уровень.
Задача уровня физических дисков – создать специальную область на дисках, где будет храниться информация о создаваемых томах. Такая область называется областью метаданных и представляет из себя сложный контейнер хранения, где хранится служебная информация. В эту область имеет доступ только операционная система контроллера и больше никто. В стеке Adaptec этот процесс создания служебной области называется – инициализация и выполняется через команду – initialize.
В RAID контроллерах, которые поддерживают режим HBA, есть и обратная команда –deinitialize (это контроллеры 7 и 8 серии). Эта команда полностью удаляет с физического диска такую структуру данных и переводит данный диск в режим HBA. Т.е., для того чтобы контроллер 7 или 8 серии начал работать как обычный HBA на нем достаточно деинициализировать все диски. Тогда они все будут видны в утилите центральной операционной системы типа DISK MANAGER и никакие другие операции не требуются.
На физическом уровне выполняется и другая известная функция, называемая – coercion. В стеке Adaptec она производится одновременно с initialize. Эта функция немного «подрезает» емкость жесткого диска. Дело в том, что диски одной и той же категории по емкости от разных производителей все же имеют неодинаковую емкость. Чтобы диск одного производителя можно было в будущем в случае необходимости заменить диском другого производителя и выполняется функция coercion. Отрезанная емкость просто навсегда “теряется” и никак не используется.
На физическом уровне возможно размещение различных сервисных функций – проверка диска деструктивным или недеструктивным методом, форматирование, полное стирание данных, заполнение диска нулями и т.д.
Логический уровень необходим по двум причинам:
Во-первых, он значительно уменьшает дискретность емкостей, которые Вы выбираете для создания томов. Это делается через возможность создавать несколько логических дисков (просто отрезая часть емкости) на одном физическом или создавать один логический диск с помощью двух или более физических. При этом емкости различных физических будут просто складываться. Сначала данными будет заполняться одна область одного физического диска, потом другая другого физического диска и т.д. Такой метод объединения дисков называетсяChain (в некоторых других стеках используется слово Span).
Во-вторых, при создании таких объектов информация о них попадает в метаданные, и они перестают быть привязанными к физическим координатам. После этого диски можно переносить с одного порта контроллера на другой, переносить тома с одного контроллера на другой и это будет по-прежнему замечательно работать.
Дальше наступает очередь уровня RAID. Как правило, современные стеки имеют два подуровня на этом уровне. На каждом подуровне располагаются элементарные RAID, такие как: chain или span (это не совсем RAID, это просто “суммирование” емкостей с разных дисков), RAID0, RAID1, RAID1E, RAID5, RAID6 и т.д.
Самый нижний подуровень принимает логические диски, например, LD1, LD2, LD3, как на рисунке, и «выпекает» из них том RAID5. То же самое происходит и с LD4, LD5, LD6. Из них получаем второй RAID5. Два RAID5 тома подаются на еще более высокий уровень, где к ним применяют функцию RAID0. На выходе мы получаем комплексный том, называемый RAID50 (где 5 означает тип RAID, используемый на нижнем подуровне, а 0 – тип функции RAID с верхнего уровня). Единственное, чего не хватает в определении – сколько RAID5 (в данном случае 2) было использовано для создания RAID50. В стеке Adaptec это называется second level device. Этот параметр будет нужен, если Вы будете создавать сложные тома типа 50 или 60.
Самый верхний уровень нужен для того, чтобы предоставить такой виртуальный объект для доступа операционной системы. При передаче на этот уровень предлагается ряд сервисных функций. Самые важные в стеке Adaptec две – build и clear.
- Clear записывает на весь новый том, который передается ОС, нули.
- Build «строит» новый том. Например, если это RAID1, то все содержимое первого контейнера скопируется в содержимое второго. И так для всех контейнеров.
На рисунке — Виртуальный контейнер типа RAID1. Операция build.
Если у Вас новые диски, с фабрики, то в их секторах записаны нули. Поэтому результат действия обеих функций будет одинаковым.
Отличие между SimpleVolume и HBA режимом.
Эти два режима крайне похожи друг на друга. Оба могут использоваться для создания Software RAID решений.
При работе диска в HBA режиме на нем не создаются метаданные. И нет «подрезания» ёмкости функцией coercion. Это может вызвать проблему при необходимости замены диска на диск другого производителя. Диск напрямую передаётся операционной системе. При этом кэш контроллера с ним работать не будет!
В случае создания Simple Volume через конфигурацию томов, на диске создается область метаданных, “подрезается” емкость функцией coertion. Далее через утилиту конфигурации создается Simple Volume том с использованием всей свободной емкости диска. И после этого данный объект передается в работу центральной операционной системе.
Сегодня стеки RAID контроллеров постоянно совершенствуются. Компания Adaptec в своей функции MaxCache plus устанавливала еще один уровень в стек, так называемый уровень tier, c подуровнями. Это позволяло взять один RAID5 том, созданный на SSD дисках, и другой том, например, RAID60, созданный на дисках SATA с 7200 rpm и собрать из них комплексный, виртуальный том, где наиболее востребованные данные хранились на RAID5, а наименее востребованные на RAID60. При этом тома можно было брать с разных контроллеров. Сегодня эта функция не поддерживается в силу перехода таких возможностей в серверные операционные системы. Естественно, стек контроллеров, как виртуализационный механизм, не стоит на месте и постоянно совершенствуется и на уровне виртуализации и на уровне основных и сервисных функции.
Устройство современного RAID контроллера.
Современный RAID контроллер представляет из себя информационную систему (упрощенно – компьютер), которая в силу выполнения своих основных функций: создания виртуального контейнера, размещения и обработки информации в контейнерах (по сути, ЧТЕНИЕМ – ЗАПИСЬЮ информации) обменивается данными с двумя другими типами информационных систем:
1. C операционной системой;
2. С HDD или SSD дисками.
С точки зрения внутренней архитектуры, современный RAID контроллер представляет из себя следующий набор основных подсистем:
- Микросхема RoC (RAIDonChip);
- Оперативная память;
- Управление “защитой” кэш памяти (как правило, это отдельная дочерняя плата, но в последних реализациях для 8-ой серии контроллеров Adaptec этот модуль встроен в микросхему RoC);
- Суперконденсатор, как источник питания для модуля защиты кэш, используется в случае пропадания основного питания;
- Flash-память и nvSRAM (память, которая не теряет информацию при выключении питания);
- Разъемы SAS, где каждый отдельный физический разъем собран по принципу четыре порта SAS в одном физическом разъеме;
- Разъем PCI-E.
Таблица — Основные подсистемы RAID контроллера.
Основные функции современных RAID контроллеров Adaptec.
Поддержка режима HBA.
Мы уже рассмотрели выше, какие модели RAID контроллеров поддерживают режим HBA. Важно отметить, что это делается независимо для каждого диска. Т.е., на контроллере, если вы не будете инициализировать часть дисков на физическом уровне, они автоматически попадут в программу типа «disk manager» и будут там видны и доступны для работы с ними. Вы можете одну часть таких дисков в режиме HBA использовать как одиночные диски, а другую часть использовать для создания software RAID средствами операционной системы. Проинициализированные диски будут использоваться для создания RAID томов средствами RAID контроллера.
Гибридные тома.
На последних версиях прошивки контроллер Adaptec автоматически создает Hybrid RAID-массив, когда вы создаете RAID 1/10 из одинакового количества SSD и HDD (но в старых прошивках было важно, чтобы в RAID1 парах SSD диск стоял «мастером», а HDD диск «слейвом»). Если Вы не знаете, как это проверить – обратитесь с службу тех. поддержки Adaptec. Контроллер Adaptec делает запись одновременно на HDD и SSD. В режиме гибридного тома чтение идет только с SSD! (для тома из двух HDD дисков при превышении некоторого порога операций ввода-вывода чтение происходит с двух дисков. В этом главное отличие гибридного режима RAID1/10). Результат – надежный массив с отличной производительностью чтения. Чтение как у одиночного SSD диска. Это на несколько порядков выше чему у HDD. Функция стандартно поставляется со всеми контроллерами Adaptec Series 2, 5,6, 7, 8.
Поддержка типов томов, являющихся заменой RAID5.
Надеюсь, вы хорошо представляете себе контейнер RAID5 — это достаточно классическое решение.
Красным показан контейнер хранения информации, созданный RAID контроллером. Это контейнер типа RAID5. Сам том RAID5 состоит из большого количества таких виртуальных контейнеров, сложенных в некоторую «пачку». Контейнер RAID5 состоит из набора секторов отдельных физических дисков. Особенность контейнера RAID5 заключается в том, что он может «пережить» проблемы в ряде контейнеров жестких дисков, из которых он состоит, т.е., секторы жестких дисков, которые входят в состав RAID5 контейнера, теряют свою информацию, но сам RAID5 контейнер ее хранит. Это происходит до определенного предела. При некотором количестве «испорченных» секторов сам RAID5 контейнер уже не сможет гарантировать 100% хранение информации. Из-за перехода с технологии SCSI на технологию SAS предлагаемое базовое качество хранения информации контейнером RAID5 очень сильно ухудшилось, буквально, на несколько порядков.
Произошло это из-за ряда объективных причин:
1. Из-за поддержки SATA дисков, особенно десктопного класса, качество хранения информации в контейнере типа «сектор диска» заметно упало (SCSI контроллеры поддерживали только высококачественные SCSI диски);
2. Количество дисков на контроллере выросло многократно (2х канальный SCSI контроллер – максимум 26 дисков, с учетом производительности 8 -10 (по 4-5 на канал));
3. Емкость дисков выросла значительно. Это значит, что в том RAID 5 может попадать намного больше контейнеров RAID5 (мах. Емкость SCSI дисков 400GB, максимальная емкость современного SATA жесткого диска – 8 ТБ).
Все это увеличивает вероятность возникновения проблем в одном контейнере RAID5, что значительно уменьшает вероятность сохранения информации в томе RAID5. По этой причине в современные стеки RAID контроллеров добавлены решения, которые позволяют исключить использование RAID5. Это RAID1E, RAID5EE и RAID6.
Раньше единственной альтернативой RAID5 был RAID10. Поддержка RAID 10, естественно, сохранилась.
Варианты замены RAID5:
Bad Stripe
Раньше, если даже один контейнер контроллера (страйп) терял информацию или не мог гарантировать ее сохранность, это приводило к ситуации перевода всего тома в режим offline со стороны RAID контроллера (остановка доступа, буквально, означала – контроллер не может гарантировать 100% целостность пользовательских данных на томе).
Современный контроллер “отрабатывает” такую ситуацию по-другому:
1. Доступ к тому не останавливается;
2. На томе выставляется специальный маркер “bad stripe”, которые означает, что в RAID томе есть специальные контейнеры, которые потеряли информацию;
3. О таких «испорченных контейнерах» сообщается операционной системе, чтобы она могла оценить возможные меры по предотвращению потери информации или ее восстановлению.
Маркер bad stripe невозможно удалить с тома. Можно только такой том удалить и создать заново. Появление тома с флагом «bad stripe» говорит о СЕРЬЕЗНЫХ ошибках или проблемах на этапе проектирования системы хранения или на этапе ее эксплуатации. Как правило, за такой ситуацией стоит серьезная некомпетентность проектировщика или системного администратора.
Основной источник проблем такого рода — неправильно спроектированный RAID5.
Некоторые реализации RAID 5 (например, RAID5 на десктопных дисках) запрещены для томов с пользовательскими данными. Требуется, как минимум, RAID5 + Hot Spare, что не имеет смысла при наличии RAID6. Получается, что там, где надо было создать RAID6, был создан RAID5, что через несколько лет эксплуатации привело к появлению маркера BAD STRIPE.
SSD кэширование
Функция SSD кэширования является одной из самых востребованных функций для оптимизации производительности RAID томов мощных систем хранения с большим количеством пользователей без значительного увлечения стоимости, количества юнитов решения, без потери емкости системы хранения и обеспечения оптимального энергопотребления.
Для применения SSD кэширования на запись, следует убедиться в выполнении двух условий:
1. Приложение работает в режиме «случайного чтения»;
2. Запросы к данным имеют неравномерную природу – есть контейнеры уровня RAID, к которым обращаются чаще, чтобы считать оттуда данные, а есть те, к которым обращения идут реже.
Надо отметить, что чем больше пользователей у системы, тем вероятнее, что запросы к отдельным контейнерам примут форму стандартного статистического распределения. По параметру «количество запросов в единицу времени» можно выделить условно «горячие данные» (количество обращений к ним будет больше заданного параметра) и «холодные данные» (количество обращений к ним меньше заданного параметра).
Работа SSD кэш на чтение заключается в копировании «горячих данных» на SSD диски и дальнейшем чтении с SSD, что ускоряет процесс в разы. Поскольку это копирование, то кэш на чтение имеет естественную защиту, если SSD диск, формирующий область SSD кэш, выходит из строя, это приводит только лишь к потере производительности, но никак не к потере данных.
Основные настройки функции SSD кэширования для контроллеров 7Q, 8Q:
1. Прежде всего убедиться, есть ли у Вас «горячие данные» и какой они имеют размер. Лучше всего это сделать экспериментально, поместив достаточно большой SSD диск в область кэша и сконфигурировав его в режиме Simple Volume. Такую работу могут сделать для Вас компании-интеграторы. Примерно через неделю через функцию управления можно снять статистику SSD кэширования. Она покажет есть ли у Вас «горячие данные» и какой объем они занимают.
2. К данному объему желательно добавить10-50 % емкости и на основании этих данных настроить Вашу схему кэширования на случай увеличения объема «горячих данных» в будущем, если такая тенденция есть.
Настройки позволяют от емкости ваших SSD дисков «отрезать» нужную емкость, забрать ее в RAID том нужного типа, а оставшуюся емкость можно перевести в обычный RAID том.
Далее следует оценить, есть ли смысл использовать SSD кэш на запись. Как правило, интернет приложения работают на чтение. Кэш на запись, в основном, используется как дополнение к кэшу на чтение, если приложение помимо чтения использует и запись. И в случае использования кэша на запись требуется обеспечить защиту кэша. Если что-то случается с областью кэша, то данные, помещенные туда при кэшировании записи, будут потеряны. Для защиты достаточно использовать RAID том, дающий избыточность по дискам, например, RAID1.
Возможные режимы конфигурации SSD кэш области.
Для отдельных томов на контроллере можно независимо включать и выключать SSD кэш на чтение и на запись в зависимости от потребностей и типов приложений, работающих с каждым томом.
Поддержка uEFI.
Все контроллеры и HBA текущей линейки продуктов Adaptec поддерживают режим uEFI биоса материнских плат. Переход с MBR на uEFI позволил, например, создавать системные и загрузочные тома больше 2TB, что было невозможным на платах с MBR BIOS (отметим, что все продукты Adaptec полностью поддерживают тома >2TB, со стороны контроллеров и HBA этой проблемы не существует). Есть много других преимуществ использования uEFI режима. Например, при поддержке дисков с размером сектора 4K. Все продукты Adaptec текущей линейки поддерживают диски с сектором 4К, кроме 6-ой серии контроллеров.
Важно помнить, что если материнская плата использует режим MBR, то утилита конфигурации контроллера вызывается через Cntrl +A.
На рисунке стандартная утилита конфигурации Adaptec, вызываемая через комбинацию клавиш Cntrl +A.
В случае режима uEFI конфигуратор контроллеров и HBA интегрируется в BIOS материнской платы. Эту утилиту легко найти по строчкам, содержащим слово «Adaptec» или «PMC». И, как видно на примере ниже, uEFI утилита имеет более расширенный функционал, чем утилита, вызываемая через Cntrl + A.
Функции Hot Spare.
Hot Spare диск выполняет роль пассивного элемента RAID тома, и «забирается» в RAID том, если с каким-то из дисков в составе тома что-то случилось, и он больше недоступен для выполнения своей работы. HOT SPARE называется диск, который установлен на контроллер, раскручен и назначен к одному или нескольким томам.
Относительно последней части определения HOT SPARE, можно создать 3 вида дисков:
Hot Spare диски используются в стеке Аdaptеc для ручного «ремонта» томов, у которых по разным причинам вышел из строя один диск. Например, Ваш RAID5 том потерял один диск и перешел в состояние «degraded». Вы вставляете новый диск вместо старого или в любой другой свободный слот, нажимаете функцию rescan и теперь видите новый диск на уровне физических дисков стека. Далее – объявляете его как HOT SPARE (неважно какого типа, например, Global Hot Spare) и ждете, когда это диск на 100% «встроится» в том. Том переходит в состояние – Optimal. После этого, Вы выбираете команду – delete hot spare. Эта команда снимает статус HOT SPARE с данного диска, и он становится полноценным участником данного RAID тома.
Функция Power Management.
RAID тома работают по-разному. Например, тома, созданные для резервного копирования данных, могут использоваться для перемещения данных, к примеру, два – три дня за месяц. Возникает вопрос: насколько хорошо подавать питание на жесткие диски и держать диски раскрученными, если фактически все оставшееся время они не используются?
Решением этого вопроса занимается функция power management. Ее философия – если диски не используются, их вращение можно замедлить (если такая функция поддерживается дисками), а потом полностью остановить и держать, пока они не понадобятся, в выключенном состоянии. Настройки данной функции крайне простые.
Сначала целиком на контроллер задается время по дням недели, когда эта функция активирована, а когда нет. Эта настройка привязана к работе типичной компании. Задаются параметры введения в работу внутренних и внешних дисков – попарно, по три, по четыре и т.д., чтобы распределить нагрузку на блоки питания. Кроме этого, задаются три значения таймера. По истечении первого, если нет операций ввода-вывода на диски данного тома, то эти диски перейдут в состояние «stand by», т.е. уменьшат свои обороты на 50%. Не все диски поддерживают этот режим, если он не поддерживается, то с диском ничего происходить не будет. По истечении второго таймера диски полностью остановятся и перейдут в состояние «power off». Третий таймер используется для периодической проверки дисков, которые выключились надолго. Контроллер включает диски, проводит их недеструктивную проверку и, если все ОК, то переводит их снова в «power off» состояние.
После этих настроек Вы можете активировать power management схему для каждого тома, где это будет полезным. Такие тома в системе управления будут помечаться зеленым цветом. Максимум преимуществ данная функция дает при использовании в центрах обработки данных, позволяя не только прямую экономию энергии за счет остановки дисков, но и вспомогательную экономию за счет уменьшения оборотов вентиляторов, обдувающих диски, когда последние переводятся в выключенное состояние.
Управление системами хранения Adaptec.
Утилиты управления, которые входят в пакет Max View Storage Manager (MSM) построены на самых передовых стандартах и используют самые последние тенденции в совершенствовании принципов и улучшении эффективности управления. Поэтому мы легко можем использовать Adaptec Max View Storage Manager как базовую модель, чтобы посмотреть на основные функции и методы в области управления системами хранения. В качестве основного элемента управления используется RAID контроллер, который может обмениваться служебной информацией с дисками, экспандерами и корзинами и, таким образом, поддерживать функции управления для всей подсистемы хранения в целом.
Основные возможности современных систем управления системами хранения:
- В качестве клиентского приложения используется стандартный WEB браузер.
- CIM провайдер для работы в виртуальных средах. CIM провайдер из пакета MSM позволяет осуществлять полное управление RAID контроллером из-под любой виртуальной среды. Например, при использовании vmware.
- Использование CLI (command line interface) утилит. В пакете MSМ, помимо графической утилиты управления, в качестве клиентской части которой используется WEB браузер, присутствует CLI утилита – ARCCONF.EXE. Список команд можно получить, используя документацию с сайта Adaptec. С помощью CLI можно создавать различные скрипты (мини программы), которые могут использоваться интеграторами для автоматизации производства, настроек, изменения прошивок и т.д. и в компаниях, использующих RAID контроллеры для автоматического опроса систем хранения на предмет выявления нештатных ситуаций.
- Возможность управления всей инфраструктурой из одного клиентского приложения. C помощью MSM в окне Enterprise View Вы можете «забрать» на управление все серверы с установленными в них одним или несколькими RAID контроллерами. Для этого вы или прямо указываете IP адрес таких систем, или используете функцию Auto Discovery.
• Высокий уровень детализации, визуализации и вложенности объектов управления.Администратор может видеть, что весь сегмент сети стал красным, это означает – существует неисправность. Если раскрыть иконку сетевого сегмента, то будут видны все сервера. Проблемный сервер будет отмечен красным цветом. Если кликнуть мышкой на этом сервере будут видны RAID контроллеры, установленные в этой системе. Красный цвет одного из них означает какую-то проблему. При дальнейшей детализации будут видны тома, созданные на этом контроллере и проблемный том. И так с точностью до проблемного физического диска. Теперь администратор точно знает, что случилось, к каким последствиям это привело, и какой диск надо заменить.
• Высокий уровень безопасности систем управления при использовании стандартных сетевых протоколов. Механизмы управления системами хранения, очевидно, нуждаются в защите. Ведь при несанкционированном доступе или при открытом канале управления пользовательские данные могут быть уничтожены без возможности восстановления. С этой целью MSM использует базу пользователей и паролей из самой операционной системы. Кроме этого, на канале между браузером и сервером управления используется шифрование трафика через протокол HTTPS. В других компонентах системы управления вопросы безопасности также решаются на самом высоком уровне.
• Возможность отправки важных сообщений из системы хранения администратору.Чтобы не «приковывать» навеки взгляд администратора к экрану с MS в WEB браузере, система управления может быть настроена на отправку сообщений по E-mail. MSM имеет возможность отправлять все типы сообщений, включая тестовые. Наибольшую важность имеют сообщения типа Warning и Error, которые напрямую связаны с переходами RAID томов в состояние Degrade и Failed. Такие сообщения через почтовые приложения могут быть легко переданы на мобильный телефон администратора.
Все эти и многие другие функции делают системы управления устройствами хранения незаменимыми помощниками в ежедневной работе.
Продолжение следует...
Вас ждет классификация контроллеров Adaptec.Подробное описание 6, 7 и 8 серии RAID контроллеров Adaptec, 6 и 7 серии HBA Adaptec.Подписывайтесь на хаб ТринитиИнформация предоставлена компанией Adaptec by PMC (Россия). Полный текст статьи можно найти на сайте Adaptec
Часть 2
Ранее публиковал первую часть, в которой описывались общие сведения о RAID контроллерах (азы читать здесь), были вопросы и интерес, выкладываю уже «мясной» кусок. Здесь всё очень конкретно – подробная классификация контроллеров Adaptec, функции каждой серии контроллеров, таблицы, картинки и т.д.
Модельный ряд RAID контроллеров Adaptec.
Классификация контроллеров Adaptec.
Можно попробовать представить усиление функций стека относительно класса проектов в этой таблице графически, чтобы придать таблице наглядность.
Таблица применения моделей с точки зрения поддержки SSD дисков.
Еще более мощную поддержку использования большого количества SSD дисков на контроллере будут давать следующие поколения RAID контроллеров и HBA. Количество дисков, указанное в таблице, имеет примерное значение. Более точные расчеты производительности в данной статье не указываются, они могут быть выполнены компаниями – интеграторами.
Зависимость выбора модели RAID контроллера от количества пользователей серверной системы приведена в таблице ниже (указаны активные пользователи). Цифры носят довольно приблизительный характер, и приведены для того, чтобы понять тенденцию в использовании определенных моделей.
И еще один важный момент. Как настоятельно рекомендуют все учебники, посвященные проектированию сложных систем — проект должен учитывать не только настоящие, но будущие требования к системе.
Существует зависимость и от приложений. Например, SSD кэширование ускоряет работу приложений, ориентированных на чтение. К счастью, это больше 90% Internet приложений. Для операций записи тоже возможно кэширование, но это уже больше как “приятное дополнение” к чтению из-за природы самих приложений.
Рассмотрим теперь модели контроллеров более детально.
6-ая серия RAID контроллеров Adaptec.
Общие характеристики контроллеров 6-ой серии:
• Базируются на микросхеме RoC (RAID on Chip) PM8013 8x портов SAS2 (6Гб/сек) PMC-Sierra (дополнительную информацию можно посмотреть на сайте www.pmcs.com;
• Модели с максимальным количеством портов – 8 портов SAS 2.0 (6Гб/сек), и слотом 8x PCI-express Gen 2.0;
• Кэш память — 512MB DDR2-667 DRAM.
• Опционально могут использовать Набор защиты кэша Adaptec Flash Module (AFM-600 Kit) в который входят:
o Дочерняя плата с flash-памятью;
o Выносной блок суперконденсатора.
Adaptec RAID 6805 с AFM-600 Flash Module.
Контроллеры 6 серии на уровне стека поддерживают:
Simple Volume, JBOD, RAID 0, 1, 10, 1E, 5, 6, 50, 60 Hybrid RAID 1, 10.
Максимальная производительность ядра контроллера 50 000 IOPS (4 KB blocks, random read).
Производительность для последовательных шаблонов в таблице ниже.
Семейство 6T.
Основная цель появления таких контроллеров семейства 6T — исключить ситуации, когда негибкая часть кабеля (часть, примерно, 2 см длиной после разъема) упирается в крышку или корпус сервера, в радиатор процессора или другие части сервера. Для этого на 6-ой серии контроллеров порты расположены так, чтобы негибкая часть кабеля не выходила за геометрические границы контроллера. Помечено зеленой стрелкой на рисунке. Синий прямоугольник – негибкая часть кабеля.
Adaptec RAID 6805Т с AFM-600 Flash Module.
Семейство 6E
RAID контроллеры для проектов начального класса. Уменьшена оперативная память, по сравнению с обычными контроллерами 6-ой серии, упрощен стек, нет поддержки защиты кэша и экспандеров. Имеют упрощенный стек, поддерживают только Simple Volume, JBOD, RAID 0,1, 10, 1E, т.е., нет поддержки RAID 5,5EE,6, 50, 60, но поддерживают Hybrid RAID 1, 10 (см. раздел «Гибридные Тома» в главе «Основные функции RAID контроллеров» ниже.
Модель 6405E поддерживает максимально 4 диска. Модель 6805E – 8 дисков (поскольку нет поддержки SAS экспандеров). Модель 6405E имеет слот PCI-E 1x, модель 6805E – слот PCI-E 4x ver. 2.
Разъемы портов контроллеров 6-ой серии.
Все семейство RAID контроллеров 6-ой серии поддерживает только порты Mini-SAS.
Для внутренних портов используется разъем – SFF 8087 (internal mini-SAS),
для внешних – SFF-8088 (external mini-SAS).
Сводная таблица для контроллеров 6-ой серии.
7-ая серия RAID контроллеров Adaptec.
Adaptec RAID 71605.
Первый контроллер PCIe 3.0 LP MD2 с 16 портами SAS/SATA 6 Гбит/сек.
Первый контроллер PCIe 3.0 половинной длины с 24 портами.
Первое решение, использующее все преимущества шины PCIe 3.0.
Первое решение, обеспечивающее 450 тысяч IOPS и 6600 МБ/сек.
Первое решение, ориентированное на создание томов на базе SSD.
Впервые в полной мере допускается подключение внешних стоек RBOD, ленточных устройств и автозагрузчиков.
Общие характеристики контроллеров 7-ой серии:
• Базируются на микросхеме SRCv RoC (RAID on Chip) PM8015 SRCv 24x порта SAS2 (6Гб/сек) PMC-Sierra (дополнительную информацию можно посмотреть на сайте www.pmcs.com);
• Модели с максимальным количеством портов – 24 порта SAS 2.0 (6Гб/сек), и слотом 8x PCI-express Gen 3.0;
• Кэш память — 1024 MB DDR3-1333 DRAM.
o Опционально могут использовать Набор защиты кэша Adaptec Flash Module (AFM-700), в который входят:
o Дочерняя плата с flash-памятью;
o Выносной блок суперконденсатора.
Контроллеры 7-ой серии на уровне стека поддерживают: Simple Volume, JBOD, RAID 0, 1, 10, 1E, 5, 6, 50, 60, Hybrid RAID 1, 10 и режим HBA.
Начиная с 7-ой серии RAID контроллеры поддерживают режим HBA, т.е. по сути это не совсем RAID контроллер, это RAID контроллер и HBA на одной плате. См. в описании функций продуктов раздел «Режим HBA».
Прекращена поддержка RAID 5EE (причина в том, что производительность RAID6 из-за усиления архитектуры микросхемы RoC сравнялась с RAID5EE, а по всем остальным параметрам – надежность, легкость в обслуживании и т.д., RAID 6 или аналогичен или лучше RAID5EE, что лишает смысла существование RAID 5EE в стеке современного RAID контроллера).
Максимальная производительность ядра контроллера 600 000 IOPS.
Все семейство RAID контроллеров 7-ой серии поддерживает только порты miniSAS-HD.
Для внутренних портов используется разъем – SFF-8643 (internal mini-SAS HD),
для внешних – SFF-8644 (external mini-SAS HD).
Обратите внимание на сбалансированность диапазонов пропускания со стороны SAS и PCI-E на примере 71605 контроллера – единственное в отрасли решение 16 портов SAS2 в низкопрофильном варианте.
Семейство 7E
RAID контроллеры для проектов начального класса. Уменьшена оперативная память, по сравнению с обычными контроллерами 6-ой серии, упрощен стек, нет поддержки защиты кэша. Имеют упрощенный стек, поддерживают только Simple Volume, JBOD, RAID 0,1, 10, 1E, т.е., нет поддержки RAID 5,5EE,6, 50, 60, но поддерживают Hybrid RAID 1, 10 (см. раздел «Гибридные Тома» в главе «Основные функции RAID контроллеров» ниже).
В отличие от 6E семейство 7E поддерживает экспандеры и имеют такой же разъем 8X PCI-E как и контроллеры без индекса «E».
Семейство 7Q
RAID контроллеры семейства 7Q обладают функцией SSD кэширования. Поддерживается выделение кэша на уровне логического диска. Оставшуюся емкость можно использовать как обычный RAID том. Поддерживается кэш и на чтение, и на запись. Более детальную информацию смотрите в разделе «SSD кэширование» в главе «Основные функции RAID контроллеров» ниже.
Сводная таблица для контроллеров 7-ой серии.
8-ая серия RAID контроллеров Adaptec.
Общие характеристики контроллеров 8-ой серии.
8-ая серия RAID контроллеров является флагманской группой RAID контроллеров на начало 2015 года. И базируется уже на технологии SAS3 (12 Гб/сек). Семейство включает в себя единственный в отрасли 16-портовый RAID-контроллер SAS 12 Гб/с со встроенным флэш-резервированием кэша — всё это в форм-факторе LP/MD2 — ASR-81605ZQ. Максимальные в отрасли для RAID контроллеров 700 000 операций ввода-вывода в секунду (IOPS). Max Cache 3.0 — уникальное для отрасли программное обеспечение уровневого управления и кэширования, обеспечивает хранилищам лучшую экономическую эффективность и производительность.
ASR-8885 имеет 8 внутренних/внешних портов SAS3 12 Гб/сек в низкопрофильном форм-факторе LP/MD2:
• Базируются на микросхеме SRCv RoC (RAID on Chip) PMC PM8063 16x портов SAS3 (12 Гб/сек) PMC-Sierra (дополнительную информацию можно посмотреть на сайте www.pmcs.com);
• Модели с максимальным количеством портов — 12 портов SAS 3.0 (12 Гб/сек) и слотом 8x PCI-express Gen 3.0;
• Кэш память — 1024 MB DDR3-1600 DRAM;
• Разъёмы HD miniSAS.
o Опционально могут использовать Набор защиты кэша Adaptec Flash Module (AFM-700), в который входят:
o Дочерняя плата с flash-памятью;
o Выносной блок суперконденсатора.
Модель AFM-700 модуля защиты кэша подходит к 7 и 8 серии контроллеров Adaptec.
Семейство 8Q
RAID контроллеры семейства 8Q поддерживают функцию SSD кэширования. Поддерживается выделение кэша на уровне логического диска. Оставшуюся емкость можно использовать как обычный RAID том. Поддерживается кэш и на чтение, и на запись. Более детальную информацию смотрите в разделе «SSD кэширование» в главе «Основные функции RAID контроллеров» ниже.
Сводная таблица для контроллеров 8-ой серии.
Adaptec RAID 81605ZQ с подключенным блоком суперконденсатора.
6-ая серия HBA Adaptec
Adaptec SAS HBA 6805H.
Общие характеристики HBA 6H серии:
• Крайне эффективные, с точки зрения цены, HBA решения, которые предоставляют 4 / 8 внутренних SAS портов (технологии SAS2 6Гб/сек);
• Производительность 250000 IOPS с размером блока. 512 Байт и 200000 IOPS с размером блока 4Kбайта;
• Все модели имеют низкопрофильный размер LP/MD2 и используют MiniSAS разъемы;
• Семейство использует 4x PCI-express Gen 2.0.
Сводная таблица для HBA 6-ой серии.
7-ая серия HBA Adaptec.
Adaptec SAS HBA 71605H.
Общие характеристики HBA 7H серии:
• Крайне эффективные, с точки зрения цены, HBA решения, которые предоставляют 16/ 8 внутренних или внешних SAS портов (технологии SAS2 6Гб/сек);
• Производительность 1 миллион IOPS с размером блока. 512 Байт и 800000 IOPS с размером блока 4Kбайта;
• Поддерживают недисковые устройства;
• Все модели имеют низкопрофильный размер LP/MD2 и используют MiniSAS-HD разъемы;
• Семейство использует 8x PCI-express Gen 3.0.
Сводная таблица для HBA 7-ой серии.
Общий взгляд на ядро линейки продуктов с точки зрения поддержки функций RAID и HBA.
Информация предоставлена компанией Adaptec by PMC (Россия). Полный текст статьи можно найти на сайте Adaptec.
Модельный ряд RAID контроллеров Adaptec.
Классификация контроллеров Adaptec.
Можно попробовать представить усиление функций стека относительно класса проектов в этой таблице графически, чтобы придать таблице наглядность.
Таблица применения моделей с точки зрения поддержки SSD дисков.
Еще более мощную поддержку использования большого количества SSD дисков на контроллере будут давать следующие поколения RAID контроллеров и HBA. Количество дисков, указанное в таблице, имеет примерное значение. Более точные расчеты производительности в данной статье не указываются, они могут быть выполнены компаниями – интеграторами.
Сервер Тринити - надежное вложение
Зависимость выбора модели RAID контроллера от количества пользователей серверной системы приведена в таблице ниже (указаны активные пользователи). Цифры носят довольно приблизительный характер, и приведены для того, чтобы понять тенденцию в использовании определенных моделей.
И еще один важный момент. Как настоятельно рекомендуют все учебники, посвященные проектированию сложных систем — проект должен учитывать не только настоящие, но будущие требования к системе.
Существует зависимость и от приложений. Например, SSD кэширование ускоряет работу приложений, ориентированных на чтение. К счастью, это больше 90% Internet приложений. Для операций записи тоже возможно кэширование, но это уже больше как “приятное дополнение” к чтению из-за природы самих приложений.
Рассмотрим теперь модели контроллеров более детально.
6-ая серия RAID контроллеров Adaptec.
Общие характеристики контроллеров 6-ой серии:
• Базируются на микросхеме RoC (RAID on Chip) PM8013 8x портов SAS2 (6Гб/сек) PMC-Sierra (дополнительную информацию можно посмотреть на сайте www.pmcs.com;
• Модели с максимальным количеством портов – 8 портов SAS 2.0 (6Гб/сек), и слотом 8x PCI-express Gen 2.0;
• Кэш память — 512MB DDR2-667 DRAM.
• Опционально могут использовать Набор защиты кэша Adaptec Flash Module (AFM-600 Kit) в который входят:
o Дочерняя плата с flash-памятью;
o Выносной блок суперконденсатора.
Adaptec RAID 6805 с AFM-600 Flash Module.
Контроллеры 6 серии на уровне стека поддерживают:
Simple Volume, JBOD, RAID 0, 1, 10, 1E, 5, 6, 50, 60 Hybrid RAID 1, 10.
Максимальная производительность ядра контроллера 50 000 IOPS (4 KB blocks, random read).
Производительность для последовательных шаблонов в таблице ниже.
Семейство 6T.
Основная цель появления таких контроллеров семейства 6T — исключить ситуации, когда негибкая часть кабеля (часть, примерно, 2 см длиной после разъема) упирается в крышку или корпус сервера, в радиатор процессора или другие части сервера. Для этого на 6-ой серии контроллеров порты расположены так, чтобы негибкая часть кабеля не выходила за геометрические границы контроллера. Помечено зеленой стрелкой на рисунке. Синий прямоугольник – негибкая часть кабеля.
Adaptec RAID 6805Т с AFM-600 Flash Module.
Семейство 6E
RAID контроллеры для проектов начального класса. Уменьшена оперативная память, по сравнению с обычными контроллерами 6-ой серии, упрощен стек, нет поддержки защиты кэша и экспандеров. Имеют упрощенный стек, поддерживают только Simple Volume, JBOD, RAID 0,1, 10, 1E, т.е., нет поддержки RAID 5,5EE,6, 50, 60, но поддерживают Hybrid RAID 1, 10 (см. раздел «Гибридные Тома» в главе «Основные функции RAID контроллеров» ниже.
Модель 6405E поддерживает максимально 4 диска. Модель 6805E – 8 дисков (поскольку нет поддержки SAS экспандеров). Модель 6405E имеет слот PCI-E 1x, модель 6805E – слот PCI-E 4x ver. 2.
Разъемы портов контроллеров 6-ой серии.
Все семейство RAID контроллеров 6-ой серии поддерживает только порты Mini-SAS.
Для внутренних портов используется разъем – SFF 8087 (internal mini-SAS),
для внешних – SFF-8088 (external mini-SAS).
Сводная таблица для контроллеров 6-ой серии.
7-ая серия RAID контроллеров Adaptec.
Adaptec RAID 71605.
Первый контроллер PCIe 3.0 LP MD2 с 16 портами SAS/SATA 6 Гбит/сек.
Первый контроллер PCIe 3.0 половинной длины с 24 портами.
Первое решение, использующее все преимущества шины PCIe 3.0.
Первое решение, обеспечивающее 450 тысяч IOPS и 6600 МБ/сек.
Первое решение, ориентированное на создание томов на базе SSD.
Впервые в полной мере допускается подключение внешних стоек RBOD, ленточных устройств и автозагрузчиков.
Общие характеристики контроллеров 7-ой серии:
• Базируются на микросхеме SRCv RoC (RAID on Chip) PM8015 SRCv 24x порта SAS2 (6Гб/сек) PMC-Sierra (дополнительную информацию можно посмотреть на сайте www.pmcs.com);
• Модели с максимальным количеством портов – 24 порта SAS 2.0 (6Гб/сек), и слотом 8x PCI-express Gen 3.0;
• Кэш память — 1024 MB DDR3-1333 DRAM.
o Опционально могут использовать Набор защиты кэша Adaptec Flash Module (AFM-700), в который входят:
o Дочерняя плата с flash-памятью;
o Выносной блок суперконденсатора.
Контроллеры 7-ой серии на уровне стека поддерживают: Simple Volume, JBOD, RAID 0, 1, 10, 1E, 5, 6, 50, 60, Hybrid RAID 1, 10 и режим HBA.
Начиная с 7-ой серии RAID контроллеры поддерживают режим HBA, т.е. по сути это не совсем RAID контроллер, это RAID контроллер и HBA на одной плате. См. в описании функций продуктов раздел «Режим HBA».
Прекращена поддержка RAID 5EE (причина в том, что производительность RAID6 из-за усиления архитектуры микросхемы RoC сравнялась с RAID5EE, а по всем остальным параметрам – надежность, легкость в обслуживании и т.д., RAID 6 или аналогичен или лучше RAID5EE, что лишает смысла существование RAID 5EE в стеке современного RAID контроллера).
Максимальная производительность ядра контроллера 600 000 IOPS.
Все семейство RAID контроллеров 7-ой серии поддерживает только порты miniSAS-HD.
Для внутренних портов используется разъем – SFF-8643 (internal mini-SAS HD),
для внешних – SFF-8644 (external mini-SAS HD).
Обратите внимание на сбалансированность диапазонов пропускания со стороны SAS и PCI-E на примере 71605 контроллера – единственное в отрасли решение 16 портов SAS2 в низкопрофильном варианте.
Семейство 7E
RAID контроллеры для проектов начального класса. Уменьшена оперативная память, по сравнению с обычными контроллерами 6-ой серии, упрощен стек, нет поддержки защиты кэша. Имеют упрощенный стек, поддерживают только Simple Volume, JBOD, RAID 0,1, 10, 1E, т.е., нет поддержки RAID 5,5EE,6, 50, 60, но поддерживают Hybrid RAID 1, 10 (см. раздел «Гибридные Тома» в главе «Основные функции RAID контроллеров» ниже).
В отличие от 6E семейство 7E поддерживает экспандеры и имеют такой же разъем 8X PCI-E как и контроллеры без индекса «E».
Семейство 7Q
RAID контроллеры семейства 7Q обладают функцией SSD кэширования. Поддерживается выделение кэша на уровне логического диска. Оставшуюся емкость можно использовать как обычный RAID том. Поддерживается кэш и на чтение, и на запись. Более детальную информацию смотрите в разделе «SSD кэширование» в главе «Основные функции RAID контроллеров» ниже.
Сводная таблица для контроллеров 7-ой серии.
8-ая серия RAID контроллеров Adaptec.
Общие характеристики контроллеров 8-ой серии.
8-ая серия RAID контроллеров является флагманской группой RAID контроллеров на начало 2015 года. И базируется уже на технологии SAS3 (12 Гб/сек). Семейство включает в себя единственный в отрасли 16-портовый RAID-контроллер SAS 12 Гб/с со встроенным флэш-резервированием кэша — всё это в форм-факторе LP/MD2 — ASR-81605ZQ. Максимальные в отрасли для RAID контроллеров 700 000 операций ввода-вывода в секунду (IOPS). Max Cache 3.0 — уникальное для отрасли программное обеспечение уровневого управления и кэширования, обеспечивает хранилищам лучшую экономическую эффективность и производительность.
ASR-8885 имеет 8 внутренних/внешних портов SAS3 12 Гб/сек в низкопрофильном форм-факторе LP/MD2:
• Базируются на микросхеме SRCv RoC (RAID on Chip) PMC PM8063 16x портов SAS3 (12 Гб/сек) PMC-Sierra (дополнительную информацию можно посмотреть на сайте www.pmcs.com);
• Модели с максимальным количеством портов — 12 портов SAS 3.0 (12 Гб/сек) и слотом 8x PCI-express Gen 3.0;
• Кэш память — 1024 MB DDR3-1600 DRAM;
• Разъёмы HD miniSAS.
o Опционально могут использовать Набор защиты кэша Adaptec Flash Module (AFM-700), в который входят:
o Дочерняя плата с flash-памятью;
o Выносной блок суперконденсатора.
Модель AFM-700 модуля защиты кэша подходит к 7 и 8 серии контроллеров Adaptec.
Семейство 8Q
RAID контроллеры семейства 8Q поддерживают функцию SSD кэширования. Поддерживается выделение кэша на уровне логического диска. Оставшуюся емкость можно использовать как обычный RAID том. Поддерживается кэш и на чтение, и на запись. Более детальную информацию смотрите в разделе «SSD кэширование» в главе «Основные функции RAID контроллеров» ниже.
Сводная таблица для контроллеров 8-ой серии.
Adaptec RAID 81605ZQ с подключенным блоком суперконденсатора.
6-ая серия HBA Adaptec
Adaptec SAS HBA 6805H.
Общие характеристики HBA 6H серии:
• Крайне эффективные, с точки зрения цены, HBA решения, которые предоставляют 4 / 8 внутренних SAS портов (технологии SAS2 6Гб/сек);
• Производительность 250000 IOPS с размером блока. 512 Байт и 200000 IOPS с размером блока 4Kбайта;
• Все модели имеют низкопрофильный размер LP/MD2 и используют MiniSAS разъемы;
• Семейство использует 4x PCI-express Gen 2.0.
Сводная таблица для HBA 6-ой серии.
7-ая серия HBA Adaptec.
Adaptec SAS HBA 71605H.
Общие характеристики HBA 7H серии:
• Крайне эффективные, с точки зрения цены, HBA решения, которые предоставляют 16/ 8 внутренних или внешних SAS портов (технологии SAS2 6Гб/сек);
• Производительность 1 миллион IOPS с размером блока. 512 Байт и 800000 IOPS с размером блока 4Kбайта;
• Поддерживают недисковые устройства;
• Все модели имеют низкопрофильный размер LP/MD2 и используют MiniSAS-HD разъемы;
• Семейство использует 8x PCI-express Gen 3.0.
Сводная таблица для HBA 7-ой серии.
Общий взгляд на ядро линейки продуктов с точки зрения поддержки функций RAID и HBA.
Информация предоставлена компанией Adaptec by PMC (Россия). Полный текст статьи можно найти на сайте Adaptec.
- adaptec
- , raid
- , raid контроллер
- , дисковая подсистема
- , hba
No comments:
Post a Comment