BAUM STORAGE - лидер в отечественных промышленных СХД

Актуальная информация

      В 2023 году по опросам экспертов из 18 отраслей экономики РФ более 70% российских компаний рассматривают на замену западным отечественные системы хранения данных, а более 10% потребителей СХД уже приступили к модернизации своей инфраструктуры с использованием отечественных решений. И этот тренд устойчиво сохраняется. Замещение западных СХД происходит не только из-за санкционной политики, но и по причине снижения доверия к безопасности работы на таких СХД, а также, в связи с ростом объемов данных, являющихся базой для современных цифровых систем, технологий машинного обучения и искусственного интеллекта.

Ключевые задачи при этом, которые, как целенаправленно, так и вынужденно, решает российское ИТ-сообщество – это повышение технологического суверенитета отрасли и развитие собственной ИТ-индустрии. Азиатские решения, на которые также обращают внимание российские потребители, несмотря на их значительное присутствие на глобальном ИТ рынке, эти задачи решить, очевидно, не могут.

На сегодняшний день рынок российских производителей СХД представлен всего несколькими поставщиками, лидером среди которых в enterprise сегменте можно, безусловно, выделить BAUM STORAGE. Более 14 лет BAUM STORAGE вкладывает значительные инвестиции в развитие собственных СХД, с 2014 года начались первые поставки СХД BAUM STORAGE на отечественный рынок.

Не секрет, что при схожей аппаратной базе разных производителей СХД, основные отличия, характеризующие наиболее важные возможности и показатели СХД, определяются программным обеспечением СХД. В современных реалиях важно, что программное обеспечение для СХД BAUM, наряду с другими программными продуктами компании,  входит в реестр российского ПО (№ 7305 Приказ Минкомсвязи России от 30.10.2020 №567). Для СХД Baum написан полный комплект технической документации, значительно сокращающий время ввода в эксплуатацию СХД и построение архитектур сложных инфраструктур заказчика. 

СХД BAUM позиционируется как классическая двухконтроллерная СХД с активными контроллерами. По такому важному показателю как количество поддерживаемых дисков (более 2300) СХД BAUM лидирует среди прочих отечественных производителей. Таким образом, при масштабировании, с ростом объемов данных у потребителя нет необходимости принципиально  пересматривать собственную архитектуру решения по хранению данных или вкладывать значительные финансовые средства в ее замену. Немаловажным преимуществом BAUM является то, что процессы обновления микрокода СХД BAUM не влекут простоя в работе систем, данные которых находятся на СХД, что позволяет применять СХД в условиях самых жестких требований по допустимому времени простоя, а также масштабировать набор сервисов без остановки работы СХД.

 Функциональность СХД BAUM одна из достаточно богатых даже в сравнении с западными аналогами, а такие возможности как дедупликация, компрессия, снэпшоты, клоны, репликация и пр. являются базовыми для продукта. Управление СХД BAUM возможно как через русифицированный web-интерфейс, так и в режиме командной строки.

 Немаловажным фактором, определяющим выбор СХД BAUM является развитая экосистема продукта, сервисную поддержку конечному потребителю могут оказывать в более, чем 250 партнерских сервисных центрах и во всех городах РФ в режиме 24*7*365 (в зависимости от SLA). Собирая обратную связь от потребителей, в т.ч. посредством сервисных центров и интеграторов, BAUM модернизирует функциональность СХД в соответствии с требованиями заказчиков и, такие изменения реализуются значительно быстрее, чем производителями зарубежных СХД. Значительную часть потребителей СХД BAUM составляют компании с государственным участием и государственные структуры, среди которых ФНС и ЦБ РФ, чьи требования к отказоустойчивости, масштабируемости, надежности ИТ-инфраструктуры одни из самых высоких.

Наиболее распространенными направлениями использования СХД BAUM являются виртуализация, базы данных, критичные приложения, системы резервного копирования, файловые, объектные и блочные хранилища. Помимо Intel-архитектур, СХД BAUM также может использоваться на отечественных архитектурах Эльбрус, а в ближайшей перспективе (при доступности соответствующих процессоров) и на архитектурах Байкал.

Остановимся кратко на функциональности, свойствах и особенностях СХД BAUM.

Репликация

В СХД BAUM реализован функционал асинхронной репликации данных, который работает в сети Ethernet вплоть до 40G Ethernet. Репликация работает на базе мгновенных снимков, т.е. по сети передаются только измененные данные. Задачи репликации возможно настраивать в зависимости от потребностей бизнеса и приложений.

Виртуализация

При использовании таких решений для СХД и технологий BAUM, как моментальные копии Snapshot, гибкое выделение ресурсов, дедупликация и компрессия, можно достичь 50%-ной экономии дискового пространства. В обычных же СХД физическое пространство хранения данных выделяется напрямую приложениям или группам пользователей, что имеет ряд очевидных  существенных недостатков.

Инструменты виртуализации от BAUM объединяют все доступное физическое пространство хранения данных в один пул, предоставляющий администраторам возможность быстрого и гибкого выделения виртуальных томов. Этот процесс не только упрощает администрирование, но и позволяет оптимально использовать имеющиеся ресурсы хранения данных, что, в свою очередь, способствует снижению эксплуатационных расходов и экономии электроэнергии.

Дедупликация

Возможности СХД BAUM в части дедупликации данных:

·         дедуплицированные блоки остаются дедуплицированными даже после выключения дедупликации. Чтобы они стали недедуплицированными, необходимо их все перезаписать после выключения дедупликации. Также, если блок был «обычным», после включения дедупликации, он так и останется обычным, если не будет перезаписан. Таким образом, дедупликация идёт в режиме реального времени относительно данных, которые пишутся в данный момент.

·         таблица дедупликации должна храниться в RAM в процессе работы системы для достижения максимальной эффективности, что требует значительного объема RAM на контроллере, но таблица дедупликации может хранится также и на диске. При необходимости, она может подгружаться с диска в RAM.

Компрессия

Возможности СХД BAUM в части компрессии:

·         компрессия может быть включена/выключена в любой момент. Сжатые блоки остаются сжатыми после выключения компрессии в случае, если они не переписывались. Если выключить компрессию и перезаписать блок, то он будет записан не сжатым. Также, обычный блок после перезаписи станет сжатым, если включить компрессию.

·         компрессия работает ортогонально дедупликации. Например, при сравнении хэшей блоков, используются хэши от несжатых блоков. Компрессия отрабатывает только в момент сброса блока данных/метаданных на диск.

·         компрессия не используется в кэше на чтение первого уровня. Т.е. в RAM хранятся либо несжатые блоки, либо ссылки на сжатые блоки на диске виртуального RAID-устройства.

·         компрессия работает до сброса данных в виртуальное RAID-устройство (на диски виртуального RAID-массива пишутся уже сжатые данные).

·         компрессия работает для любых блоков - и для блоков данных, и для блоков метаданных.

·         компрессия работает для любых видов ресурсов - файловых, блочных, снэпшотов и клонов.

·         можно задать алгоритм компрессии через свойства ресурса. По умолчанию используется самый эффективный в части экономии ресурсов CPU алгоритм lz4. При необходимости, можно установить gzip с заданным уровнем от одного до девяти

BAUM.CACHE ускоритель

За последние годы скорость обработки данных серверами повысилась более чем в 10 раз по сравнению со скоростью ввода/вывода и возможностями магнитных накопителей.

Одним из возможных решений являются модули кэширования 2-го уровня: они обрабатывают данные значительно быстрее, чем жесткие диски, и обходятся дешевле модулей DRAM. Однако системе хранения все равно приходится решать, как переслать нужные данные в нужное место хранения в нужное время, чтобы достичь оптимальной производительности серверов.

Технология акселерации уровней хранения данных BAUM.CACHE ACCELERATOR, основывается на интенсивности записи и считывания серверами блоков данных на жесткие диски. Ключевой особенностью в этом процессе является разбивка данных на блоки гранулярностью в 4 КБ. Это значительно ускоряет операции кэширования по сравнению с системами хранения других производителей, которые перемещают между различными уровнями хранения блоки данных размером в целые гигабайты с задержкой до нескольких суток.

Результаты эталонного тестирования BAUM показывают, что, например, модель BAUM STORAGE UDS2000 с использованием технологии BAUM.CACHE ACCELERATOR и дисками NL-SAS по пропускной способности ввода-вывода эквивалентна такой же системе с вдвое большим количеством дисков SAS, но без использования этой технологии. Благодаря этому, BAUM позволяет снизить затраты на приобретение занимаемого места в стойке и сокращение расходов на электроэнергию.

Быстрые пулы

Быстрые пулы используют принципиально другой способ распределения блоков данных на дисках, поднимая механизм обеспечения избыточности данных с уровня физических дисков на уровень логических блоков. Все доступное дисковое пространство быстрого пула разбивается на равные блоки, после чего они используются для организации одного или более избыточных виртуальных массивов уровней RAID 1, 10, 5, 6, которые предоставляются клиентам в виде виртуальных дисков. Блоки данных и метаданных созданного виртуального массива распределяются по всем дискам пула для минимизации потерь, при выходе дисков из строя. В быстрых пулах используется упрощенные алгоритмы записи, благодаря чему BAUM удалось добиться существенного прироста производительности.

Надежное хранение данных и метаданных

 СХД BAUM обеспечивает сохранность как самих данных, так и метаданных. Дисковые пулы являются хранилищами объектов – файлов, томов, директорий, атрибутов, метаданных. При этом СХД  резервирует порядка 3,2% полезного пространства пула под блоки метаданных. Файловая система BAUM имеет структуру B-дерева, каждый объект которого, содержит указатели на блоки данных/метаданных. Вместе с тем, эти указатели обращаются в определенные области блоков массива данных. Каждый блок имеет контрольную сумму, которая сохраняется отдельно от блока, что уменьшает вероятность одновременного повреждения как контрольной суммы, так и самих данных. Система может контролировать размер входного потока запросов на запись от клиента, и выходного потока на физические диски, избегая переполнения буферов и кэшей. Тем самым, можно потерять все контроллеры, но пользовательские данные сохранятся.

Моментальные копии BAUM Snapshot для высокоэффективного резервного копирования

Создание мгновенных снимков данных в СХД BAUM не вызывает падения производительности. Количество этих снимков ограничено свободным пространством пула. Моментальные снимки представляют собой «виртуальные» копии тома, которые доступны исключительно для чтения.

Данные в моментальных копиях хранятся в том же пространстве, что и рабочие данные тома. В результате, эти моментальные копии занимают очень мало дискового пространства. Поскольку они доступны только для чтения, их нельзя удалить случайно, и они не могут быть подвержены вирусным атакам. Если возникнет повреждение файловой системы (например, клиентом или сервером, получившим доступ ко всем данным), то возможно быстро восстановить данные из моментальной копии, сделанной в соответствующий момент времени.

Таким образом, время восстановления может быть сокращено с нескольких часов до нескольких секунд. Данный функционал BAUM может быть использован для быстрого восстановления базы данных. База данных может быть восстановлена всего за несколько минут с учетом времени, необходимого для включения служб базы данных и приведения ее в состояние рабочей готовности. В результате повышается доступность, производительность и надежность пользовательских приложений.

Надежная и эффективная запись данных

При записи используется модель объектных транзакций на основе механизма копирования. Все указатели на блоки внутри файловой системы содержат 256-битную контрольную сумму в целевом блоке, которая проверяется после прочтения блока. Блоки данных, содержащие активные данные, никогда не перезаписываются вместе. Напротив, выделяется новый блок и изменённые данные записываются в него, а затем метаданные блоков, которые на него ссылаются. Таким образом, происходит перераспределение и запись данных.

Для уменьшения ресурсных затрат, в этом процессе группируется несколько обновлений в группу транзакции, а также, если необходимо, ведётся журнал использования при синхронной записи. Журнал предназначен для восстановления данных в случае, если ошибка в системе привела пул в нерабочее неизлечимое состояние. Благодаря копированию при записи все эти версии данных в журнале самодостаточны, но разделяют между собой общие данные. Модель «копия по записи» обладает ещё одним мощным преимуществом: когда записываются новые данные, вместо освобождения блоков, содержащих старые данные,  система сохраняет их, создавая снимки файловой системы. Снимки создаются очень быстро (за исключением редких случаев долгой блокировки пула трудоёмкой операцией с файловой системой), так как все данные в составе снимка уже сохранены; они также эффективно размещены в пространстве, поскольку любые неизменённые данные разделяются (являются общими) между файловой системой и её снимком. С помощью снимков также можно узнать какие файлы были изменены, созданы, удалены и переименованы между снимками. Динамическое разделение всех устройств на максимальной пропускной способности означает, что более широкие каналы автоматически расширяются для включения использования всех дисков в пуле, это уравновешивает нагрузку на запись.

Оптимизация построения RAID групп

 Разработчики компании BAUM оптимизировали RAID алгоритм, который позволяет системе выдерживать выход из строя любых 2-х дисков в RAID 6 группе одновременно и, при этом, обеспечивать оптимальные характеристики доступа.

Для тех заказчиков, которые не готовы платить за RAID10, был реализован RAID-B3, который имеет более высокую степень надежности. RAID-B3 может выдерживать потерю трех дисков, однако производительность данного типа RAID несколько ниже при интенсивной записи, чем RAID6.

Поддержка до 8 контроллеров (4-х модулей управления)

Кластерный режим работы СХД BAUM поддерживает масштабирование до 8 контроллеров в кластере для файловых и блочных протоколов. Для кластеризации контроллеров устанавливается двухпортовый Ethernet-адаптер со скоростью портов 10Gbit/s и подключается в отказоустойчивом режиме (Pair-wise Full-mesh) к коммутаторам ЦОД.

Управление кластером подразумевает управление контроллерными парами (до четырех в зависимости от модели СХД). При этом, контроллеры кластера будут иметь доступ к данным, размещенным на сторонних дисковых полках. Кластер может выдерживать потерю до 4-х контроллеров без потери доступа к данным (но не потерю контроллерной пары).

Мультипротокольность

Унифицированная архитектура хранения данных от BAUM является стандартной платформой для комплексного управления большими объемами данных. Она не только включает в себя поддержку широкого набора протоколов в ЦОД, но и предоставляет разнообразные функции хранения данных в рамках одного устройства (сохранение, защита, архивирование и аварийное восстановление данных). На текущий момент СХД BAUM поддерживает следующие протоколы: Fibre Channel, iSCSI, iSER, NFS v3, v4, SMB (CIFS).

Одновременный доступ к ресурсу по SMB и NFS

 СХД BAUM предоставляет возможности предоставления одновременного доступа к файловым ресурсам как Windows, так и *NIX и MacOS систем по протоколам SMB (CIFS) и NFS.

Thin provisioning

BAUM позволяет объединить имеющиеся ресурсы хранения данных одного типа в один большой «дисковый пул», из которого затем выделяются тома разного размера в зависимости от конкретных потребностей в объемах. Впоследствии, такой том может быть в любой момент увеличен в размере, уменьшен или удален. В результате удваивается эффективность использования ресурсов и повышается производительность.

Клонирование виртуальных дисков

BAUM позволяет мгновенно клонировать файловые системы и тома, не требуя дополнительного пространства для их хранения. Каждый клон является виртуальной копией, которую можно использовать для таких целей, как тестирование, разработка или для поиска и устранения неполадок. Например, в виртуализированных средах технология быстрого клонирования может применяться для настройки тысяч виртуализированных рабочих мест практически мгновенно и с минимальными усилиями.