Если Серверы - это универсальные устройства, выполняющие в большинстве случаев
- либо функцию сервера приложения (когда на сервере выполняются специальные программы, и идут интенсивные вычисления),
- либо функцию файл-сервера (т.е. некоего места для централизованного хранения файлов данных)
то СХД (Системы Хранения Данных) - устройства, специально спроектированные для выполнения таких серверных функций, как хранение данных.
Необходимость приобретения СХД
возникает обычно у достаточно зрелых предприятий, т.е. тех, кто задумывается над тем, как
- хранить и управлять информацией, самым ценным активом компании
- обеспечить непрерывность бизнеса и защиту от потери данных
- увеличить адаптируемость ИТ-инфраструктуры
СХД и виртуализация
Конкуренция заставляет компании МСБ работать эффективней, без простоев и с высоким КПД. Смена производственных моделей, тарифных планов, видов услуг происходит всё чаще. Весь бизнез современных компаний "завязан" на информационных технологиях. Потребности бизнеса меняются быстро, и мгновенно отражаются на ИТ - растут требования к надёжности и адаптируемости ИТ-инфраструктуры. Виртуализация предоставляет такие возможности, но для этого нужны недорогие и простые в обслуживании системы хранения данных.
Классификация СХД по типу подключения
DAS . Первые дисковые массивы соединялись с серверами по интерфейсу SCSI. При этом один сервер мог работать только с одним дисковым массивом. Это - прямое соединение СХД (DAS - Direct Attached Storage).
NAS . Для более гибкой организации структуры вычислительного центра - чтобы каждый пользователь мог использовать любую систему хранения - необходимо подключить СХД в локальную сеть. Это - NAS - Network Attached Storage). Но обмен данными между сервером и СХД во много раз более интенсивный чем между клиентом и сервером, поэтому в таком варианте варианте появились объективные трудности, связанные с пропускной способностью сети Ethernet. Да и с точки зрения безопасности не совсем правильно показывать СХД в общую сеть.
SAN . Но можно создать между серверами и СХД свою, отдельную, высокоскоростную сеть. Такую сеть назвали SAN (Storage Area Network). Быстродействие обеспечивается тем, что физической средой передачи там является оптика. Специальные адаптеры (HBA) и оптические FC-коммутаторы обеспечивают передачу данных на скорости 4 и 8Gbit/s. Надёжность такой сети повышалась резервированием (дупликацией) каналов (адаптеров, коммутаторов). Основным недостатком является высокая цена.
iSCSI . С появлением недорогих Ethernet-технологий 1Gbit/s и 10Gbit/s, оптика со скоростью передачи 4Gbit/s уже выглядит не так привлекательно, особенно с учетом цены. Поэтому всё чаще в качестве среды SAN используется протокол iSCSI (Internet Small Computer System Interface). Сеть iSCSI SAN может быть построена на любой достаточно быстрой физической основе, поддерживающей протокол IP.
Классификация Систем Хранения Данныхпо области применения:
| класс | описание |
|
personal |
Чаще всего представляют из себя обычный 3.5" или 2.5" или 1.8" жесткий диск, помещенный в специальный корпус и оснащенный интерфейсами USB и/или FireWire 1394 и/или Ethernet, и/или eSATA. |
small workgroup |
Обычно это стационарное или переносное устройство, в которое можно устанавливать несколько (чаще всего от 2 до 5) жестких дисков SATA, с возможностью горячей замены или без, имеющее интерфейс Ethernet. Диски можно организовывать в массивы - RAID различного уровня для достижения высокой надежности хранения и скорости доступа. СХД имеет специализированную ОС, обычно на основе Linux, и позволяет разграничивать уровень доступа по имени и паролю пользователей, организовывать квотирование дискового пространства и т.п. |
|
workgroup |
Устройство, обычно монтируемое в 19" стойку (rack-mount) в которое можно устанавливать 12-24 жестких дисков SATA или SAS с возможностью горячей замены HotSwap. Имеет внешний интерфейс Ethernet, и/или iSCSI. Диски организованы в массивы - RAID для достижения высокой надежности хранения и скорости доступа. СХД поставляется со специализированным программным обеспечением, которое позволяет разграничивать уровень доступа, организовывать квотирование дискового пространства, организовывать BackUp (резервное копирование информации) и т.п. Такие СХД подходят для средних и крупных предприятий, и используются совместно с одним или несколькими серверами. |
enterprise  |
Стационарное устройство или устройство, монтируемое в 19" стойку (rack-mount) в которое можно устанавливать до сотен жестких дисков. В дополнение к предыдущему классу СХД могут иметь возможность наращивания, модернизации и замены компонент без остановки системы, системы мониторинга. Программное обеспечение может поддерживать создание "моментальных снимков" и другие "продвинутые" функции. Такие СХД подходят для больших предприятий и обеспечивают повышенную надежность, скорость и защиту критически важных данных. |
|
high-end enterprise |
В дополнение к предыдущему классу СХД может поддерживать тысячи жестких дисков. |
История вопроса.
Первые серверы сочетали в одном корпусе все функции (как компьютеры) - и вычислительные (сервер приложений) и хранение данных (файл-сервер). Но по мере роста потребности приложений в вычислительных мощностях с одной стороны и по мере роста количества обрабатываемых данных с другой стороны - стало просто неудобно размещать все в одном корпусе. Эффективнее оказалось выносить дисковые массивы в отдельные корпуса. Но тут встал вопрос соединения дискового массива с сервером. Первые дисковые массивы соединялись с серверами по интерфейсу SCSI. Но в таком случае один сервер мог работать только с одним дисковым массивом. Народу захотелось более гибкой организации структуры вычислительного центра - чтобы любой сервер мог использовать любую систему хранения. Подключить все устройства напрямую в локальную сеть и организовать обмен данными по Ethernet - конечно, простое и универсальное решение. Но обмен данными между серверами и СХД во много раз более интенсивный чем между клиентами и серверами, поэтому в таком варианте варианте (NAS - см. ниже) появились объективные трудности, связанные с пропускной способностью сети Ethernet. Возникла идея создать между серверами и СХД свою, отдельную высокоскоростную сеть. Такую сеть назвали SAN (см. ниже). Она похожа на Ethernet, только физической средой передачи там является оптика. Там тоже есть адаптеры (HBA), которые устанавливаются в серверы и коммутаторы (оптические). Стандарты на скорость передачи данных по оптике - 4Gbit/s. С появлением технологий Ethernet 1Gbit/s и 10Gbit/s, а также протокола iSCSI всё чаще в качестве среды SAN используется Ethernet.
В этой статье речь пойдет о системах хранения данных начального и среднего уровня, а также тех тенденциях, которые сегодня ярко выделяются в этой отрасли. Для удобства будем называть системы хранения данных накопителями.
Сначала мы немного остановимся на терминологии и технологических основах автономных накопителей, а потом перейдём к новинкам и обсуждению современных достижений в разных технологических и маркетинговых группах. Мы также обязательно расскажем о том, зачем нужны системы того или иного вида и насколько эффективным является их использование в разных ситуациях.
Автономные дисковые подсистемы
Для того, чтобы лучше понять особенности автономных накопителей, остановимся немного на одной из более простых технологий построения систем хранения данных - шинно-ориентированной технологии. Она предусматривает использование корпуса для дисковых накопителей и контроллера PCI RAID.
Рисунок 1. Шинно-ориентированная технология постоения систем хранения данных
Таким образом, между дисками и PCI-шиной хоста (от англ. Host - в данном случае автономный компьютер, например сервер или рабочая станция) есть только один контроллер, который в значительной мере и задает быстродействие системы. Накопители, построенные по этому принципу, являются наиболее производительными. Но в связи с архитектурными особенностями практическое их использование, за исключением редких случаев, ограничивается конфигурациями с одним хостом.
К недостаткам шинно-ориентированной архитектуры накопителей следует отнести:
- эффективное использование только в конфигурациях с одним хостом;
- зависимость от операционной системы и платформы;
- ограниченную масштабируемость;
- ограниченные возможности по организации отказоустойчивых систем.
Естественно, всё это неважно, если данные нужны для одного сервера или рабочей станции. Наоборот, в такой конфигурации вы получите максимальное быстродействие за минимальные деньги. Но если вам нужна система хранения данных для большого вычислительного центра или даже для двух серверов, которым нужны одни и те же данные, шинно-ориентированная архитектура совершенно не подходит. Недостатков этой архитектуры позволяет избежать архитектура автономных дисковых подсистем. Основной принцип ее построения достаточно прост. Контроллер, который управляет системой, переносится из хост-компьютера в корпус накопителя, обеспечивая независимое от хост-систем функционирование. Следует отметить, что такая система может иметь большое количество внешних каналов ввода/вывода, что обеспечивает возможность подключения к системе нескольких, или даже многих компьютеров.
Рисунок 2. Автономная система хранения данных
Любая интеллектуальная система хранения данных состоит из аппаратной части и программного кода. В автономной системе всегда есть память, в которой хранится программа алгоритмов работы самой системы и процессорные элементы, которые этот код обрабатывают. Такая система функционирует независимо от того, с какими хост-системами она связана. Благодаря своей интеллектуальности автономные накопители зачастую самостоятельно реализуют множество функций по обеспечению сохранности и управлению данными. Одна из самых важных базовых и практически повсеместно используемых функций - это RAID (Redundant Array of Independent Disks). Другая, принадлежащая уже системам среднего и высокого уровня - это виртуализация. Она обеспечивает такие возможности как мгновенная копия или удаленное резервирование, а также другие, достаточно изощрённые алгоритмы.
Коротко о SAS, NAS, SAN
В рамках рассмотрения автономных систем хранения данных обязательно следует остановиться на том, каким образом осуществляется доступ хост-систем к накопителям. Это в значительной мере определяет сферы их использования и внутреннюю архитектуру.
Различают три основных варианта организации доступа к накопителям:
- SAS (Server Attached Storage) - накопитель, подсоединенный к серверу [ второе название DAS (Direct Attached Storage) - напрямую подсоединённый накопитель ];
- NAS (Network Attached Storage) - накопитель, подсоединенный к сети;
- SAN (Storage Area Network) - сеть хранения данных.
Мы уже писали о технологиях SAS/DAS, NAS и SAN в статье посвященной SAN, если кого эта информация заинтересует, рекомендуем обратиться к страницам iXBT . Но всё же позволим себе немножко освежить материал с акцентом на практическое использование.
SAS/DAS - это достаточно простой традиционный способ подключения, который подразумевает прямое (отсюда и DAS) подсоединение системы хранения к одной или нескольким хост-системам через высокоскоростной канальный интерфейс. Часто в таких системах, для подсоединения накопителя к хосту используется такой же интерфейс, который используется для доступа к внутренним дискам хост-системы, что в общем случае обеспечивает высокое быстродействие и простое подключение.
SAS-систему можно рекомендовать к использованию в случае, если имеется потребность в высокоскоростной обработке данных больших объемов на одной или нескольких хост-системах. Это, например, может быть файл-сервер, графическая станция или отказоустойчивая кластерная система, состоящая из двух узлов.
Рисунок 3. Кластерная система с общим накопителем
NAS - накопитель, который подсоединен к сети и обеспечивает файловый (обратите внимание - файловый, а не блочный) доступ к данным для хост-систем в сети LAN/WAN. Клиенты, которые работает с NAS, для доступа к данным обычно используют протоколы NSF (Network File System) или CIFS (Common Internet File System). NAS интерпретирует команды файловых протоколов и исполняет запрос к дисковым накопителям в соответствии с используемым в нём канальным протоколом. Фактически, архитектура NAS - это эволюция файловых серверов. Главным преимуществом такого решения является быстрота развёртывания и качество организации доступа к файлам, благодаря специализации и узкой направленности.
Исходя из сказанного, NAS можно рекомендовать для использования в случае, если нужен сетевой доступ к файлам и достаточно важными факторами являются: простота решения (что обычно является неким гарантом качества) и простота его сопровождения и установки . Прекрасным примером является использование NAS в качестве файл-сервера в офисе небольшой компании, для которой важна простота установки и администрирования. Но в то же время, если вам нужен доступ к файлам с большого количества хост-систем, мощный NAS-накопитель, благодаря отточенному специализированному решению, способен обеспечить интенсивный обмен трафиком с огромным пулом серверов и рабочих станций при достаточно низкой стоимости используемой коммуникационной инфраструктуры (например, коммутаторов Gigabit Ethernet и медной витой пары).
SAN - сеть хранения данных. Обычно в SAN используется блочный доступ к данным, хотя возможно подключение к сетям хранения данных устройств, предоставляющих файловые сервисы, например NAS. В современных реализациях сети хранения данных чаще всего используют протокол Fibre Channel, но в общем случае это не является обязательным, в связи с чем, принято выделять отдельный класс Fibre Channel SAN (сети хранения данных на основе Fibre Channel).
Основой SAN является отдельная от LAN/WAN сеть, которая служит для организации доступа к данным серверов и рабочих станций, непосредственно занимающихся обработкой. Такая структура делает построение систем с высокой готовностью и высокой интенсивностью запросов относительно простой задачей. Несмотря на то, что SAN сегодня остается дорогим удовольствием, TCO (общая стоимость владения) для средних и больших систем, построенных с использованием технологии сетей хранения данных, является довольно низкой. Описание способов снижения TCO корпоративных систем хранения данных благодаря SAN можно найти на страницах ресурса techTarget: http://searchstorage.techtarget.com .
Сегодня стоимость дисковых накопителей с поддержкой Fibre Channel, как наиболее распространенного интерфейса для построения SAN, близка к стоимости систем с традиционными недорогими канальными интерфейсами (такими как параллельный SCSI). Главными стоимостными составляющими в SAN остается коммуникационная инфрастуктура, а также стоимость ее развёртывания и сопровождения. В связи с чем, в рамках SNIA и многих коммерческих организациях ведётся активная работа над технологиями IP Storage, что позволяет использовать значительно более недорогую аппаратуру и инфраструктуру IP-сетей, а также колоссальный опыт специалистов в этой сфере.
Примеров по эффективному использованию SAN можно привести достаточно много. Практически везде, где имеется необходимость использования нескольких серверов с совместной системой хранения данных, можно использовать SAN. Например, для организации коллективной работы над видеоданными или предварительной обработки печатной продукции. В такой сети каждый участник процесса обработки цифрового контента получает возможность практически одновременно работать над Терабайтами данных. Или, например, организация резервирования больших объемов данных, которыми пользуется множество серверов. При построении SAN и использовании независимого от LAN/WAN алгоритма резервирования данных и технологий «моментальной копии», можно резервировать почти любые объёмы информации без ущерба функциональности и производительности всего информационного комплекса.
Fibre Channel в сетях хранения данных
Безусловным фактом является то, что сегодня именно FC (Fibre Channel) доминирует в сетях хранения данных. И именно развитие этого интерфейса привело к развитию самой концепции SAN.
В проектировании FC принимали участие специалисты со значительным опытом в разработке как канальных, так и сетевых интерфейсов, и им удалось объединить все важные положительные черты обоих направлений. Одним из важнейших преимуществ Fibre Channel наряду со скоростными параметрами (которые, кстати, не всегда являются главными для пользователей SAN, и могут быть реализованы с помощью других технологий) является возможность работы на больших расстояниях и гибкость топологии, которая пришла в новый стандарт из сетевых технологий. Таким образом, концепция построения топологии сети хранения данных базируется на тех же принципах, что и традиционные локальные сети, на основе концентраторов, коммутаторов и маршрутизаторов, что значительно упрощает построение многоузловых конфигураций систем, в том числе без единой точки отказов.
Стоит также отметить, что в рамках Fibre Channel для передачи данных используются как оптоволоконные, так и медные среды. При организации доступа к территориально удаленным узлам на расстоянии до 10 киллометров используется стандартная аппаратура и одномодовое оптоволокно для передачи сигнала. Если же узлы разнесены на 10-ки или даже 100-ни километров используются специальные усилители. При построении таких SAN учитываются достаточно нетрадиционные для систем хранения данных параметры, например, скорость распространения сигнала в оптоволокне.
Тенденции развития систем хранения данных
Мир систем хранения данных чрезвычайно разнообразен. Возможности систем хранения данных, так и стоимость решений достаточно дифференцирована. Существуют решения, объединяющие в себе возможности обслуживания сотен тысяч запросов в секунду к десяткам и даже сотням Терабайт данных, а также решения для одного компьютера с недорогими дисками с IDE-интерфейсом.
IDE RAID
В последнее время максимальный объем дисков с IDE-интерфейсом колоссально увеличился и опережает SCSI-диски примерно в два раза, а если говорить о соотношении цена на единицу объёма, то IDE-диски лидируют с разрывом более чем в 6 раз. Это, к сожалению, не повлияло положительно на надежность IDE-дисков, но всё же сфера их применения в автономных системах хранения данных неумолимо увеличивается. Главным фактором в этом процессе является то, что потребность в больших объёмах данных растёт быстрее, чем объем одиночных дисков.
Еще несколько лет назад редкие производители решались выпускать автономные подсистемы, ориентированные на использование IDE-дисков. Сегодня их выпускает практически каждый производитель, ориентированный на рынок систем начального уровня. Наибольшее распространение в классе автономных подсистем с IDE-дисками наблюдается в NAS-системах начального уровня. Ведь если вы используете NAS в качестве файлового сервера с интерфейсом Fast Ethernet или даже Gigabit Ethernet, то в большинстве случаев быстродействия таких дисков является более чем достаточным, а их низкая надёжность компенсируется использованием технологии RAID.
Там, где необходим блочный доступ к данным при минимальной цене за единицу хранимой информации, сегодня активно используются системы с IDE-дисками внутри и с внешним SCSI-интерфейсом. Например, на системе JetStor IDE производства американской компании AC&NC для построения отказоустойчивого архива с объёмом хранимых данных в 10 Терабайт и возможностью быстрого блочного доступа к данным стоимость хранения одного Мегабайта будет составлять меньше 0,3 цента.
Ещё одной интересной и достаточно оригинальной технологией, с которой пришлось познакомиться совсем недавно, была система Raidsonic SR-2000 с внешним параллельным IDE-интерфейсом.
Рисунок 4. Автономный IDE RAID начального уровня
Это автономная дисковая система, рассчитанная на использование двух IDE дисков и ориентированная на монтаж внутри корпуса хост-системы. Она абсолютно независима от операционной системы на хост-машине. Система позволяет организовать RAID 1 (зеркало) или просто копирование данных с одного диска на другой с возможностью горячей замены дисков, без какого-либо ущерба или неудобства со стороны пользователя компьютера, чего не скажешь о шинно-ориентированых подсистемах, построенных на контроллерах PCI IDE RAID.
Следует заметить, что ведущие производители IDE-дисков анонсировали выпуск дисков среднего класса с интерфейсом Serial ATA, в которых будут использоваться высокоуровневые технологии. Это должно благоприятно повлиять на их надежность и увеличить долю ATA-решений в системах хранения данных.
Что нам принесёт Serial ATA
Первое и самое приятное, что можно найти в Serial ATA - это кабель. В связи с тем, что интерфейс ATA стал последовательным, кабель стал круглым, а коннектор - узким. Если вам приходилось укладывать кабели параллельного IDE-интерфейса в системе на восемь IDE-каналов, я уверен, что вам понравится эта особенность. Конечно, уже давно существовали круглые IDE-кабели, но коннектор у них всё же оставался широким и плоским, да и максимально допустимая длина параллельного ATA-кабеля не радует. При построении систем с большим количеством дисков, наличие стандартного кабеля вообще не сильно помогает, так как кабели приходится делать самостоятельно, и при этом их укладка становится едва ли не главной по времени задачей при сборке.
Кроме особенности кабельной системы, в Serial ATA есть другие нововведения, которые для параллельной версии интерфейса реализовать самостоятельно с помощью канцелярского ножа и другого подручного инструмента не удастся. В дисках с новым интерфейсом скоро должна появиться поддержка набора инструкций Native Command Queuing (конвейеризации команд). При использовании Native Command Queuing, контроллер Serial ATA анализирует запросы ввода-вывода и оптимизирует очередность их выполнения таким образом, чтобы минимизировать время поиска. Достаточно очевидна схожесть идеи Serial ATA Native Command Queuing с организацией очереди команд в SCSI, правда, для Serial ATA будет поддерживаться очередь до 32 команд, а не традиционных для SCSI - 256. Появилась также родная поддержка горячей замены устройств. Конечно, такая возможность существовала и ранее, но её реализация была за рамками стандарта и, соответственно, не могла получить широкое распространение. Говоря о новых скоростных возможностях Serial ATA, следует заметить, что сейчас от них радости пока большой нет, но главное здесь то, что на будущее есть хороший Roadmap, реализовать который в рамках параллельного ATA было бы очень не просто.
Учитывая сказанное, можно не сомневаться, что доля ATA-решений в системах хранения начального уровня должна увеличиться именно за счёт новых дисков Serial ATA и систем хранения данных, ориентированных на использование таких устройств.
Куда идет параллельный SCSI
Все, кто работает с системами хранения данных, даже начального уровня, вряд ли могут сказать, что им нравятся системы с IDE-дисками. Главное преимущество ATA дисков - их низкая цена, по сравнению со SCSI-устройствами ну и еще, наверное, более низкий уровень шума. И происходит всё это по простой причине, так как SCSI-интерфейс лучше подходит для использования в системах хранения данных и пока значительно дешевле, чем еще более функциональный интерфейс - Fibre Channel, то и диски со SCSI-интерфейсом производятся более качественные, надёжные и быстрые, чем с дешёвым IDE-интерфейсом.
Сегодня многие производители при проектировании систем хранения с параллельным SCSI используют Ultra 320 SCSI, самый новый интерфейс в семействе. Некогда во многих Roadmap были планы по выпуску устройств с интерфейсом Ultra 640 и даже Ultra 1280 SCSI, но всё шло к тому, что в интерфейсе нужно что-то менять кардинальным образом. Параллельный SCSI уже сейчас, на этапе использования Ultra 320, многих не устраивает, главным образом по причине неудобства использования классических кабелей.
К счастью, недавно появился новый интерфейс Serial Attached SCSI (SAS). У нового стандарта будут интересные особенности. Он объединяет в себе некоторые возможности Serial ATA и Fibre Channel. Несмотря на эту странность, следует сказать, что в таком переплетении есть некий здравый смысл. Стандарт возник на основе физических и электрических спецификаций последовательного ATA с такими усовершенствованиями, как увеличение уровня сигнала для соответствующего увеличения длинны кабеля, увеличение максимальной адресуемости устройств. А самое интересное то, что технологи обещают обеспечить совместимость устройств Serial ATA и SAS, но только в следующих версиях стандартов.
К наиболее важным особенностям SAS можно отнести:
- интерфейс точка-точка;
- двухканальный интерфейс;
- поддержка 4096 устройств в домене;
- стандартный набор команд SCSI;
- кабель длинной до 10 метров;
- кабель 4-жильный;
- полный дуплекс.
Благодаря тому, что новый интерфейс предлагает использовать такой же миниатюрный коннектор, как и Serial ATA, у разработчиков появляется новая возможность по построению более компактных устройств с высокой производительностью. Стандарт SAS также предусматривает использование расширителей. Каждый расширитель будет поддерживать адресацию 64-х устройств с возможностью каскадирования до 4096 устройств в рамках домена. Это конечно значительно меньше, чем возможности Fibre Channel, но в рамках систем хранения начального и среднего уровней, с накопителями, напрямую подсоединенными к серверу, этого вполне достаточно.
Несмотря на все прелести, интерфейс Serial Attached SCSI вряд ли быстро заместит обычный параллельный интерфейс. В мире решений для предприятий разработки обычно ведутся более тщательно и, естественно, в течение большего времени, чем для настольных систем. Да и уходят старые технологии не очень быстро, так как период, за который они отрабатывают себя, тоже немаленький. Но всё же, в году 2004 устройства с интерфейсом SAS должны выйти на рынок. Естественно, сначала это будут в основном диски и PCI-контролеры, но ещё через годик подтянутся и системы хранения данных.
Для лучшего обобщения информации предлагаем ознакомиться со сравнением современных и новых интерфейсов для систем хранения данных в виде таблицы.
1 - Стандарт регламентирует расстояние до 10 км для одномодового оптоволокна, существуют реализации устройств для передачи данных на расстояние больше чем, 105 м.
2 - В рамках внутренней виртуальной топологии кольца работают концентраторы и некоторые коммутаторы FC, также существует много реализаций коммутаторов, которые обеспечивают соединение точка-точка любых устройств, подсоединенных к ним.
3 - Cуществуют реализации устройств со SCSI, FICON, ESCON, TCP/I, HIPPI, VI протоколами.
4 - Дело в том, что устройства будут взаимно совместимы (так обещают сделать в ближайшем будущем производители). То есть SATA-контроллеры будут поддерживать SAS-диски, а SAS-контроллеры - диски SATA.
Массовое увлечение NAS
Последнее время за рубежом отмечается просто-таки массовое увлечение NAS-накопителями. Дело в том, что с увеличением актуальности ориентированного на данные подхода к построению информационных систем увеличилась привлекательность специализации классических файл-серверов и формирование новой маркетинговой единицы - NAS. При этом опыт в построении подобных систем был достаточным для быстрого старта технологии накопителей, подсоединенных к сети, а стоимость их аппаратной реализации была предельно низкой. Сегодня NAS-накопители производят фактически все производители систем хранения данных, среди них и системы начального уровня за очень маленькие деньги, и среднего, и даже системы, отвечающие за хранение десятков Терабайт информации, способные обработать колоссальное количество запросов. В каждом классе NAS-систем есть свои интересные оригинальные решения.
NAS на основе PC за 30 минут
Мы хотим немного описать одно оригинальное решение начального уровня. О практической ценности его реализации можно спорить, но в оригинальности ему не откажешь.
По сути дела, NAS-накопитель начального уровня, да и не только начального, является достаточно простым персональным компьютером с неким количеством дисков и программной частью, которая обеспечивает доступ других участников сети к данным на файловом уровне. Таким образом, для построения NAS устройства достаточно взять указанные компоненты и соединить их между собой. Все дело в том, насколько качественно вы это сделаете, настолько же надежный и качественный доступ к данным получит рабочая группа, работающая с данными, доступ к которым обеспечивает ваше устройство. Именно учитывая эти факторы, а также время развёртывания решения, плюс некоторые дизайнерские изыскания строится NAS-накопитель начального уровня.
Разница между хорошим NAS-решением начального уровня с самостоятельно собранной и настроенной в рамках выбранной ОС персоналкой, если опять-таки опустить конструктивное исполнение, будет в том:
- насколько быстро вы это сделаете;
- насколько просто сможет обслуживаться эта система неквалифицированным персоналом;
- насколько качественно это решение будет работать и поддерживаться.
Другими словами, в случае профессионального подбора комплектующих и существования некого изначально настроенного набора программного обеспечения, можно достичь хорошего результата. Истина вроде банальная, это же можно сказать о любой задаче, которая решается по схеме готовых компонентных решений: «hardware» плюс «software».
Что предлагает сделать компания «X»? Формируется достаточно ограниченый список совместимых комплектующих: материнских плат со всем интегрированным хозяйством, нужных NAS-серверу начального уровня жёстких дисков. Вы покупаете устанавливаемый в IDE-разъём на материнской плате FLASH диск с записанным программным обеспечением и получаете готовый NAS накопитель. Операционная система и утилиты, записанные на этот диск, загружаясь, конфигурируют нужные модули адекватным образом. И в результате пользователь получает устройство, которое может управляться как локально, так и удаленно через HTML-интерфейс и предоставлять доступ к дисковым накопителям, подключённым к нему.
Файловые протоколы в современных NAS
CIFS (Common Internet File System) - это стандартный протокол, который обеспечивает доступ к файлам и сервисам на удаленных компьютерах (в том числе и в Интернет). Протокол использует клиент-серверную модель взаимодействия. Клиент создает запрос к серверу на доступ к файлам или передачу сообщения программе, которая находится на сервере. Сервер выполняет запрос клиента и возвращает результат своей работы. CIFS - это открытый стандарт, который возник на основе SMB-протокола (Server Message Block Protocol), разработанного Microsoft, но, в отличие от последнего, CIFS учитывает возможность возникновения больших таймаутов, так как ориентирован на использование в том числе и в распределённых сетях. SMB-протокол традиционно использовался в локальных сетях с ОС Windows для доступа к файлам и печати. Для транспортировки данных CIFS использует TCP/IP протокол. CIFS обеспечивает функциональность похожую на FTP (File Transfer Protocol), но предоставляет клиентам улучшенный (похожий на прямой) контроль над файлами. Он также позволяет разделять доступ к файлам между клиентами, используя блокирование и автоматическое восстановление связи с сервером в случае сбоя сети.
NFS (Network File System) - это стандарт IETF, который включает в себя распределенную файловую систему и сетевой протокол. NFS был разработан компанией Sun Microsystem Computer Corporation. Он первоначально использовался только в UNIX-системах, позже реализации клиентской и серверной чатей стали распространенными и в других системах.
NFS, как и CIFS, использует клиент-серверную модель взаимодействия. Он обеспечивает доступ к файлам на удаленном компьютере (сервере) для записи и считывания так, как если бы они находились на компьютере пользователя. В ранних версиях NFS для транспортирования данных использовался UDP-протокол, в современных - используется TCP/IP. Для работы NFS в интерент компанией Sun был разработан протокол WebNFS, который использует расширения функциональности NFS для его корректной работы во всемирной сети.
DAFS (Direct Access File System) - это стандартный протокол файлового доступа, который базируется на NFSv4. Он позволяет прикладным задачам передавать данные в обход операционной системы и ее буферного пространства напрямую к транспортным ресурсам, сохраняя семантику, свойственную файловым системам. DAFS использует преимущества новейших технологий передачи данных по схеме память-память. Его использование обеспечивает высокие скорости файлового ввода-вывода, минимальную загрузку CPU и всей системы, благодаря значительному уменьшению количества операций и прерываний, которые обычно необходимы при обработке сетевых протоколов. Особенно эффективным является использование аппаратных средств поддержки VI (Virtual Interface).
DAFS проектировался с ориентацией на использование в кластерном и серверном окружении для баз данных и разнообразных интернет-приложений, ориентированных на непрерывную работу. Он обеспечивает наименьшие задержки доступа к общим файловым ресурсам и данным, а также поддерживает интеллектуальные механизмы восстановления работоспособности системы и данных, что делает его очень привлекательным для использования в High-End NAS-накопителях.
Все дороги ведут к IP Storage
В системах хранения данных высокого и среднего уровня за последние несколько лет появилось очень много новых интересных технологий.
Fibre Channel сети хранения данных сегодня уже достаточно известная и популярная технология. В то же время, их массовое распространение сегодня является проблематичным из-за ряда особенностей. К ним можно отнести высокую стоимость реализации и сложность построения географически распределённых систем. С одной стороны - это всего лишь особенности технологии уровня предприятия, но с другой, если SAN станет дешевле, и построение распределённых систем упростится, это должно дать просто-таки колоссальный прорыв в развитии сетей хранения данных.
В рамках работы над сетевыми технологиями хранения данных в Internet Engineering Task Force (IETF) была создана рабочая группа и форум IP Storage (IPS) по направлениям:
FCIP - Fibre Channel over TCP/IP, созданный на базе TCP/IP туннельный протокол, функцией которого является соединение географически удаленных FC SAN без какого либо воздействия на FC и IP протоколы.
iFCP - Internet Fibre Channel Protocol, созданный на базе TCP/IP протокол для соединения FC систем хранения данных ли FC сетей хранение данных, используя IP инфраструктуру совместно или вместо FC коммутационных и маршрутизирующих элементов.
iSNS - Internet Storage Name Service, протокол поддержке имён накопителей в сети Интернет.
iSCSI - Internet Small Computer Systems Interface, это протокол, который базируется на TCP/IP и разработан для установления взаимодействия и управления системами хранения данных, серверами и клиентами (Определение SNIA - IP Storage Forum: ).
Самым бурно развивающимся и самым интересным из перечисленных направлений является iSCSI.
iSCSI - новый стандарт
11 февраля 2003 года iSCSI стал официальным стандартом. Ратификация iSCSI обязательно повлияет на более широкий интерес к стандарту, который уже развивается достаточно активно. Быстрее всего развитие iSCSI послужит толчком к распространению SAN в малом и среднем бизнесе, так как использование соответствующего стандарту оборудования и подхода к обслуживанию (в том числе распространённого в рамках стандартных Ethernet сетей) позволит сделать сети хранения данных значительно дешевле. Что же касается использования iSCSI в Интернет, то сегодня здесь уже неплохо прижился FCIP, и конкуренция с ним будет трудной.
Новый стандарт охотно поддержали известные IT-компании. Есть, конечно, и противники, но всё же, практически все компании, которые активно участвуют в рынке систем начального и среднего уровня, уже работают над устройствами с поддержкой iSCSI. В Windows и Linux iSCSI драйверы уже включены, системы хранения данных iSCSI производит IBM, адаптеры - Intel, в ближайшее время подключиться к процессу освоения нового стандарта обещают HP, Dell, EMC.
Одной из очень интересных особенностей iSCSI является то, что для передачи данных на накопителе с интерфейсом iSCSI можно использовать не только носители, коммутаторы и маршрутизаторы существующих сетей LAN/WAN, но и обычные сетевые адаптеры Fast Ethernet или Gigabit Ethernet на стороне клиента. Правда, при этом возникают значительные накладные расходы процессорной мощности ПК, который использует такой адаптер. По утверждению разработчиков, программная реализация iSCSI может достичь скоростей среды передачи данных Gigabit Ethernet при значительной, до 100% загрузке современных CPU. В связи с чем рекомендуется использование специальных сетевых карточек, которые будут поддерживать механизмы разгрузки CPU от обработки стека TCP.
Виртуализация в сетях хранения данных
Ёщё одной важной технологией в построении современных накопителей и сетей хранения данных является виртуализация.
Виртуализация систем хранения данных - это представление физических ресурсов в некоем логическом, более удобном виде. Эта технология позволяет гибко распределять ресурсы между пользователями и эффективно ими управлять. В рамках виртуализации успешно реализуется удаленное копирование, моментальная копия, распределение запросов ввода-вывода на наиболее подходящие по характеру обслуживания накопители и множество других алгоритмов. Реализация алгоритмов виртуализации может осуществляться как средствами самого накопителя, так и с помощью внешних устройств виртуализации или же с помощью управляющих серверов, на которых работает специализированное программное обеспечение под стандартными ОС.
Это, конечно, очень малая часть того, что можно сказать о виртуализации. Эта тема очень интересна и обширна, поэтому мы решили посвятить ей отдельную публикацию.
Именно информация является движущей силой современного бизнеса и в настоящий момент считается наиболее ценным стратегическим активом любого предприятия. Объем информации растет в геометрической прогрессии вместе с ростом глобальных сетей и развитием электронной коммерции. Для достижения успеха в информационной войне необходимо обладать эффективной стратегией хранения, защиты, совместного доступа и управления самым важным цифровым имуществом - данными - как сегодня, так и в ближайшем будущем.
Управление ресурсами хранения данных стало одной из самых животрепещущих стратегических проблем, стоящих перед сотрудниками отделов информационных технологий. Вследствие развития Интернета и коренных изменений в процессах бизнеса информация накапливается с невиданной скоростью. Кроме насущной проблемы обеспечения возможности постоянного увеличения объема хранимой информации, не менее остро на повестке дня стоит и проблема обеспечения надежности хранения данных и постоянного доступа к информации. Для многих компаний формула доступа к данным «24 часа в сутки, 7 дней в неделю, 365 дней в году» стала нормой жизни.
В случае отдельного ПК под системой хранения данных (СХД) можно понимать отдельный внутренний жесткий диск или систему дисков. Если же речь заходит о корпоративной СХД, то традиционно можно выделить три технологии организации хранения данных: Direct Attached Storage (DAS), Network Attach Storage (NAS) и Storage Area Network (SAN).
Direct Attached Storage (DAS)
Технология DAS подразумевает прямое (непосредственное) подключение накопителей к серверу или к ПК. При этом накопители (жесткие диски, ленточные накопители) могут быть как внутренними, так и внешними. Простейший случай DAS-системы - это один диск внутри сервера или ПК. Кроме того, к DAS-системе можно отнести и организацию внутреннего RAID-массива дисков с использованием RAID-контроллера.
Стоит отметить, что, несмотря на формальную возможность использования термина DAS-системы по отношению к одиночному диску или к внутреннему массиву дисков, под DAS-системой принято понимать внешнюю стойку или корзину с дисками, которую можно рассматривать как автономную СХД (рис. 1). Кроме независимого питания, такие автономные DAS-системы имеют специализированный контроллер (процессор) для управления массивом накопителей. К примеру, в качестве такого контроллера может выступать RAID-контроллер с возможностью организации RAID-массивов различных уровней.
Рис. 1. Пример DAS-системы хранения данных
Следует отметить, что автономные DAS-системы могут иметь несколько внешних каналов ввода-вывода, что обеспечивает возможность подключения к DAS-системе нескольких компьютеров одновременно.
В качестве интерфейсов для подключения накопителей (внутренних или внешних) в технологии DAS могут выступать интерфейсы SCSI (Small Computer Systems Interface), SATA, PATA и Fibre Channel. Если интерфейсы SCSI, SATA и PATA используются преимущественно для подключения внутренних накопителей, то интерфейс Fibre Channel применяется исключительно для подключения внешних накопителей и автономных СХД. Преимущество интерфейса Fibre Channel заключается в данном случае в том, что он не имеет жесткого ограничения по длине и может использоваться в том случае, когда сервер или ПК, подключаемый к DAS-системе, находится на значительном расстоянии от нее. Интерфейсы SCSI и SATA также могут использоваться для подключения внешних СХД (в этом случае интерфейс SATA называют eSATA), однако данные интерфейсы имеют строгое ограничение по максимальной длине кабеля, соединяющего DAS-систему и подключаемый сервер.
К основным преимуществам DAS-систем можно отнести их низкую стоимость (в сравнении с другими решениями СХД), простоту развертывания и администрирования, а также высокую скорость обмена данными между системой хранения и сервером. Собственно, именно благодаря этому они завоевали большую популярность в сегменте малых офисов и небольших корпоративных сетей. В то же время DAS-системы имеют и свои недостатки, к которым можно отнести слабую управляемость и неоптимальную утилизацию ресурсов, поскольку каждая DAS-система требует подключения выделенного сервера.
В настоящее время DAS-системы занимают лидирующее положение, однако доля продаж этих систем постоянно уменьшается. На смену DAS-системам постепенно приходят либо универсальные решения с возможностью плавной миграции с NAS-системам, либо системы, предусматривающие возможность их использования как в качестве DAS-, так и NAS- и даже SAN-систем.
Системы DAS следует использовать при необходимости увеличения дискового пространства одного сервера и вынесения его за корпус. Также DAS-системы можно рекомендовать к применению для рабочих станций, обрабатывающих большие объемы информации (например, для станций нелинейного видеомонтажа).
Network Attached Storage (NAS)
NAS-системы - это сетевые системы хранения данных, непосредственно подключаемые к сети точно так же, как и сетевой принт-сервер, маршрутизатор или любое другое сетевое устройство (рис. 2). Фактически NAS-системы представляют собой эволюцию файл-серверов: разница между традиционным файл-сервером и NAS-устройством примерно такая же, как между аппаратным сетевым маршрутизатором и программным маршрутизатором на основе выделенного сервера.
Рис. 2. Пример NAS-системы хранения данных
Для того чтобы понять разницу между традиционным файл-сервером и NAS-устройством, давайте вспомним, что традиционный файл-сервер представляет собой выделенный компьютер (сервер), на котором хранится информация, доступная пользователям сети. Для хранения информации могут использоваться жесткие диски, устанавливаемые в сервер (как правило, они устанавливаются в специальные корзины), либо к серверу могут подключаться DAS-устройства. Администрирование файл-сервера производится с использованием серверной операционной системы. Такой подход к организации систем хранения данных в настоящее время является наиболее популярным в сегменте небольших локальных сетей, однако он имеет один существенный недостаток. Дело в том, что универсальный сервер (да еще в сочетании с серверной операционной системой) - это отнюдь не дешевое решение. В то же время большинство функциональных возможностей, присущих универсальному серверу, в файл-сервере просто не используется. Идея заключается в том, чтобы создать оптимизированный файл-сервер с оптимизированной операционной системой и сбалансированной конфигурацией. Именно эту концепцию и воплощает в себе NAS-устройство. В этом смысле NAS-устройства можно рассматривать как «тонкие» файл-серверы, или, как их иначе называют, файлеры (filers).
Кроме оптимизированной ОС, освобожденной от всех функций, не связанных с обслуживанием файловой системы и реализацией ввода-вывода данных, NAS-системы имеют оптимизированную по скорости доступа файловую систему. NAS-системы проектируются таким способом, что вся их вычислительная мощь фокусируется исключительно на операциях обслуживания и хранения файлов. Сама операционная система располагается во флэш-памяти и предустанавливается фирмой-производителем. Естественно, что с выходом новой версии ОС пользователь может самостоятельно «перепрошить» систему. Подсоединение NAS-устройств к сети и их конфигурирование представляет собой достаточно простую задачу и по силам любому опытному пользователю, не говоря уже о системном администраторе.
Таким образом, в сравнении с традиционными файловыми серверами NAS-устройства являются более производительными и менее дорогими. В настоящее время практически все NAS-устройства ориентированы на использование в сетях Ethernet (Fast Ethernet, Gigabit Ethernet) на основе протоколов TCP/IP. Доступ к устройствам NAS производится с помощью специальных протоколов доступа к файлам. Наиболее распространенными протоколами файлового доступа являются протоколы CIFS, NFS и DAFS.
CIFS (Common Internet File System System - общая файловая система Интернета) - это протокол, который обеспечивает доступ к файлам и сервисам на удаленных компьютерах (в том числе и в Интернет) и использует клиент-серверную модель взаимодействия. Клиент создает запрос к серверу на доступ к файлам, сервер выполняет запрос клиента и возвращает результат своей работы. Протокол CIFS традиционно используется в локальных сетях с ОС Windows для доступа к файлам. Для транспортировки данных CIFS использует TCP/IP-протокол. CIFS обеспечивает функциональность, похожую на FTP (File Transfer Protocol), но предоставляет клиентам улучшенный контроль над файлами. Он также позволяет разделять доступ к файлам между клиентами, используя блокирование и автоматическое восстановление связи с сервером в случае сбоя сети.
Протокол NFS (Network File System - сетевая файловая система) традиционно применяется на платформах UNIX и представляет собой совокупность распределенной файловой системы и сетевого протокола. В протоколе NFS также используется клиент-серверная модель взаимодействия. Протокол NFS обеспечивает доступ к файлам на удаленном хосте (сервере) так, как если бы они находились на компьютере пользователя. Для транспортировки данных NFS использует протокол TCP/IP. Для работы NFS в Интернeте был разработан протокол WebNFS.
Протокол DAFS (Direct Access File System - прямой доступ к файловой системе) - это стандартный протокол файлового доступа, который основан на NFS. Данный протокол позволяет прикладным задачам передавать данные в обход операционной системы и ее буферного пространства напрямую к транспортным ресурсам. Протокол DAFS обеспечивает высокие скорости файлового ввода-вывода и снижает загрузку процессора благодаря значительному уменьшению количества операций и прерываний, которые обычно необходимы при обработке сетевых протоколов.
DAFS проектировался с ориентацией на использование в кластерном и серверном окружении для баз данных и разнообразных Интернет-приложений, ориентированных на непрерывную работу. Он обеспечивает наименьшие задержки доступа к общим файловым ресурсам и данным, а также поддерживает интеллектуальные механизмы восстановления работоспособности системы и данных, что делает его привлекательным для использования в NAS-системах.
Резюмируя вышеизложенное, NAS-системы можно рекомендовать для использования в мультиплатформенных сетях в случае, когда требуется сетевой доступ к файлам и достаточно важными факторами являются простота установки администрирования системы хранения данных. Прекрасным примером является применение NAS в качестве файл-сервера в офисе небольшой компании.
Storage Area Network (SAN)
Собственно, SAN - это уже не отдельное устройство, а комплексное решение, представляющее собой специализированную сетевую инфраструктуру для хранения данных. Сети хранения данных интегрируются в виде отдельных специализированных подсетей в состав локальной (LAN) или глобальной (WAN) сети.
По сути, SAN-сети связывают один или несколько серверов (SAN-серверов) с одним или несколькими устройствами хранения данных. SAN-сети позволяют любому SAN-серверу получать доступ к любому устройству хранения данных, не загружая при этом ни другие серверы, ни локальную сеть. Кроме того, возможен обмен данными между устройствами хранения данных без участия серверов. Фактически SAN-сети позволяют очень большому числу пользователей хранить информацию в одном месте (с быстрым централизованным доступом) и совместно использовать ее. В качестве устройств хранения данных могут использоваться RAID-массивы, различные библиотеки (ленточные, магнитооптические и др.), а также JBOD-системы (массивы дисков, не объединенные в RAID).
Сети хранения данных начали интенсивно развиваться и внедряться лишь с 1999 года.
Подобно тому как локальные сети в принципе могут строиться на основе различных технологий и стандартов, для построения сетей SAN также могут применяться различные технологии. Но точно так же, как стандарт Ethernet (Fast Ethernet, Gigabit Ethernet) стал стандартом де-факто для локальный сетей, в сетях хранения данных доминирует стандарт Fibre Channel (FC). Собственно, именно развитие стандарта Fibre Channel привело к развитию самой концепции SAN. В то же время необходимо отметить, что все большую популярность приобретает стандарт iSCSI, на основе которого тоже возможно построение SAN-сетей.
Наряду со скоростными параметрами одним из важнейших преимуществ Fibre Channel является возможность работы на больших расстояниях и гибкость топологии. Концепция построения топологии сети хранения данных базируется на тех же принципах, что и традиционные локальные сети на основе коммутаторов и маршрутизаторов, что значительно упрощает построение многоузловых конфигураций систем.
Стоит отметить, что для передачи данных в стандарте Fibre Channel используются как оптоволоконные, так и медные кабели. При организации доступа к территориально удаленным узлам на расстоянии до 10 км используется стандартная аппаратура и одномодовое оптоволокно для передачи сигнала. Если же узлы разнесены на большее расстояние (десятки или даже сотни километров), применяются специальные усилители.
Топология SAN-сети
Типичный вариант SAN-сети на основе стандарта Fibre Channel показан на рис. 3. Инфраструктуру такой SAN-сети составляют устройства хранения данных с интерфейсом Fibre Channel, SAN-серверы (серверы, подключаемые как к локальной сети по интерфейсу Ethernet, так и к SAN-сети по интерфейсу Fiber Channel) и коммутационная фабрика (Fibre Channel Fabric), которая строится на основе Fibre Channel-коммутаторов (концентраторов) и оптимизирована для передачи больших блоков данных. Доступ сетевых пользователей к системе хранения данных реализуется через SAN-серверы. При этом важно, что трафик внутри SAN-сети отделен от IP-трафика локальной сети, что, безусловно, позволяет снизить загрузку локальной сети.
Рис. 3. Типичная схема SAN-сети
Преимущества SAN-сетей
К основным преимуществам технологии SAN можно отнести высокую производительность, высокий уровень доступности данных, отличную масштабируемость и управляемость, возможность консолидации и виртуализации данных.
Коммутационные фабрики Fiber Channel с неблокирующей архитектурой позволяют реализовать одновременный доступ множества SAN-серверов к устройствам хранения данных.
В архитектуре SAN данные могут легко перемещаться с одного устройства хранения данных на другое, что позволяет оптимизировать размещение данных. Это особенно важно в том случае, когда нескольким SAN-серверам требуется одновременный доступ к одним и тем же устройствам хранения данных. Отметим, что процесс консолидации данных невозможен в случае использования других технологий, как, например, при применении DAS-устройств, то есть устройств хранения данных, непосредственно подсоединяемых к серверам.
Другая возможность, предоставляемая архитектурой SAN, - это виртуализация данных. Идея виртуализации заключается в том, чтобы обеспечить SAN-серверам доступ не к отдельным устройствам хранения данных, а к ресурсам. То есть серверы должны «видеть» не устройства хранения данных, а виртуальные ресурсы. Для практической реализации виртуализации между SAN-серверами и дисковыми устройствами может размещаться специальное устройство виртуализации, к которому с одной стороны подключаются устройства хранения данных, а с другой - SAN-серверы. Кроме того, многие современные FC-коммутаторы и HBA-адаптеры предоставляют возможность реализации виртуализации.
Следующая возможность, предоставляемая SAN-сетями, - это реализация удаленного зеркалирования данных. Принцип зеркалирования данных заключается в дублировании информации на несколько носителей, что повышает надежность хранения информации. Примером простейшего случая зеркалирования данных может служить объединение двух дисков в RAID-массив уровня 1. В данном случае одна и та же информация записывается одновременно на два диска. Недостатком такого способа можно считать локальное расположение обоих дисков (как правило, диски находятся в одной и той же корзине или стойке). Сети хранения данных позволяют преодолеть этот недостаток и предоставляют возможность организации зеркалирования не просто отдельных устройств хранения данных, а самих SAN-сетей, которые могут быть удалены друг от друга на сотни километров.
Еще одно преимущество SAN-сетей заключается в простоте организации резервного копирования данных. Традиционная технология резервного копирования, которая используется в большинстве локальных сетей, требует выделенного Backup-сервера и, что особенно важно, выделенной полосы пропускания сети. Фактически во время операции резервного копирования сам сервер становится недоступным для пользователей локальной сети. Собственно, именно поэтому резервное копирование производится, как правило, в ночное время.
Архитектура сетей хранения данных позволяет принципиально по-иному подойти к проблеме резервного копирования. В этом случае Backup-сервер является составной частью SAN-сети и подключается непосредственно к коммутационной фабрике. В этом случае Backup-трафик оказывается изолированным от трафика локальной сети.
Оборудование, используемое для создания SAN-сетей
Как уже отмечалось, для развертывания SAN-сети требуются устройства хранения данных, SAN-серверы и оборудование для построения коммутационной фабрики. Коммутационные фабрики включают как устройства физического уровня (кабели, коннекторы), так и устройства подключения (Interconnect Device) для связи узлов SAN друг с другом, устройства трансляции (Translation devices), выполняющие функции преобразования протокола Fibre Channel (FC) в другие протоколы, например SCSI, FCP, FICON, Ethernet, ATM или SONET.
Кабели
Как уже отмечалось, для соединения SAN-устройств стандарт Fibre Channel допускает использование как волоконно-оптических, так и медных кабелей. При этом в одной SAN-сети могут применяться различные типы кабелей. Медный кабель используется для коротких расстояний (до 30 м), а волоконно-оптический - как для коротких, так и для расстояний до 10 км и больше. Применяют как многомодовый (Multimode), так и одномодовый (Singlemode) волоконно-оптические кабели, причем многомодовый используется для расстояний до 2 км, а одномодовый - для больших расстояний.
Сосуществование различных типов кабелей в пределах одной SAN-сети обеспечивается посредством специальных конверторов интерфейсов GBIC (Gigabit Interface Converter) и MIA (Media Interface Adapter).
В стандарте Fibre Channel предусмотрено несколько возможных скоростей передачи (см. таблицу). Отметим, что в настоящее время наиболее распространены FC-устройства стандартов 1, 2 и 4 GFC. При этом обеспечивается обратная совместимость более скоростных устройств с менее скоростными, то есть устройство стандарта 4 GFC автоматически поддерживает подключение устройств стандартов 1 и 2 GFC.
Устройства подключения (Interconnect Device)
В стандарте Fibre Channel допускается использование различных сетевых топологий подключения устройств, таких как «точка-точка» (Point-to-Point), кольцо с разделяемым доступом (Arbitrated Loop, FC-AL) и коммутируемая связная архитектура (switched fabric).
Топология «точка-точка» может применяться для подключения сервера к выделенной системе хранения данных. В этом случае данные не используются совместно с серверами SAN-сети. Фактически данная топология является вариантом DAS-системы.
Для реализации топологии «точка-точка», как минимум, необходим сервер, оснащенный адаптером Fibre Channel, и устройство хранения данных с интерфейсом Fibre Channel.
Топология кольца с разделенным доступом (FC-AL) подразумевает схему подключения устройств, при котором данные передаются по логически замкнутому контуру. При топологии кольца FC-AL в качестве устройств подключения могут выступать концентраторы или коммутаторы Fibre Channel. При использовании концентраторов полоса пропускания делится между всеми узлами кольца, в то время как каждый порт коммутатора предоставляет протокольную полосу пропускания для каждого узла.
На рис. 4 показан пример кольца Fibre Channel с разделением доступа.
Рис. 4. Пример кольца Fibre Channel с разделением доступа
Конфигурация аналогична физической звезде и логическому кольцу, используемым в локальных сетях на базе технологии Token Ring. Кроме того, как и в сетях Token Ring, данные перемещаются по кольцу в одном направлении, но, в отличие от сетей Token Ring, устройство может запросить право на передачу данных, а не ждать получения пустого маркера от коммутатора. Кольца Fibre Channel с разделением доступа могут адресовать до 127 портов, однако, как показывает практика, типичные кольца FC-AL содержат до 12 узлов, а после подключения 50 узлов производительность катастрофически снижается.
Топология коммутируемой связной архитектуры (Fibre Channel switched-fabric) реализуется на базе Fibre Channel-коммутаторов. В данной топологии каждое устройство имеет логическое подключение к любому другому устройству. Фактически Fibre Channel-коммутаторы связной архитектуры выполняют те же функции, что и традиционные Ethernet-коммутаторы. Напомним, что, в отличие от концентратора, коммутатор - это высокоскоростное устройство, которое обеспечивает подключение по схеме «каждый с каждым» и обрабатывает несколько одновременных подключений. Любой узел, подключенный к Fibre Channel-коммутатору, получает протокольную полосу пропускания.
В большинстве случаев при создании крупных SAN-сетей используется смешанная топология. На нижнем уровне применяются FC-AL-кольца, подключенные к малопроизводительным коммутаторам, которые, в свою очередь, подключаются к высокоскоростным коммутаторам, обеспечивающим максимально возможную пропускную способность. Несколько коммутаторов могут быть соединены друг с другом.
Устройства трансляции
Устройства трансляции являются промежуточными устройствами, выполняющими преобразование протокола Fibre Channel в протоколы более высоких уровней. Эти устройства предназначены для соединения Fibre Channel-сети с внешней WAN-сетью, локальной сетью, а также для присоединения к Fibre Channel-сети различных устройств и серверов. К таким устройствам относятся мосты (Bridge), Fibre Channel-адаптеры (Host Bus Adapters (HBA), маршрутизаторы, шлюзы и сетевые адаптеры. Классификация устройств трансляции показана на рис. 5.
Рис. 5. Классификация устройств трансляции
Наиболее распространенными устройствами трансляции являются HBA-адаптеры с интерфейсом PCI, которые применяются для подключения серверов к сети Fibre Channel. Сетевые адаптеры позволяют подключать локальные Ethernet-сети к сетям Fibre Channel. Мосты используются для подключения устройств хранения данных с SCSI интерфейсом к сети на базе Fibre Channel. Cледует отметить, что в последнее время практически все устройства хранения данных, которые предназначены для применения в SAN, имеют встроенный Fibre Channel и не требуют использования мостов.
Устройства хранения данных
В качестве устройств хранения данных в SAN-сетях могут использоваться как жесткие диски, так и ленточные накопители. Если говорить о возможных конфигурациях применения жестких дисков в качестве устройств хранения данных в SAN-сетях, то это могут быть как массивы JBOD, так и RAID-массивы дисков. Традиционно устройства хранения данных для SAN-сетей выпускаются в виде внешних стоек или корзин, оснащенных специализированным RAID-контроллером. В отличие от NAS- или DAS-устройств, устройства для SAN-систем оснащаются Fibre Channel-интерфейсом. При этом сами диски могут иметь как SCSI-, так и SATA-интерфейс.
Кроме устройств хранения на основе жестких дисков, в SAN-сетях широкое применение находят ленточные накопители и библиотеки.
SAN-серверы
Серверы для сетей SAN отличаются от обычных серверов приложений только одной деталью. Кроме сетевого Ethernet-адаптера, для взаимодействия сервера с локальной сетью они оснащаются HBA-адаптером, что позволяет подключать их к SAN-сетям на основе Fibre Channel.
Системы хранения данных компании Intel
Далее мы рассмотрим несколько конкретных примеров устройств хранения данных компании Intel. Строго говоря, компания Intel не выпускает законченных решений и занимается разработкой и производством платформ и отдельных компонентов для построения систем хранения данных. На основе данных платформ многие компании (в том числе и целый ряд российских компаний) производят уже законченные решения и продают их под своими логотипами.
Intel Entry Storage System SS4000-E
Система хранения данных Intel Entry Storage System SS4000-E представляет собой NAS-устройство, предназначенное для применения в небольших и средних офисах и многоплатформенных локальных сетях. При использовании системы Intel Entry Storage System SS4000-E разделяемый сетевой доступ к данным получают клиенты на основе Windows-, Linux- и Macintosh-платформ. Кроме того, Intel Entry Storage System SS4000-E может выступать как в роли DHCP-сервера, так и DHCP-клиента.
Система хранения данных Intel Entry Storage System SS4000-E представляет собой компактную внешнюю стойку с возможностью установки до четырех дисков с интерфейсом SATA (рис. 6). Таким образом, максимальная емкость системы может составлять 2 Тбайт при использовании дисков емкостью 500 Гбайт.
Рис. 6. Система хранения данных Intel Entry Storage System SS4000-E
В системе Intel Entry Storage System SS4000-E применяется SATA RAID-контроллер с поддержкой уровней RAID-массивов 1, 5 и 10. Поскольку данная система является NAS-устройством, то есть фактически «тонким» файл-сервером, система хранения данных должна иметь специализированный процессор, память и прошитую операционную систему. В качестве процессора в системе Intel Entry Storage System SS4000-E применяется Intel 80219 с тактовой частотой 400 МГц. Кроме того, система оснащена 256 Мбайт памяти DDR и 32 Мбайт флэш-памяти для хранения операционной системы. В качестве операционной системы используется Linux Kernel 2.6.
Для подключения к локальной сети в системе предусмотрен двухканальный гигабитный сетевой контроллер. Кроме того, имеются также два порта USB.
Устройство хранения данных Intel Entry Storage System SS4000-E поддерживает протоколы CIFS/SMB, NFS и FTP, а настройка устройства реализуется с использованием web-интерфейса.
В случае применения Windows-клиентов (поддерживаются ОС Windows 2000/2003/XP) дополнительно имеется возможность реализации резервного копирования и восстановления данных.
Intel Storage System SSR212CC
Система Intel Storage System SSR212CC представляет собой универсальную платформу для создания систем хранения данных типа DAS, NAS и SAN. Эта система выполнена в корпусе высотой 2 U и предназначена для монтажа в стандартную 19-дюймовую стойку (рис. 7). Система Intel Storage System SSR212CC поддерживает установку до 12 дисков с интерфейсом SATA или SATA II (поддерживается функция горячей замены), что позволяет наращивать емкость системы до 6 Тбайт при использовании дисков емкостью по 550 Гбайт.
Рис. 7. Система хранения данных Intel Storage System SSR212CC
Фактически система Intel Storage System SSR212CC представляет собой полноценный высокопроизводительный сервер, функционирующий под управлением операционных систем Red Hat Enterprise Linux 4.0, Microsoft Windows Storage Server 2003, Microsoft Windows Server 2003 Enterprise Edition и Microsoft Windows Server 2003 Standard Edition.
Основу сервера составляет процессор Intel Xeon с тактовой частотой 2,8 ГГц (частота FSB 800 МГц, размер L2-кэша 1 Мбайт). Система поддерживает использование памяти SDRAM DDR2-400 с ECC максимальным объемом до 12 Гбайт (для установки модулей памяти предусмотрено шесть DIMM-слотов).
Система Intel Storage System SSR212CC оснащена двумя RAID-контроллерами Intel RAID Controller SRCS28Xs с возможностью создания RAID-массивов уровней 0, 1, 10, 5 и 50. Кроме того, система Intel Storage System SSR212CC имеет двухканальный гигабитный сетевой контроллер.
Intel Storage System SSR212MA
Система Intel Storage System SSR212MA представляет собой платформу для создания систем хранения данных в IP SAN-сетях на основе iSCSI.
Данная система выполнена в корпусе высотой 2 U и предназначена для монтажа в стандартную 19-дюймовую стойку. Система Intel Storage System SSR212MA поддерживает установку до 12 дисков с интерфейсом SATA (поддерживается функция горячей замены), что позволяет наращивать емкость системы до 6 Тбайт при использовании дисков емкостью по 550 Гбайт.
По своей аппаратной конфигурации система Intel Storage System SSR212MA не отличается от системы Intel Storage System SSR212CC.
В простейшем случае SAN состоит из СХД , коммутаторов и серверов, объединённых оптическими каналами связи. Помимо непосредственно дисковых СХД в SAN можно подключить дисковые библиотеки, ленточные библиотеки (стримеры), устройства для хранения данных на оптических дисках (CD/DVD и прочие) и др.
Пример высоконадёжной инфраструктуры, в которой серверы включены одновременно в локальную сеть (слева) и в сеть хранения данных (справа). Такая схема обеспечивает доступ к данным, находящимся на СХД, при выходе из строя любого процессорного модуля, коммутатора или пути доступа.
Использование SAN позволяет обеспечить:
- централизованное управление ресурсами серверов и систем хранения данных ;
- подключение новых дисковых массивов и серверов без остановки работы всей системы хранения;
- использование ранее приобретенного оборудования совместно с новыми устройствами хранения данных;
- оперативный и надежный доступ к накопителям данных, находящимся на большом расстоянии от серверов, *без значительных потерь производительности;
- ускорение процесса резервного копирования и восстановления данных - BURA .
История
Развитие сетевых технологий привело к появлению двух сетевых решений для СХД – сетей хранения Storage Area Network (SAN) для обмена данными на уровне блоков, поддерживаемых клиентскими файловыми системами, и серверов для хранения данных на файловом уровне Network Attached Storage (NAS). Чтобы отличать традиционные СХД от сетевых был предложен еще один ретроним – Direct Attached Storage (DAS).
Появлявшиеся на рынке последовательно DAS, SAN и NAS отражают эволюционирующие цепочки связей между приложениями, использующими данные, и байтами на носителе, содержащим эти данные. Когда-то сами программы-приложения читали и писали блоки, затем появились драйверы как часть операционной системы. В современных DAS, SAN и NAS цепочка состоит из трех звеньев: первое звено – создание RAID-массивов, второе – обработка метаданных, позволяющих интерпретировать двоичные данные в виде файлов и записей, и третье – сервисы по предоставлению данных приложению. Они различаются по тому, где и как реализованы эти звенья. В случае с DAS СХД является «голой», она только лишь предоставляет возможность хранения и доступа к данным, а все остальное делается на стороне сервера, начиная с интерфейсов и драйвера. С появлением SAN обеспечение RAID переносится на сторону СХД, все остальное остается так же, как в случае с DAS. А NAS отличается тем, что в СХД переносятся к тому же и метаданные для обеспечения файлового доступа, здесь клиенту остается только лишь поддерживать сервисы данных.
Появление SAN стало возможным после того, как в 1988 году был разработан протокол Fibre Channel (FC) и в 1994 утвержден ANSI как стандарт. Термин Storage Area Network датируется 1999 годом. Со временем FC уступил место Ethernet, и получили распространение сети IP-SAN с подключением по iSCSI.
Идея сетевого сервера хранения NAS принадлежит Брайану Рэнделлу из Университета Ньюкэстла и реализована в машинах на UNIX-сервере в 1983 году. Эта идея оказалась настолько удачной, что была подхвачена множеством компаний, в том числе Novell, IBM , и Sun, но в конечном итоге сменили лидеров NetApp и EMC.
В 1995 Гарт Гибсон развил принципы NAS и создал объектные СХД (Object Storage, OBS). Он начал с того, что разделил все дисковые операции на две группы, в одну вошли выполняемые более часто, такие как чтение и запись, в другую более редкие, такие как операции с именами. Затем он предложил в дополнение к блокам и файлам еще один контейнер, он назвал его объектом.
OBS отличается новым типом интерфейса, его называют объектным. Клиентские сервисы данных взаимодействуют с метаданными по объектному API (Object API). В OBS хранятся не только данные, но еще и поддерживается RAID, хранятся метаданные, относящиеся к объектам и поддерживается объектный интерфейс. DAS, и SAN, и NAS, и OBS сосуществуют во времени, но каждый из типов доступа в большей мере соответствует определенному типу данных и приложений.
Архитектура SAN
Топология сети
SAN является высокоскоростной сетью передачи данных, предназначенной для подключения серверов к устройствам хранения данных. Разнообразные топологии SAN (точка-точка, петля с арбитражной логикой (Arbitrated Loop) и коммутация) замещают традиционные шинные соединения «сервер - устройства хранения» и предоставляют по сравнению с ними большую гибкость, производительность и надежность. В основе концепции SAN лежит возможность соединения любого из серверов с любым устройством хранения данных, работающим по протоколу Fibre Channel . Принцип взаимодействия узлов в SAN c топологиями точка-точка или коммутацией показан на рисунках. В SAN с топологией Arbitrated Loop передача данных осуществляется последовательно от узла к узлу. Для того, чтобы начать передачу данных передающее устройство инициализирует арбитраж за право использования среды передачи данных (отсюда и название топологии – Arbitrated Loop).
Транспортную основу SAN составляет протокол Fibre Channel, использующий как медные, так и волоконно-оптические соединения устройств.
Компоненты SAN
Компоненты SAN подразделяются на следующие:
- Ресурсы хранения данных;
- Устройства, реализующие инфраструктуру SAN;
Host Bus Adaptors
Ресурсы хранения данных
К ресурсам хранения данных относятся дисковые массивы , ленточные накопители и библиотеки с интерфейсом Fibre Channel . Многие свои возможности ресурсы хранения реализуют только будучи включенными в SAN. Так дисковые массивы высшего класса могут осуществлять репликацию данных между масcивами по сетям Fibre Channel, а ленточные библиотеки могут реализовывать перенос данных на ленту прямо с дисковых массивов с интерфейсом Fibre Channel, минуя сеть и серверы (Serverless backup). Наибольшую популярность на рынке приобрели дисковые массивы компаний EMC , Hitachi , IBM , Compaq (семейство Storage Works , доставшееся Compaq от Digital), а из производителей ленточных библиотек следует упомянуть StorageTek , Quantum/ATL , IBM .
Устройства, реализующие инфраструктуру SAN
Устройствами, реализующими инфраструктуру SAN, являются коммутаторы Fibre Channel (Fibre Channel switches , FC switches),концентраторы (Fibre Channel Hub) и маршрутизаторы (Fibre Channel-SCSI routers).Концентраторы используются для объединения устройств, работающих в режиме Fibre Channel Arbitrated Loop (FC_AL). Применение концентраторов позволяет подключать и отключать устройства в петле без остановки системы, поскольку концентратор автоматически замыкает петлю в случае отключения устройства и автоматически размыкает петлю, если к нему было подключено новое устройство. Каждое изменение петли сопровождается сложным процессом её инициализации . Процесс инициализации многоступенчатый, и до его окончания обмен данными в петле невозможен.
Все современные SAN построены на коммутаторах, позволяющих реализовать полноценное сетевое соединение. Коммутаторы могут не только соединять устройства Fibre Channel , но и разграничивать доступ между устройствами, для чего на коммутаторах создаются так называемые зоны. Устройства, помещенные в разные зоны, не могут обмениваться информацией друг с другом. Количество портов в SAN можно увеличивать, соединяя коммутаторы друг с другом. Группа связанных коммутаторов носит название Fibre Channel Fabric или просто Fabric. Связи между коммутаторами называют Interswitch Links или сокращенно ISL.
Программное обеспечение
Программное обеспечение позволяет реализовать резервирование путей доступа серверов к дисковым массивам и динамическое распределение нагрузки между путями. Для большинства дисковых массивов существует простой способ определить, что порты, доступные через разные контроллеры , относятся к одному диску. Специализированное программное обеспечение поддерживает таблицу путей доступа к устройствам и обеспечивает отключение путей в случае аварии, динамическое подключение новых путей и распределение нагрузки между ними. Как правило, изготовители дисковых массивов предлагают специализированное программное обеспечение такого типа для своих массивов. Компания VERITAS Software производит программное обеспечение VERITAS Volume Manager , предназначенное для организации логических дисковых томов из физических дисков и обеспечивающее резервирование путей доступа к дискам, а также распределение нагрузки между ними для большинства известных дисковых массивов.
Используемые протоколы
В сетях хранения данных используются низкоуровневые протоколы:
- Fibre Channel Protocol (FCP), транспорт SCSI через Fibre Channel. Наиболее часто используемый на данный момент протокол . Существует в вариантах 1 Gbit/s, 2 Gbit/s, 4 Gbit/s, 8 Gbit/s и 10 Gbit/s.
- iSCSI , транспорт SCSI через TCP/IP .
- FCoE , транспортировка FCP/SCSI поверх "чистого" Ethernet.
- FCIP и iFCP , инкапсуляция и передача FCP/SCSI в пакетах IP.
- HyperSCSI , транспорт SCSI через Ethernet .
- FICON транспорт через Fibre Channel (используется только мейнфреймами).
- ATA over Ethernet , транспорт ATA через Ethernet.
- SCSI и/или TCP/IP транспорт через InfiniBand (IB).
Преимущества
- Высокая надёжность доступа к данным, находящимся на внешних системах хранения. Независимость топологии SAN от используемых СХД и серверов.
- Централизованное хранение данных (надёжность, безопасность).
- Удобное централизованное управление коммутацией и данными.
- Перенос интенсивного трафика ввода-вывода в отдельную сеть – разгрузка LAN.
- Высокое быстродействие и низкая латентность.
- Масштабируемость и гибкость логической структуры SAN
- Географические размеры SAN, в отличие от классических DAS, практически не ограничены.
- Возможность оперативно распределять ресурсы между серверами.
- Возможность строить отказоустойчивые кластерные решения без дополнительных затрат на базе имеющейся SAN.
- Простая схема резервного копирования – все данные находятся в одном месте.
- Наличие дополнительных возможностей и сервисов (снапшоты, удаленная репликация).
- Высокая степень безопасности SAN.
Совместное использование систем хранения как правило упрощает администрирование и добавляет изрядную гибкость, поскольку кабели и дисковые массивы не нужно физически транспортировать и перекоммутировать от одного сервера к другому.
Другим приемуществом является возможность загружать сервера прямо из сети хранения. При такой конфигурации можно быстро и легко заменить сбойный
Каково назначение систем хранения данных (СХД)?
Системы хранения данных предназначены для безопасного и отказоустойчивого хранения обрабатываемых данных с возможностями быстрого восстановления доступа к данным в случае сбоя в работе системы.
Какие основные разновидности СХД?
По типу реализации СХД делятся на аппаратные и программные. По области применения СХД делятся на индивидуальные, для малых рабочих групп, для рабочих групп, для предприятий, корпоративные. По типу подключения СХД делятся на:
1. DAS (Direct Attached Storage — системы с прямым подключением)
Особенностью данного типа систем является то, что контроль за доступом к данным для устройств, подключенных к сети, осуществляется сервером или рабочей станцией, к которой подключено хранилище.
2. NAS (Network Attached Storage — системы, подключаемые к ЛВС)
В данном типе систем доступ к информации, размещенной в хранилище, контролируется программным обеспечением, которое работает в самом хранилище.
3. SAN (Storage Attached Network — системы, представляющие собой сеть между серверами, которые обрабатывают данные и, собственно, СХД);
При таком способе построения системы хранения данных контроль за доступом к информации осуществляется программным обеспечением, работающим на серверах СХД. Через коммутаторы SAN производится подключение хранилища к серверам по высокопроизводительным протоколам доступа (Fibre channel, iSCSI, ATA over ethernet, и т.п.)
Каковы особенности программной и аппаратной реализации СХД?
Аппаратная реализация СХД представляет собой единый аппаратный комплекс, состоящий из устройства хранения (представляющего собой диск или массив дисков, на которых данные физически хранятся), и устройства управления (контроллер, занимающийся распределением данных между элементами хранилища).
Программная реализация СХД представляет собой распределенную систему, в которой данные хранятся без привязки к какому-либо конкретному хранилищу или серверу, и доступ к данным осуществляется посредством специализированного ПО, которое отвечает за сохранность и безопасность хранимых данных).
