WWW.LIB.KNIGI-X.RU
БЕСПЛАТНАЯ  ИНТЕРНЕТ  БИБЛИОТЕКА - Электронные материалы
 

«Белая книга Основные сведения о системе EMC VNXe3200 Подробный обзор Аннотация Эта белая книга знакомит с архитектурой и функциональностью EMC® VNXe3200. В ней ...»

Белая книга

Основные сведения о системе EMC

VNXe3200

Подробный обзор

Аннотация

Эта белая книга знакомит с архитектурой и

функциональностью EMC® VNXe3200. В ней также

рассматриваются некоторые расширенные функции

системы хранения VNXe3200.

Июль 2015 г.

© Корпорация EMC, 2016 Все права защищены.

Согласно сведениям корпорации EMC информация,

которая приведена в данной публикации, является

правильной на дату публикации. Информация может

измениться без оповещения.

Информация, приведенная в данной публикации, предоставляется «как есть». Корпорация EMC не предоставляет никаких условий или гарантий в отношении указанной информации и отказывается от подразумеваемых гарантий коммерческой ценности и пригодности для определенной цели.

Использование, копирование и распространение любого произведенного корпорацией ЕМС программного обеспечения, описанного в данной публикации, требует наличия соответствующей лицензии.

Актуальный перечень наименований продуктов EMC приведен в разделе «Товарные знаки корпорации EMC»

на веб-сайте russia.emc.com.

VMware, ESX и VMware vCenter являются зарегистрированными товарными знаками или товарными знаками корпорации VMware, Inc. в США и других юрисдикциях. Все другие товарные знаки, упомянутые здесь, являются собственностью их владельцев.

Номер по каталогу — h13058.6 Основные сведения о системе EMC VNXe3200 Подробный обзор Содержание Краткий обзор



Для кого предназначен данный документ

Терминология

Семейство унифицированных систем хранения VNX

Семейство VNX

VNXe3200

Обзор оборудования

Четырехъядерный процессор

Процессорная полка с дисками

Дисковая полка

Блоки, разрешенные к замене заказчиком (CRU)

Процессор СХД

Литий-ионный резервный аккумулятор

Источник питания

Модули вентиляторов

Модуль памяти DIMM

mSATA (Mini-Serial Advanced Technology Attachment)

Модуль ввода-вывода

Конфигурации оборудования

Сравнение типов дисков

Конфигурации RAID

Обзор программного обеспечения

Начальная настройка

Unisphere

MCx™

FAST™ VP

Выделение ресурсов хранения

Файловые системы

Тома и группы томов

Хранилища данных VMware

Характеристики пула хранения данных

Другие расширенные функции

Антивирусная защита данных

Асинхронная репликация блоков

Метрики емкости и производительности

Сжатие и дедупликация файлов

Долгосрочное хранение на уровне файлов (FLR Enterprise)

Интеграция с протоколом LDAP

Агрегирование каналов связи

Поддержка RecoverPoint

Основные сведения о системе EMC VNXe3200 Подробный обзор «Тонкое» выделение ресурсов

Последовательное подключение по локальной сети

Унифицированные моментальные снимки

Поддержка интерфейса командной строки Unisphere

Управление пользователями

Высокая доступность

Виртуальная интеграция с VMware vSphere

Программный интерфейс vStorage API for Storage Awareness (VASA)............. 40 VMware Aware Integration (VAI)

Virtual Storage Integrator (VSI)

Интерфейсы vStorage API для интеграции массивов (VAAI)

Удаленный мониторинг

Служба EMC Secure Remote Support (ESRS)

Unisphere Central

Экосистема поддержки VNXe3200

Заключение

Справочные материалы

Приложение A. Поддерживаемые диски

Основные сведения о системе EMC VNXe3200 Подробный обзор Краткий обзор Система хранения EMC® VNXe3200 — решение для унифицированного хранения данных, которое подходит для развертывания на предприятиях малого и среднего бизнеса, а также в удаленных офисах или филиалах (ROBO) крупных организаций. Эта мощная система хранения решает указанные выше сложности. Она предназначена для простой работы, поэтому ИТ-специалисты широкого профиля с ограниченными экспертными знаниями в области систем хранения смогут использовать разнообразные функции, которые предлагает система.

Основные преимущества системы хранения VNXe3200:

Высокая доступность — VNXe3200 предлагает целый ряд возможностей для обеспечения высокой доступности, такие как аппаратное резервирование и защита RAID, обеспечивающие непрерывный поток данных для пользователей и администраторов.

Производительность и эффективность — в VNXe3200 используются те же технологии MCx и FAST VP, что и в системах серии VNX2. Эти технологии обеспечивают более эффективное использование флэш-дисков, ядер процессоров и других технологий.

Вместе это гарантирует более выгодное соотношение цены и производительности.

Унифицированные моментальные снимки — благодаря действительно унифицированной инфраструктуре VNXe3200 может создавать моментальные снимки блочных или файловых данных на определенный момент времени, используя то же пространство СХД в качестве системы назначения. Унифицированные моментальные снимки в VNXe3200 основаны на технологии Redirect-On-Write (перенаправления при записи), которая впервые была применена в серии VNX2.

Поддержка расширенных возможностей подключения — системы VNXe3200 поддерживают Fibre Channel 8 Гбит/с, 10 гигабит Ethernet (оптический кабель) и 1 гигабит Ethernet (медный кабель) за счет использования дополнительных модулей ввода-вывода.

Репликация блоков — система VNXe3200 предлагает два вида репликации для обеспечения резервирования данных и их целостности. VNXe3200 имеет встроенную асинхронную репликацию блочной системы хранения, что в сочетании с другими системами VNXe3200 обеспечивает решение для локальной и удаленной репликации. Встроенный разветвитель RecoverPoint позволяет осуществлять интеграцию с устройством EMC RecoverPoint для предоставления асинхронной и синхронной защиты для другой системы VNXe3200, а также других продуктов EMC (VNX, VMAX и др.).

Интеграция с VMware — VNXe3200 обеспечивает лучшую в своем классе интеграцию с VMware. Используя VASA, VAAI и VMware Aware Integration, VNXe3200 может полностью интегрироваться с VMware vCenter и хостами ESXi. Благодаря этому мониторинг системы хранения выполняется непосредственно из интерфейса VMware, а Основные сведения о системе EMC VNXe3200 Подробный обзор хранилища данных создаются из Unisphere. Кроме того, поддержка пакета VMware Site Recovery Manager (SRM) помогает VNXe3200 эффективно вписаться в план аварийного восстановления пользователя.

UFS64 — начальное развертывание UFS64 (64-разрядной файловой системы) происходит в системе VNXe3200. С помощью UFS64 и VNXe3200 можно создать хранилище данных NFS VMware емкостью до 64 Тбайт, обеспечивая в четыре раза большую емкость по сравнению с 32-разрядной файловой системой.

Для кого предназначен данный документ Эта белая книга предназначена для ИТ-планировщиков, архитекторов СХД, администраторов, партнеров, сотрудников EMC и других лиц, которые занимаются оценкой, приобретением, управлением, эксплуатацией или разработкой среды сетевых систем хранения данных EMC, используя системы хранения VNXe3200.

Терминология Файловая система CIFS — протокол доступа, который обеспечивает доступ к файлам и папкам из хостов Windows, расположенных в сети.

DHCP — протокол для присвоения динамических IP-адресов устройствам в сети с централизованного сервера. IP-адрес управления для системы VNXe3200, подключенной к сети организации, которая использует DHCP, может быть присвоен автоматически.

Протокол Fibre Channel — протокол передачи, который используется для связи между командами интернет-протокола (IP) и интерфейсом малых компьютерных систем (SCSI) по сети Fibre Channel.

Дедупликация и сжатие файлов — используемый для консолидации избыточных данных процесс, позволяющий экономить пространство в файловой системе. Если несколько файлов содержат идентичные или давно не используемые данные, в файловой системе будет храниться одна сжатая копия этих данных, которая будет использоваться совместно несколькими файлами.

Файловая система — ресурс хранения данных, связанный с протоколами доступа к файлу. Файловые системы доступны через сетевые папки Windows (протокол CIFS) и/или сетевые папки Linux/UNIX (протокол NFS).

Полностью автоматизированное многоуровневое хранение данных для виртуальных пулов (FAST VP) — передовой сервис управления данными, который автоматически перемещает фрагменты томов или данные файловой системы между уровнями хранения данных. Данные перемещаются в оптимальные расположения пула хранения данных на основании политики многоуровневого хранения, назначенной для ресурса хранилища.





Протокол iSCSI (интерфейс малых компьютерных систем для работы через Интернет) — обеспечивает механизм доступа к Основные сведения о системе EMC VNXe3200 Подробный обзор ресурсам хранения данных на основе неформатированных блоков через сетевые подключения. Протокол iSCSI основан на стандартной модели «клиент-сервер», в которой инициаторы (хосты) iSCSI выполняют функцию клиентов хранения, а приемники iSCSI — функцию серверов хранения.

Агрегирование каналов связи — функциональность высокой доступности, которая позволяет объединять порты Ethernet, связанные с теми же ресурсами хранения данных и имеют аналогичные характеристики, в одно виртуальное устройство или канал. У объединенного канала может быть один или несколько IPадресов. Система VNXe3200 поддерживает группы агрегирования каналов связи для портов Ethernet, которые не используются как интерфейсы iSCSI.

Том — это идентификационный номер ресурса хранения данных SCSI, который обрабатывает команды SCSI. Том иногда называется идентификатором тома — это равнозначные понятия. Кроме того, том — это заключительная часть адреса SCSI для объекта SCSI.

MCx — технология «многоядерности», которая обеспечивает высокую производительность и эффективность работы платформы в системах VNXe3200. В системе VNXe3200 MCx объединяет в себе технологии Multicore Cache, Multicore FAST Cache и Multicore RAID.

Multicore Cache — кэш-память VNXe3200, которая оптимизирует использование памяти DRAM и ядра процессора СХД для увеличения производительности чтения и записи хоста.

Multicore FAST Cache — дополнительная кэш-память большой емкости, в которой используются флэш-диски SLC. Эта дополнительная кэш-память дает значительные преимущества для приложений, склонных к непредсказуемым пикам операций вводавывода.

Multicore RAID — компонент MCx, отвечающий за определение, управление, создание и обеспечение защиты RAID в VNXe3200.

Сервер сетевой системы хранения данных (NAS) — файловый сервер хранения, который обеспечивает доступ к нескольким клиентам. Сервер NAS требуется для создания файловых систем, содержащих общие папки файловой системы CIFS и/или сетевой файловой системы NFS или хранилища данных VMware NFS.

Сетевая файловая система (NFS) — протокол доступа, предоставляющий пользователям доступ к файлам и папкам из хостов Linux или UNIX, расположенных в сети.

Протокол NDMP — стандартный для резервного копирования файловых серверов в сети. Он позволяет централизованным приложениям выполнять резервное копирование файловых систем, работающих в среде заказчика.

Протокол Server Message Block (SMB) — базовый протокол, используемый файловой системой CIFS для запроса файлов, печати и Основные сведения о системе EMC VNXe3200 Подробный обзор обмена данными с сервером по сети через порты Ethernet. Системы хранения VNXe3200 поддерживают протокол Microsoft Server Message Block (SMB) 3.0 для сетевых папок CIFS.

Пул хранения данных — единый репозиторий однотипных или разнотипных физических дисков, на базе которых можно создавать ресурсы хранения данных. Использование разнотипного пула обеспечивает простоту использования и максимально увеличивает потенциал технологий, таких как FAST VP.

Процессор СХД — аппаратный компонент VNXe3200, который предоставляет вычислительные ресурсы для выполнения операций хранения, а также обработку операций ввода-вывода между системой хранения и хостами.

«Тонкое» выделение ресурсов — функциональные возможности хранения, используемые для выделения ресурсов хранения из зарезервированного ресурса большего размера по мере необходимости. Объем системы хранения, который использует «тонкий» ресурс хранения, представлен в системе VNXe3200 как выделенное значение.

Унифицированный моментальный снимок — представление данных, находящихся на ресурсе хранения, на определенный момент времени. Пользователь может восстановить файлы или ресурс хранения данных из моментального снимка, а также подключить моментальный снимок к хосту.

Интерфейс командной строки Unisphere (CLI) — интерфейс, который позволяет пользователям выполнять задачи в системе VNXe3200, используя ввод команд в командную строку.

Unisphere для VNXe — среда управления с веб-интерфейсом, позволяющая создавать ресурсы хранения, настраивать и планировать защиту хранимых данных, а также управлять другими операциями и осуществлять их мониторинг.

Основные сведения о системе EMC VNXe3200 Подробный обзор Семейство унифицированных систем хранения VNX Семейство VNX VNXe3200 — относится к семейству систем хранения VNX. Эти системы просты, эффективны, мощны и надежно защищены. Они используют новую архитектуру MCx, которая оптимизирует использование всех доступных ядер процессора, повышая производительность и масштабируемость.

Наряду с другими функциональностями технология MCx позиционирует эти системы хранения как мощные продукты на рынке систем хранения, предлагая различные модели для всевозможных потребностей заказчиков. С одной стороны, VNX8000 отличается поддержкой высоких рабочих нагрузок и IOPS, что позволяет обслуживать заказчиков как среднего уровня, так и корпоративного. С другой стороны, система VNXe3200 использует ту же технологию, чтобы предложить пользователям расширенную функциональность системы хранения, при этом обладая небольшим формфактором 2U. Это делает VNXe3200 мощной и недорогой системой начального уровня.

Дополнительные сведения о моделях VNX5200—VNX8000 см. в документе Введение в серию EMC VNX2 на веб-сайте онлайн-поддержки EMC.

Рис. 1. Модели семейства VNX

VNXe3200 Система хранения VNXe3200 — это идеальная платформа для предприятий с инфраструктурами физических серверов, а также для предприятий, которые внедряют виртуализацию серверов для обеспечения консолидации и повышения эффективности. Как унифицированная система начального уровня, VNXe3200 обеспечивает высокую эффективность для небольших конфигураций пользователя с меньшими требованиями к производительности. Она предназначена для работы в небольших средах и для приложений, которые поддерживают до 1000 пользователей. Системы VNXe3200 предлагают комплексный набор функций, включая увеличенный коэффициент использования

–  –  –

Рис. 2. Система VNXe3200 в семействе VNX VNXe3200 поддерживает протоколы iSCSI, CIFS, NFS и Fibre Channel, что делает эту систему совместимой с большинством сетевых инфраструктур. Небольшая занимаемая площадь делает ее идеальным решением для развертывания на предприятиях малого и среднего размера, а также в удаленных офисах и филиалах (ROBO). Интерфейс управления Unisphere представляет собой простой и интуитивно понятный интерфейс для ИТ-специалистов широкого профиля, обеспечивая выполнение операций выделения ресурсов хранения, управления и мониторинга. Основные преимущества системы хранения

VNXe3200:

Простая и эффективная унифицированная система хранения — системы VNXe3200 обеспечивают выделение ресурсов унифицированной системы хранения на одной полке.

Кроме того, в Unisphere также внедрены передовые практики работы с пользовательским интерфейсом, которые упрощают и ускоряют выполнение повседневных задач. Это позволяет значительно ускорить операции.

Компактная платформа хранения данных — системы VNXe3200 обеспечивают высокодоступную архитектуру процессора СХД с двумя контроллерами, которую можно установить, используя всего 2U пространства в стойке.

Основные сведения о системе EMC VNXe3200 Подробный обзор Обзор оборудования Четырехъядерный процессор Система VNXe3200 использует четырехъядерный процессор Intel® Xeon® E5, который работает на частоте 2,2 ГГц. VNXe3200 использует все преимущества этой вычислительной мощности за счет архитектуры MCx и оптимального задействования всех ядер.

Процессорная полка с дисками VNXe3200 имеет две возможные конфигурации процессорной полки с дисками:

25-дисковые процессорные полки с дисками форм-фактора 2,5";

12-дисковые процессорные полки с дисками форм-фактора 3,5".

Обе конфигурации процессорной полки с дисками занимают 2U пространства в стойках СХД.

На рисунках ниже показан вид спереди 25-дисковой процессорной полки, где находятся 2,5-дюймовые диски SAS и флэш-диски (Рис. 3), а также вид спереди 12-дисковой процессорной полки, где находятся 3,5дюймовые диски NL-SAS (Рис. 4). Обе полки имеют индикаторы питания и сбоя полки. 2,5-дюймовые диски имеют отдельные индикаторы питания и сбоя, а 3,5-дюймовые диски имеют один индикатор, отображающий состояние питания или сбоя. Обратите внимание, что вид спереди дисковых полок на 12 и 25 дисков аналогичен виду спереди процессорных полок с дисками на 12 и 25 дисков соответственно.

Первые четыре диска в каждой процессорной полке с дисками называются системными дисками. Системные диски хранят важную системную информацию для массива хранения. По этой причине первые четыре диска нельзя перемещать или немедленно заменять в случае сбоя.

Рис. 3. Вид спереди процессорной полки с дисками и дисковой полки на 25 дисков Основные сведения о системе EMC VNXe3200 Подробный обзор Рис. 4. Вид спереди процессорной полки с дисками и дисковой полки на 12 дисков Тыльная сторона процессорной полки с дисками одинаковая в конфигурациях процессорной полки на 25 и на 12 дисков (Рис. 5).

Процессорная полка с дисками имеет встроенный модуль с 4 портами 10 гигабит Ethernet Base-T для каждого процессора СХД, который может автоматически согласовываться между 10 гигабит Ethernet, 1 гигабит Ethernet, 100 мегабит Ethernet и 10 мегабит Ethernet в зависимости от инфраструктуры (Рис. 6). Кроме того, также доступны два порта SAS, которые позволяют расширить систему хранения с помощью дисковых полок. Порты управления и сервисные порты поддерживают скорость 1 гигабит Ethernet, которая может автоматически согласовываться между 1 гигабит Ethernet, 100 мегабит Ethernet и 10 мегабит Ethernet. Порт управления используется для передачи системе команд графического интерфейса и интерфейса командной строки. Если система недоступна через порт управления, можно использовать сервисный порт с помощью функции Serial Over LAN посредством прямого подключения или коммутатора. Модули расширения для ввода-вывода доступны в системах VNXe3200, чтобы добавить возможность подключения Fibre Channel, 10 гигабит Ethernet с оптическими портами или 1 гигабит Ethernet к системе.

Рис. 5. Тыльная сторона процессорной полки с дисками

–  –  –

Дисковая полка

Система VNXe3200 имеет две возможные конфигурации дисковой полки:

25-дисковые полки с дисками форм-фактора 2,5";

12-дисковые полки с дисками форм-фактора 3,5".

Обе конфигурации дисковой полки занимают 2U пространства в стойках СХД.

На рисунках ниже показана тыльная сторона дисковой полки на 25 дисков (Рис. 7) и тыльная сторона дисковой полки на 12 дисков (Рис. 8).

Дисковые полки имеют индикаторы, на которых отображается состояние источника питания и возможная неисправность блока питания. Дисковая полка на 12 дисков также имеет индикатор сбоя питания вентилятора.

Рис. 7. Тыльная сторона дисковой полки на 25 дисков

–  –  –

Блоки, разрешенные к замене заказчиком (CRU) Большинство компонентов VNXe3200 разрешается заменять заказчиком.

Единственные компоненты, которые не разрешается заменять, — сами полки процессорной полки с дисками и дисковых полок. Ниже описано несколько компонентов системы хранения VNXe3200, разрешенных к замене заказчиком.

Процессор СХД Каждая система хранения VNXe3200 поставляется с двумя процессорами СХД. Каждый процессор СХД можно отдельно удалять из процессорной полки с дисками, что обуславливает простоту обслуживания и замены компонентов (Рис. 11). Процессор СХД можно заменить полностью, а его отдельные компоненты также могут обслуживаться заказчиком. Обратите внимание, что для обслуживания этих компонентов процессор СХД необходимо будет извлечь.

Рис. 11. Процессор СХД (со снятой крышкой) Литий-ионный резервный аккумулятор Литий-ионный резервный аккумулятор из 3 ячеек расположен в каждой полке процессора СХД (Рис. 12). Аккумулятор предназначен для подачи питания Основные сведения о системе EMC VNXe3200 Подробный обзор системы до завершения копирования содержания кэш-памяти процессора СХД на внутреннее устройство mSATA в случае сбоя питания или извлечения процессора СХД из процессорной полки с дисками. Чтобы кэш-память процессора СХД оставалась активной, должен работать по меньшей мере один резервный аккумулятор. Резервные аккумуляторы тестируются при каждом запуске процессора СХД и каждые 7 дней после этого, чтобы обеспечить корректную работу оборудования.

Рис. 12. Литий-ионный резервный аккумулятор Источник питания Каждая процессорная полка с дисками имеет два модуля питания (Рис. 13), по одному на каждый процессор СХД. Чтобы система продолжала выполнение операций, один из двух источников питания должен находиться в рабочем состоянии. Система VNXe3200 доступна в конфигурациях с питанием переменного или постоянного тока.

Рис. 13. Блок питания (процессорная полка с дисками) Модули вентиляторов Каждый процессор СХД имеет три модуля вентиляторов, которые отводят тепло от системы (Рис. 14). Чтобы система продолжала выполнение операций, по меньшей мере два из трех вентиляторов на каждом процессоре

–  –  –

Рис. 14. Модуль вентилятора процессора СХД Модуль памяти DIMM В каждом процессоре СХД находится три слота памяти DDR3. Они заполняются идентичными модулями памяти DIMM на 8 Гбайт (Рис. 15), в результате общая системная память каждого процессора СХД составляет 24 Гбайта. В случае обнаружения неисправного модуля памяти DIMM во время загрузки система загрузится в режиме обслуживания, поэтому неисправный модуль памяти можно будет отремонтировать.

Рис. 15. DIMM mSATA (Mini-Serial Advanced Technology Attachment) Под каждым процессором СХД располагается флэш-устройство MLC или диск mSATA на 32 Гбайта (Рис. 16). Это устройство содержит раздел, который хранит загрузочный образ, используемый в процессе первоначальной загрузки. В случае сбоя питания содержание кэш-памяти процессора СХД записывается на устройство mSATA. Если устройство mSATA повреждено, данные кэш-памяти можно восстановить из другого процессора СХД.

Основные сведения о системе EMC VNXe3200 Подробный обзор Рис. 16. Устройство mSATA Модуль ввода-вывода VNXe3200 поддерживает возможность добавления дополнительного модуля ввода-вывода для улучшения возможности подключения. Важно отметить, что конфигурации процессора СХД необходимо зеркалировать между собой. Например, если модуль ввода-вывода Fibre Channel установлен на процессоре СХД A, то на процессоре СХД В необходимо установить идентичный модуль ввода-вывода Fibre Channel.

В системе VNXe3200 поддерживается три модуля ввода-вывода: с оптическими портами FC 8 Гбит/с, с оптическими портами 10 гигабит Ethernet и 1 гигабит Ethernet. Все три модуля оснащены четырьмя портами и используются для внешнего подключения от процессоров СХД к хостам. Установленные на процессоре СХД VNXe3200 модули вводавывода должны сопоставляться.

Модуль ввода-вывода Fibre Channel автоматически согласовывает скорость до 2 Гбит/с, 4 Гбит/с или 8 Гбит/с и имеет 8-канальный интерфейс PCI-E второго поколения (Рис. 17). Его можно использовать для подключения к хостам с помощью Fibre Channel и NAS.

Рис. 17. Модуль ввода-вывода Fibre Channel Модуль ввода-вывода 10 гигабит Ethernet (оптический) работает только на скорости 10 Гбит/с и имеет 8-канальный интерфейс PCI-E третьего

–  –  –

Рис. 18. Модуль ввода-вывода (оптический) 10 гигабит Ethernet Модуль ввода-вывода 1 гигабит Ethernet автоматически согласовывает скорость до 10 Мбит/с, 100 Мбит/с и 1000 Мбит/с, а также имеет 4канальный интерфейс PCI-E второго поколения (Рис. 19). Он может использоваться для подключения к хостам с помощью протокола iSCSI и NAS, а также для репликации.

Рис. 19. Модуль ввода-вывода 1 гигабит Ethernet

–  –  –

Основные сведения о системе EMC VNXe3200 Подробный обзор Сравнение типов дисков Системы хранения VNXe3200 поддерживают флэш-диски, диски Serial Attached SCSI (SAS) и Near-line SAS (NL-SAS). Флэш-диски рекомендуется использовать для ресурсоемких приложений или приложений с очень низким показателем времени отклика и высокими требованиями к пропускной способности. Диски SAS подходят для сред с большой емкостью и высокими требованиями к производительности. Флэш-диски и диски SAS подходят для приложений, таких как приложения базы данных, для которых требуется частое выполнение операций чтения и записи. Для сред с умеренной производительностью и большой емкостью рекомендуется использовать диски Near-line SAS. Кроме того, диски Near-line SAS могут обеспечивать недорогую энергоэффективную емкость хранения. Они подходят для хранения больших объемов данных, которые редко используются, а также для пользователей, приложения которых не предъявляют строгих требований к производительности.

Список поддерживаемых типов дисков см. в Приложение A.

Поддерживаемые диски.

Конфигурации RAID Используя систему VNXe3200, можно сконфигурировать диски в пулы хранения данных. Каждый уровень в пуле хранения данных имеет тип RAID, чтобы обеспечить резервирование, соблюдая необходимые требования к емкости и дискам. Для поддержки и создания многоуровневых пулов хранения данных требуется лицензия FAST VP. Поддерживаемые уровни RAID: 5, 6 и 1/0.

ПРИМЕЧАНИЕ. После настройки уровня в пуле хранения данных невозможно изменить тип RAID для этого уровня.

Массив RAID 5 оптимально подходит для обработки транзакций и часто используется для систем хранения общего назначения, а также реляционной базы данных и систем корпоративного класса. Этот уровень RAID обеспечивает относительно низкую стоимость хранения за Гбайт, сохраняя при этом резервирование и высокую доступность. В массивах RAID 5 данные распределяются на уровне блоков между несколькими дисками вместе с контролем четности. Важно отметить, что сбойный диск снижает производительность системы хранения данных и его следует немедленно заменить. Однако неисправность одного диска не приведет к потере данных.

Массив RAID 6 подходит для тех же типов приложений, что и RAID 5, но более полезен в случаях, когда важно обеспечить повышенную отказоустойчивость.

Конфигурация RAID 6 аналогична конфигурации RAID 5, однако в ней используется двойной набор контрольных данных, распределенных между дисками, что обеспечивает очень высокий уровень устойчивости к сбоям. В связи с наличием дополнительного уровня контроля четности группам RAID 6 требуется ведение дополнительных внутренних записей, что обычно приводит к ухудшению производительности по сравнению с эквивалентными группами RAID 5. По этой причине необходимо найти компромисс между защитой данных и производительностью. В конфигурации RAID 6 пулы хранения данных могут продолжать работать с двумя неисправными дисками в каждой группе RAID. Системы VNXe3200 могут выполнять параллельное Основные сведения о системе EMC VNXe3200 Подробный обзор восстановление в случае двух неисправных дисков, сокращая время нахождения в неисправном состоянии.

RAID 1/0 — распределение зеркал, поэтому может использоваться только половина общей емкости дисков. Это обеспечивает высокую производительность и надежность, но имеет высокую стоимость в связи со снижением полезной емкости на диск. RAID 1/0 подходит для приложений с высокими требованиями к обработке, а также с интенсивными рабочими нагрузками записи. Для RAID 1/0 в системах VNXe3200 требуется не менее двух физических дисков. Обратите внимание, что двухдисковая конфигурация RAID 1/0 не использует распределение. И, наконец, неисправный диск необходимо заменить незамедлительно, поскольку эта конфигурация не справляется с отказом более чем одного диска в зеркалируемой паре.

–  –  –

Начальная настройка При начальной настройке системы VNXe3200 интерфейс управления необходимо настроить с использованием IP-адреса. IPv4- или IPv6-адрес можно назначить динамически по DHCP, или вы можете указать статический IP-адрес с помощью инструмента Connection Utility.

При первой загрузке системы хранения DHCP-сервер в сети автоматически назначит IPv4- или IPv6-адрес интерфейсу управления VNXe3200. Если DHCP-сервер не используется, инструмент Connection Utility используется для назначения статического IP-адреса для управления системой хранения VNXe3200. Эту программу можно загрузить непосредственно с веб-сайта центра онлайн-поддержки EMC.

При запуске утилиты Connection Utility на компьютере, принадлежащем к той же подсети, что и система хранения, программа автоматически обнаруживает все ненастроенные системы хранения VNXe3200. Если компьютер Connection Utility невозможно разместить в той же подсети, конфигурацию можно сохранить на USB-накопителе и применить к системе, подключив его в порт Mini-USB на тыльной части процессорной полки с дисками.

После настройки IP-адреса для интерфейса управления VNXe3200 можно получить доступ к Unisphere, перейдя по назначенному IP-адресу из любого веб-браузера.

При подключении к системе хранения VNXe3200 в первый раз мастер настройки Unisphere запустится автоматически. Этот мастер проведет последовательность действий, чтобы комплексно настроить систему VNXe3200 и части вашей схемы системы хранения данных за короткий период времени. С помощью мастера настройки в Unisphere можно задать указанные ниже параметры.

Пароль администратора — admin Сервисный пароль для учетной записи service Лицензии для Unisphere Серверы DNS и NTP Кэш-память пулов хранения данных и FAST Интерфейсы сервера NAS и протокола iSCSI Сервер SMTP для вариантов поддержки продукта Учетные данные в центре онлайн-поддержки EMC Служба EMC Secure Remote Support (ESRS) Unisphere Unisphere — это веб-интерфейс управления, представляющий основной инструмент мониторинга и управления для систем хранения VNXe3200. Он предоставляет инструменты для создания, настройки и управления ресурсами хранения. В целях использования этих ресурсов хранения может быть предоставлен доступ для пользователей, приложений и хостов, Основные сведения о системе EMC VNXe3200 Подробный обзор использующих различные поддерживаемые протоколы, в том числе iSCSI, Fibre Channel, CIFS и NFS. Файлы и данные, которые находятся в системе хранения, можно защитить с помощью функции автоматического планировщика для создания моментальных снимков хранимых данных на определенный момент времени. Благодаря этому восстановить утерянные данные и файлы можно очень быстро и без усилий.

Unisphere позволяет пользователям наблюдать за операциями хранения и состоянием системы с помощью службы создания подробных графических отчетов, которая может выявлять проблемы в конкретных компонентах системы хранения. Кроме того, Unisphere обеспечивает мониторинг производительности системы хранения в виде графиков, позволяя пользователям, обладающим техническими знаниями, получать более подробную информацию об использовании ресурсов системы.

Unisphere обеспечивает прямую поддержку посредством ресурсов экосистемы, таких как онлайн-документация, белые книги, часто задаваемые вопросы, видеоинструкции, дискуссионные онлайн-форумы и сессии чата. Наконец, все обновления кода программного обеспечения в системе VNXe3200 можно легко осуществлять с помощью процесса модернизации без прерывания работы в Unisphere.

Unisphere можно использовать для создания, настройки и мониторинга указанных ниже типов ресурсов хранения.

Тома — предоставляют ресурсы хранения на уровне блоков в виде томов для получения хостами и приложениями доступа к протоколам iSCSI или Fibre Channel.

Файловые системы — системы хранения на уровне файлов для хостов. Доступ к файловым системам можно получить по протоколам CIFS и NFS.

Хранилища данных VMware — предоставляют ресурсы хранения для виртуальных машин VMware за счет хранилищ данных, доступных по протоколу NFS, iSCSI или Fibre Channel.

Дополнительные сведения о Unisphere для систем хранения VNXe3200 см. в документе EMC Unisphere для VNXe3200: управление системой хранения следующего поколения.

MCx™ Технология MCx включает в себя функциональности Multicore Cache, Multicore RAID и Multicore FAST Cache. MCx позволяет массиву в полной мере использовать многоядерную архитектуру процессора Intel. Эта технология была разработана с нуля для обеспечения оптимальной производительности практически без вмешательства заказчика, используя масштабируемую архитектуру. Это такая же запатентованная технология, как и в моделях VNX2.

Multicore Cache — также известна как кэш-память процессора СХД. Оптимизирует память DRAM процессора СХД для увеличения производительности операций записи и чтения хоста. Она Основные сведения о системе EMC VNXe3200 Подробный обзор обеспечивает кэширование записи для всех уровней программного обеспечения VNXe.

Multicore RAID — определяет, управляет, создает и поддерживает защиту RAID VNXe для всех созданных пулов хранения данных.

Технология Multicore RAID включает в себя функции, такие как постоянное резервирование, мобильность дисков, политику «горячего» резерва и повышенную устойчивость RAID.

Multicore FAST Cache — вторичная кэш-память большой емкости, созданная с использованием кэш-памяти FAST с оптимизацией для твердотельных накопителей (SSD). Она позиционируется между кэш-памятью на основе DRAM процессора СХД и жесткими дисками в пулах хранения данных для обеспечения производительности флэш-дисков с высоким уровнем доступа к данным в пуле хранения данных. Описанные далее технологии Multicore FAST Cache и FAST VP создают уникальное решение для кэширования и многоуровневого хранения в СХД, известное как пакет FAST Suite.

Подробные сведения о MCx и пакете FAST Suite см. в белых книгах Основные сведения о пакете EMC VNXe3200 FAST Suite и EMC VNXe3200 MCx.

FAST™ VP Функциональность полностью автоматизированного многоуровневого хранения данных для виртуальных пулов (FAST VP) доступна для блочных и файловых данных. FAST VP оптимизирует коэффициент использования ресурсов системы хранения за счет автоматического перемещения данных между уровнями хранения и внутри них.

Рис. 20. Процесс FAST VP Рис. 20 показан принцип работы FAST VP. В системе хранения VNXe3200 данные перемещаются блоками по 256 Мбайт на самые эффективно работающие диски на основе шаблонов доступа ввода-вывода и политики многоуровневого хранения для ресурса хранения данных. Благодаря этому соответствующие данные хранятся на нужном уровне в нужное время, что существенно повышает эффективность и производительность.

Пользователь может установить политики и расписания, которые позволят системе определить способ и время перемещения данных.

Основные сведения о системе EMC VNXe3200 Подробный обзор Оптимизированные для FAST VP твердотельные диски (SSD) доступны для систем VNXe3200 и могут использоваться только в пуле хранения данных. С другой стороны, оптимизированные для кэш-памяти FAST твердотельные диски можно использовать как для кэш-памяти FAST, так и для FAST VP. По сравнению с оптимизированными для кэш-памяти FAST твердотельными дисками, оптимизированные для FAST VP твердотельные диски более экономичны и подходят для данных, которые изменяются не очень часто.

Подробные сведения о FAST VP см. в белой книге Основные сведения о пакете EMC VNXe3200 FAST Suite.

Выделение ресурсов хранения VNXe3200 включает в себя возможность подключения блочных и файловых систем. Для подключения на уровне блоков пользователь может использовать протокол iSCSI или Fibre Channel для доступа к хосту. Для подключения файловых систем пользователь может настроить серверы NAS, которые используются для доступа к сетевым папкам CIFS и NFS. Если пользователю потребуется создать хранилища данных VMware, он может выделить ресурсы хранилищ данных через NFS, используя доступный сервер NAS с поддержкой NFS или VMFS с помощью iSCSI или Fibre Channel.B Таблица 2 показаны различные доступные типы СХД в системе хранения VNXe3200.

Таблица 2. Сведения о системе хранения VNXe Управляемые Тип хранения Хосты Интерфейс объекты

–  –  –

Файловые системы Файловая система — ресурс хранения данных на основе файлов, доступ к которому осуществляется посредством протоколов доступа к файлам (CIFS или NFS). Сетевая папка представляет собой точку доступа, посредством которой хосты могут обращаться к файловым системам.

Файловые системы и сетевые папки предоставляют ресурсы хранения на уровне файлов, доступные для хостов посредством сетевых подключений.

Если в системе включено хранение на уровне файлов, сервер NAS обслуживает настроенные файловые системы, управляет ими и передает данные между хостами и сетевыми папками. Тип доступа к сетевой папке Основные сведения о системе EMC VNXe3200 Подробный обзор VNXe3200 зависит от типа сетевой папки (CIFS, NFS или многопротокольная).

При создании сервера NAS в системе VNXe3200 протоколы CIFS и NFS можно использовать совместно или раздельно (Рис. 21). Файловая система, созданная на сервере NAS, который использует оба протокола, но без поддержки многопротокольности, может выделять один тип сетевых папок. Например, если при выборе файловой системы выбран протокол CIFS, для такой файловой системы можно создавать только сетевые папки CIFS. Чтобы создать сетевые папки NFS, требуется создать отдельную файловую систему.

Сервер NAS, для которого были включены оба протокола в многопротокольной конфигурации, обеспечит одновременный совместный доступ к соответствующим файловым системам по протоколам CIFS и NFS. Другими словами, одна файловая система может использоваться для обслуживания клиентов, использующих CIFS либо NFS. Многопротокольный сервер NAS может размещать только многопротокольные файловые системы, а многопротокольную файловую систему можно разместить только на многопротокольном сервере NAS.

Многопротокольный сервер NAS должен принадлежать к домену Active Directory, а также использовать настроенную службу Unix Directory Services.

Рис. 21. Мастер создания сервера NAS Для протокола CIFS можно создавать серверы NAS как подключенные к домену или автономные серверы. Подключенные к домену серверы настраиваются с помощью Active Directory (аутентификации Kerberos).

Они сохраняют свои идентификационные данные в домене и используют информацию о домене для поиска сервисов, таких как контроллеры домена. Автономные серверы не имеют доступа к домену Windows, поэтому они могут быть полезны в средах тестирования и разработки или когда домены недоступны.

Для протокола NFS сервер NAS имеет возможность поддержки службы каталогов Unix (UDS). В качестве протокола обслуживания UDS можно использовать службу NIS или протокол LDAP. Для многопротокольного сервера NAS необходимо включить и настроить службу UDS.

Основные сведения о системе EMC VNXe3200 Подробный обзор Тома и группы томов Тома предоставляют хостам возможность получать доступ к блочным ресурсам хранения по протоколам iSCSI (Интернет) или Fibre Channel.

После подключения к тому хост может использовать его как локальный диск хранения. Unisphere позволяет пользователям создавать, просматривать, удалять тома и управлять ими. Емкость тома можно только увеличить.

Группы томов — это логические контейнеры для томов, которые позволяют пользователям объединить тома в управляемые группы.

Например, приложению базы данных требуется один том для базы данных и другой том для файлов журналов. Диски можно представить в обычном приложении хранения в Unisphere, добавив тома к группе томов (Рис. 22). Группами томов можно управлять как одним целым, что позволяет создавать моментальные снимки всех томов в группе в целом.

Это создает группу консистентности, так как каждый том в группе томов можно защитить с помощью одной операции.

Рис. 22. Группа томов с двумя томами Хранилища данных VMware Unisphere позволяет пользователю создавать ресурсы хранения данных, оптимизированные для использования серверами VMware vCenter™ и хостами ESXi®. Хранилища данных VMware связаны с типом доступа к ресурсу хранения (VMFS или NFS).

На странице Hosts в Unisphere пользователь может обнаружить и добавить хосты VMware ESXi и данные сервера vCenter в Unisphere.

После выполнения импорта сведений о хосте VMware в Unisphere будет отображаться информация о виртуальных машинах.

Для настройки хранилища данных VMware пользователь может использовать мастер настройки ресурса хранения VMware. После создания этих хранилищ данных их можно сканировать и автоматически добавлять на сервер vCenter или в хост ESXi.

Хранилища данных файловой системы виртуальной машины (VMFS) Для хранилищ данных VMFS в системе хранения необходимо создать инициаторы iSCSI или подключения Fibre Channel. Емкость хранилища данных VMFS после его создания можно только увеличивать. После создания хранилищ VMFS и предоставления доступа хосту ESXi выполняется автоматическое сканирование новой системы хранения и хост ESXi получает доступ к ней. Хосты могут получить доступ к хранилищу данных на уровне тома, моментального снимка или на обоих этих уровнях.

Основные сведения о системе EMC VNXe3200 Подробный обзор Хранилища данных сетевой файловой системы NFS VMware Хранилища данных NFS требуют настройки сервера NAS. Хостам Linux/UNIX может быть предоставлен доступ к хранилищам NFS. Для хранилищ NFS можно задать следующие конфигурации доступа: только чтение, чтение/запись с поддержкой Root, без доступа.

UFS64 — 64-разрядная архитектура файловой системы, которая впервые была представлена в системе VNXe3200. В отличие от старых 32разрядных архитектур, 64-разрядная файловая система расширяет ограничения на максимальное количество файлов и максимальное количество подкаталогов на несколько порядков. Другое заслуживающее внимания улучшение — максимальный размер файловой системы. В системе VNXe3200 максимальный размер файловой системы UFS64 — 64 Тбайта. VNXe3200 поддерживает UFS64 для создания хранилищ данных NFS VMware. Подробные сведения о UFS64 см. в белой книге EMC VNXe3200 UFS64.

Характеристики пула хранения данных Ресурсы хранения VNXe3200 выделяются из пулов хранения данных. Пул хранения данных — это группа однотипных или разнотипных физических дисков (Рис. 23 и Рис. 24), каждый уровень которой состоит из дисков аналогичного типа. Однородный пул хранения данных представляет собой одноуровневый пул с дисками одного типа. Разнородный пул хранения данных включает несколько уровней с дисками различного типа.

Разнотипные пулы доступны в системах VNXe3200. Для их использования требуется лицензия FAST VP. Для VNXe3200 доступны три уровня: с максимальной производительностью флэш-дисков, с высокой производительностью дисков SAS и большой емкостью дисков Near-line SAS. Конфигурацию RAID можно настроить для каждого уровня в пуле хранения данных. После завершения настройки конфигурации RAID ее нельзя изменить. Кроме того, используется встроенная политика дисков «горячего» резерва, которая определяется как 1 резервный диск на 30 дисков. Эта политика не настраивается пользователем.

–  –  –

B Таблица 3 показаны значения по умолчанию конфигурации RAID для каждого уровня конфигурации пула хранения данных в системе VNXe3200.

Таблица 3. Значения по умолчанию для пула хранения данных VNXe3200 Конфигурация RAID по Категория Тип диска умолчанию Флэш-диски RAID 5 (4+1) Extreme Performance Производительность SAS RAID 5 (4+1) Емкость NL-SAS RAID 6 (6+2) Если отсутствует лицензия для FAST VP, в мастере создания пула хранения данных будет доступен режим быстрой настройки.

Этот режим быстрой настройки автоматически создает однородные пулы хранения данных с помощью наиболее подходящих алгоритмов для всех доступных дисков в системе, при этом применяя встроенную политику «горячего»

резерва. Режим быстрой настройки настроит RAID 5 для уровней максимальной производительности и высокой производительности, а также настроит RAID 6 для уровня емкости. Если не требуется автоматическое создание пула, пользователи могут создавать настраиваемые однородные пулы хранения данных.

При создании настраиваемого пула хранения данных пользователи имеют возможность указать ширину страйпа или выбрать максимальную емкость, которая будет использовать наиболее подходящий алгоритм для доступных дисков. Ниже приведены допустимые значения ширины страйпа для каждого типа RAID систем VNXe3200.

RAID 5 4: + 1, 8 + 1, 12 + 1 RAID 6 6: + 2, 8 + 2, 10 + 2, 14 + 2 RAID 1/0: 1 + 1, 2 + 2, 3 + 3, 4 + 4 Основные сведения о системе EMC VNXe3200 Подробный обзор Другие расширенные функции Несмотря на то что система VNXe3200 была разработана для ИТспециалистов широкого профиля, она поставляется с расширенной функциональностью. Эти расширенные функции находятся в подменю и во вкладках настроек. Это позволяет сохранять интерфейс понятным, простым и несложным в использовании. Системы хранения VNXe3200 оснащены указанными ниже расширенными функциями.

Антивирусная защита данных Асинхронная репликация блоков Метрики емкости и производительности Сжатие и дедупликация файлов Долгосрочное хранение на уровне файлов (FLR Enterprise) Интеграция с протоколом LDAP Агрегирование каналов связи «Тонкое» выделение ресурсов Поддержка RecoverPoint Последовательное подключение по локальной сети Унифицированные моментальные снимки Поддержка интерфейса командной строки Unisphere Управление пользователями Антивирусная защита данных Системы хранения VNXe3200 поддерживают серверы антивирусных программ сторонних поставщиков, которые выполняют антивирусное сканирование и отправляют отчеты для VNXe3200. Например, когда клиент создает, перемещает или изменяет файл, система хранения запускает сервер антивирусной программы, чтобы просканировать файл на наличие известных вирусов. Если в файле нет вирусов, он записывается в VNXe3200. Если файл заражен, принимаются определенные на сервере антивирусных программ меры.

Асинхронная репликация блоков VNXe3200 поддерживает асинхронную репликацию. Использование технологии унифицированных моментальных снимков и асинхронной репликации дает возможность пользователям осуществлять репликацию томов, групп томов и хранилищ данных VMFS в системах VNXe3200.

Синхронизация данных настраивается пользователем и может выполняться автоматически или вручную.

Для создания сессии репликации необходимо установить соединение репликации между двумя системами хранения VNXe3200. После подключения создается сессия из планируемого исходного местоположения. На каждой стороне определяется ресурс хранения данных соответствующего типа (например, от тома к тому), который назначается для сессии репликации. Созданную сессию можно приостановить, выполнить аварийное переключение, возобновить, переименовать и удалить.

Подробные сведения об асинхронной репликации см. в белой книге Технологии репликации в системе EMC VNXe3200.

Основные сведения о системе EMC VNXe3200 Подробный обзор Метрики емкости и производительности Системы хранения VNXe3200 обеспечивают администраторам СХД возможность просматривать метрики емкости и производительности в интерфейсах Unisphere и Unisphere CLI. Используя данную информацию, администраторы СХД смогут анализировать производительность их системы хранения и получать сведения о емкости. Эта информация может оказаться полезной во время диагностики и устранения неполадок, планирования будущих проектов или прогнозирования будущих потребностей касательно среды хранения данных. Базы данных метрик, где хранятся данные метрик, автоматически настраиваются на системных дисках VNXe3200. База данных имеет фиксированный размер 8 Гбайт.

Подробные сведения о емкости и метриках производительности см. в белой книге Емкость и метрики производительности EMC VNXe3200.

Сжатие и дедупликация файлов Системы хранения VNXe3200 поддерживают интегрированную дедупликацию для файловой СХД (файловых систем и хранилищ данных NFS VMware). Дедупликация оптимизирует эффективность хранения данных, исключая из хранящихся файлов избыточные данные, экономя тем самым пространство системы хранения. С точки зрения конечного пользователя клиенты NAS не содержат информации о доступе к дедуплицированным данным.

Дедупликация работает с целыми файлами, которые хранятся в файловой системе. Например, если в дедуплицируемой файловой системе хранится 10 уникальных файлов, эти 10 файлов останутся в файловой системе, но содержащиеся в них данные будут сжаты. Это сэкономит до 50% пространства. Если же это 10 одинаковых копий файла, то в файловой системе они будут отображаться как 10 файлов, использующих общие файловые данные. Один экземпляр общего файла также будет сжат, что еще больше увеличит экономию пространства.

Во время дедупликации каждая файловая система с поддержкой дедупликации выполняет поиск файлов, которые не были востребованы в течение 15 дней. При обнаружении файла, отвечающего заданному критерию, данные этого файла дедуплицируются и сжимаются. Файлы могут быть исключены из операций дедупликации и сжатия на основании расширения файла или пути к нему. Поскольку метаданные файлов сохраняются неизменными в процессе дедупликации, разные экземпляры файла могут иметь различные имена, атрибуты безопасности и временные метки. Подробные сведения о дедупликации и сжатии файлов см. в белой книге Дедупликация и сжатие файлов в системе EMC VNXe3200.

Долгосрочное хранение на уровне файлов (FLR Enterprise) Долгосрочное хранение на уровне файлов (FLR) позволяет задавать ограничения для отдельных файлов, чтобы предотвратить изменения в выбранных файлах в течение определенного периода времени. FLR обеспечивает целостность данных в течение этого периода, создавая неизменяемый набор файлов и каталогов. FLR можно активировать Основные сведения о системе EMC VNXe3200 Подробный обзор только во время первоначального создания файловой системы. После создания файловой системы и активации FLR защита данных применяется к каждому файлу по отдельности. Для систем VNXe3200 доступно только долгосрочное хранение на уровне файлов типа Enterprise (FLR-E). Используя FLR-E, администратор может удалить файловую систему FLR-E, даже если в ней содержатся защищенные файлы, но не сможет изменить или удалить отдельные защищенные файлы.

Файл в файловой системе с активным FLR находится в одном из четырех возможных состояний:

Незаблокированный — незаблокированный файл обрабатывается точно так же, как файл в файловой системе, для которого не включена поддержка FLR. Его можно переименовать, изменить или удалить.

Заблокированный — файл в заблокированном состоянии управляется посредством заданных сроков хранения, и до наступления указанных дат файлы невозможно изменить или удалить.

С возможностью дополнения — файл с возможностью дополнения нельзя удалить или переименовать. Существующие в файле данные нельзя изменить, но можно добавить новые данные.

С истекшим сроком действия — файл с истекшим сроком действия нельзя переименовать, изменить или дополнить. В случае необходимости этот файл можно удалить или разблокировать.

Подробные сведения о долгосрочном хранении на уровне файлов см. в белой книге Управление средой NAS с поддержкой FLR с помощью набора инструментов EMC для долгосрочного хранения на уровне файлов.

Интеграция с протоколом LDAP LDAP — это протокол приложений, который используется для запроса и изменения служб каталогов, запущенных в сетях TCP/IP. Протокол LDAP предоставляет сервис управления для выполнения операций аутентификации с помощью централизации управления пользователями и группами в сети. Интеграция пользователей ПО Unisphere в существующую среду LDAP позволяет контролировать доступ к системе VNXe3200 для управления на основе созданных учетных записей пользователей и групп в каталоге LDAP. Чтобы настроить параметры LDAP в Unisphere, откройте вкладку Directory Services (Службы каталогов) на странице Manage Administration (Управление административным доступом).

ПРИМЕЧАНИЕ. Описанные здесь параметры LDAP используются исключительно для управления доступом к ПО Unisphere и не применяются для управления ресурсами хранения данных VNXe3200.

Основные сведения о системе EMC VNXe3200 Подробный обзор Агрегирование каналов связи При использовании агрегирования каналов связи в системе VNXe3200 до четырех портов Ethernet могут быть объединены в один логический канал.

Кабельные соединения на процессоре СХД A (SPA) должны быть идентичны кабельным соединениям на процессоре СХД B (SPB).

Агрегирование каналов связи дает ряд преимуществ.

Высокая доступность сетевых путей между системой VNXe3200 и внешними компонентами — в случае отказа одного физического порта из группы портов для агрегирования каналов связи система VNXe3200 не утрачивает возможности подключения.

Возможное повышение общей пропускной способности — пропускную способность можно повысить благодаря связыванию нескольких физических портов в один логический порт.

Например, если два физических порта объединены в один логический порт, и происходит сбой одного из каналов, то сетевой трафик начинает проходить через другой канал, и доступ хоста к данным не прерывается.

После восстановления функциональности канала сетевой трафик снова начинает проходить по обоим исправным каналам.

Чтобы настроить агрегирование каналов связи, оба связанных порта необходимо подключить к одному коммутатору или логическому коммутатору, если они поддерживают взаимные подключения стеков, позволяющие агрегирование каналов связи между стеками. Коммутатор необходимо настроить для агрегирования каналов связи с использованием протокола LACP. Протокол LACP позволяет сочетать любые порты Ethernet на одной карте. Обратите внимание, что порты Ethernet, участвующие в агрегировании каналов связи, не могут одновременно функционировать в качестве интерфейсов iSCSI.

Дополнительные сведения об агрегировании каналов связи в системах хранения VNXe3200 можно найти в белой книге Высокая доступность EMC VNXe3200.

Поддержка RecoverPoint Система хранения VNXe3200 включает в себя интеграцию на уровне массива с помощью EMC RecoverPoint/EX, решения на основе устройства, которое поддерживает непрерывную локальную и удаленную репликацию данных. RecoverPoint поддерживает сессии синхронной и асинхронной репликации. Кроме того, RecoverPoint позволяет выполнять репликацию из системы VNXe3200 или в нее с помощью широкого спектра других продуктов EMC, включая VNX, VNX2 и VMAX. За счет использования встроенного разветвителя VNXe3200 операции записи в систему доставляются на устройство RecoverPoint (RPA). RPA обрабатывает операции репликации и использует дополнительные эффективные возможности, такие как дедупликация и сжатие, чтобы выполнять репликацию с низким воздействием на полосу пропускания.

Дополнительные сведения об использовании VNXe3200 с RecoverPoint см. в белой книге Технологии репликации EMC VNXe3200.

Основные сведения о системе EMC VNXe3200 Подробный обзор «Тонкое» выделение ресурсов «Тонкое» выделение ресурсов — это предоставление серверу большего объема памяти, чем фактически выделенный объем для данного ресурса хранения данных.

Если пользователь включит «тонкое» выделение ресурсов для ресурса хранения данных, запрошенный объем хранилища не выделяется ресурсу немедленно. Вместо этого система выделяет файловым ресурсам меньший объем хранения, известный как первоначальное распределение. Для блочных ресурсов отсутствует первоначальное распределение. Когда объем хранилища, использованного в ресурсе хранения данных, приближается к пределу текущего распределения, система автоматически выделяет для ресурса хранения данных дополнительную емкость из пула хранения данных. Выделение ресурсов поддерживается на всех типах систем хранения в VNXe3200 и включено по умолчанию с помощью флажка в различных мастерах создания системы хранения.

Системы VNXe3200 позволяют подписать несколько ресурсов хранения на общую емкость хранилища в пуле, а в случае «тонкого» выделения ресурсов система выделяет только часть физической емкости, запрошенной каждым из ресурсов хранения данных (Рис. 25).

Оставшийся объем хранилища остается доступен для использования в пуле другими ресурсами хранения данных.

Рис. 25. «Тонкое» выделение ресурсов Системы VNXe3200 также поддерживают избыточную подписку пулов хранения данных. Избыточная подписка — метод выделения ресурсов хранения данных, который позволяет администраторам хранилища выделять больше емкости, чем может быть физически доступно в данном пуле хранения данных. Если группы «тонко» выделенных ресурсов хранения данных связаны с пулом хранения данных, они могут запросить (или заказать) большую емкость хранения, чем есть в пуле на самом деле. Это становится возможным благодаря тому, что емкость хранения Основные сведения о системе EMC VNXe3200 Подробный обзор выделяется из пула всем ресурсам хранения данных по мере необходимости, исходя из используемой в ресурсе емкости хранения.

Если общее количество используемой емкости в пуле приближается к физической емкости пула (по умолчанию 70%), Unisphere генерирует уведомление о том, что вскоре может понадобиться дополнительная емкость хранения.

Благодаря «тонкому» выделению ресурсов пользователи получают возможность улучшить эффективность хранения данных, поскольку организации могут предварительно приобрести систему хранения меньшей емкости, а затем увеличить емкость путем добавления дисков в соответствии с фактическим использованием емкости системы хранения.

Без «тонкого» выделения ресурсов организациям необходимо основывать свои требования к дискам на прогнозах или запросах владельцев приложений.

Последовательное подключение по локальной сети Функциональность последовательного подключения по локальной сети (Serial Over LAN или SOL) позволяет персоналу EMC и администраторам систем хранения выполнять обслуживание или поддержку системы VNXe3200 в случае, если протокол ESRS или SSH не работает или не настроен. Для использования функции необходимо подключить два кабеля Ethernet к сервисным портам на обоих процессорах СХД, а другие концы подключить к ноутбукам, настроенным на ту же подсеть, что и внутренние IP-адреса системы VNXe3200. Чтобы начать сессию SOL, необходимо установить инструмент интерфейса IPMI на ноутбуке.

Инструмент IPMI затем обменивается данными с контроллером управления материнской платой (BMC), чтобы перенаправить последовательные данные через сервисный порт процессора СХД и установить сессию SOL. После запуска сессии в системе можно запускать обычные команды, такие как через протокол SSH.

ПРИМЕЧАНИЕ. Невозможно передавать файлы через сервисный порт.

Дополнительные сведения о последовательном подключении по локальной сети см. в технических указаниях по EMC IPMI Tool 1.0 на вебсайте онлайн-поддержки EMC.

Унифицированные моментальные снимки Функциональность унифицированных моментальных снимков создает представление данных на определенный момент времени для блочных и файловых ресурсов хранения данных. Унифицированные моментальные снимки основаны на технологии перенаправления при записи (ROW), которая перенаправляет новые записи на ресурс хранения данных в новом местоположении в том же пуле хранения данных. Снимок не потребляет пространство из пула хранения данных, пока не будут записаны новые данные на ресурс хранения данных или в сам снимок.

Унифицированные моментальные снимки просты в управлении. Все необходимые операции можно выполнить с помощью Unisphere.

Унифицированные моментальные снимки также предоставляют возможность запланировать их создание. Это значит, что с помощью этой Основные сведения о системе EMC VNXe3200 Подробный обзор функции пользователям обеспечивается автоматическая защита данных на регулярной основе и возможность восстановления данных в случае удаления или повреждения. Подробнее об унифицированных моментальных снимках см. в белой книге Универсальные моментальные снимки EMC VNXe3200.

Поддержка интерфейса командной строки Unisphere Интерфейс командной строки Unisphere в системе VNXe3200 позволяет пользователям управлять VNXe3200 так же, как видно в графическом интерфейсе пользователя Unisphere, через интерфейс командной строки.

Он может служить как средство для создания скриптов для автоматизации часто выполняемых задач. Для выполнения команд в системе VNXe3200 используется IP-адрес управления с интерфейсом командной строки Unisphere.

Чтобы использовать интерфейс командной строки Unisphere, на хостмашине необходимо установить клиент интерфейса командной строки Unisphere. Тот же клиент может использоваться для управления несколькими системами хранения VNXe3200. Дополнительные сведения о формате и параметрах интерфейса командной строки Unisphere см. в Руководстве пользователя интерфейса командной строки VNXe Unisphere на веб-сайте онлайн-поддержки EMC.

Управление пользователями Системы хранения VNXe3200 содержат инструменты создания учетных записей пользователей для руководителей и администраторов, занимающихся настройкой и мониторингом систем VNXe3200. При обращении пользователей к ПО Unisphere им предлагается выполнить вход с помощью учетных данных, прежде чем им будет предоставлен доступ к системе. Учетные записи пользователей Unisphere сочетают имя пользователя и пароль с определенной ролью, назначаемой для каждой учетной записи. Роль определяет действия, которые пользователь может выполнять после входа в систему.

В ПО Unisphere доступны указанные ниже роли пользователей.

Оператор — эта роль позволяет просматривать информацию о состоянии системы Unisphere и ресурсах хранения данных без возможности изменения параметров системы.

Администратор системы хранения данных — эта роль позволяет просматривать данные системы хранения VNXe3200, изменять параметры Unisphere, использовать инструменты Unisphere, создавать и удалять ресурсы хранения, а также создавать и удалять конфигурации хостов. Эта роль не позволяет добавлять учетные записи пользователей, выполнять начальную настройку системы, изменять сетевые настройки, изменять конфигурацию сервера NAS или обновлять системное программное обеспечение.

Администратор — эта роль позволяет выполнять все задачи, доступные посредством Unisphere.

–  –  –

Основные сведения о системе EMC VNXe3200 Подробный обзор Высокая доступность Системы хранения VNXe3200 предлагают несколько встроенных функций для обеспечения высокой доступности. Высокая доступность обеспечивается за счет резервных компонентов, то есть в случае сбоя одного компонента его функции возьмет на себя другой компонент.

Резервные компоненты включают в себя процессоры СХД, охлаждающие вентиляторы, кабели питания постоянного или переменного тока, источники питания, модули ввода-вывода и контроллеры канала связи (LCC). Высокая доступность сети обеспечивается с помощью агрегирования каналов связи и управления несколькими путями.

В ресурсах блочной системы хранения хосту становятся доступными несколько путей к ресурсу хранения, а запросы можно посылать любому процессору СХД. Обратите внимание, что для того, чтобы воспользоваться преимуществами этой функциональности, необходимо установить ПО для управления несколькими путями. В случае сбоя рабочий процессор СХД будет обрабатывать оставшиеся запросы, отправленные на недоступный процессор СХД.

В файловых системах сбой процессора СХД запустит аварийное переключение на резервный ресурс сервера NAS и его связанные файловые системы. После возвращения к работе сбойного процессора СХД можно выполнить восстановление после сбоя файловой системы и серверов NAS на исходный процессор СХД. Наличие портов сервера NAS, собранных в агрегировании каналов связи, позволит продолжить обслуживание с помощью других путей в случае сбоя канала. Для правильной обработки аварийного переключения на резервный ресурс файловой системой порт процессора СХД и сетевые порты соответствующего сервера NAS должны быть идентичными.

Сервис управления Unisphere работает на одном процессоре СХД одновременно. В случае сбоя процессора СХД управление аварийно переключится на другой процессор СХД с минимальным временем простоя. Для обеспечения высокой доступности интерфейса управления кабель на каждом процессоре СХД должен иметь одинаковую возможность подключения. Например, если порт управления на SPA подключен к коммутатору, настроенному для работы в подсети 192.168.0.1, порт управления на процессоре SPB также должен быть подключен к этой подсети.

Дополнительные сведения о высокой доступности в системах хранения VNXe3200 см. в белой книге Высокая доступность EMC VNXe3200.

–  –  –

Программный интерфейс vStorage API for Storage Awareness (VASA) VASA представляет собой определяемый VMware программный интерфейс для учета свойств систем хранения любых производителей.

API запрашивает основные сведения о компонентах системы хранения VNXe3200, что упрощает мониторинг и устранение неполадок посредством vSphere. С помощью VASA vSphere может отслеживать и создавать отчеты по политикам хранения, установленным пользователем. Кроме того, можно узнать о несоответствии возможностей хранилища данных настроенному профилю ВМ. Например, если хранилище данных оснащено возможностями автоматизированного многоуровневого хранения и «тонкого» выделения ресурсов, а профиль ВМ настроен на автоматическое многоуровневое хранение и «толстое»

выделение ресурсов, это хранилище данных будет рассматриваться как несоответствующее при использовании этого профиля ВМ. Наконец, VNXe3200 имеет собственные интерфейсы vCenter, поэтому VASA не нужно использовать отдельный подключаемый модуль для подключения к системе.

VMware Aware Integration (VAI) VAI — это механизм сквозного обнаружения среды VMware из системы VNXe3200. VNXe3200 использует VAI, чтобы выполнять импорт и просмотр VMware VirtualCenter, ESXi Server, виртуальных машин и дисков VMDisk Кроме того, хосты ESXi можно автоматически зарегистрировать после импортирования vCenter. Процесс опроса для импорта информации выполняется в фоновом режиме. Его можно выполнить для одного или всех хостов, чтобы получить обновленные сведения. Система VNXe3200 также может создавать и отслеживать хранилища данных VMware из Unisphere с помощью VAI.

Virtual Storage Integrator (VSI) VSI позволяет администраторам VMware выделять ресурсы и управлять определенными конфигурациями системы хранения VNXe3200.

Вебклиент vSphere EMC VSI for VMware может использоваться для указанных ниже действий:

создание хранилищ данных NFS, хранилищ данных VMFS и томов RDM;

просмотр свойств системы хранения.

Дополнительные сведения о VSI Storage Management можно найти в руководстве по продукту Веб-клиент vSphere EMC VSI for VMware на вебсайте онлайн-поддержки EMC.

Основные сведения о системе EMC VNXe3200 Подробный обзор Интерфейсы vStorage API для интеграции массивов (VAAI) VAAI улучшает использование ресурсов хоста ESXi поскольку выгружает задачи хранения данных в систему VNXe3200. С помощью VAAI задачи NFS и блочных систем хранения обрабатываются системой хранения данных, сокращая таким образом работу процессора хоста, памяти и сетевых ресурсов, необходимых для выполнения определенных операций в системе хранения. Например, операции, такие как выделение полных копий для виртуальных сред на основе шаблона ВМ, можно выполнять в то время, как хост ESXi направляет команды записи в целевую систему VNXe3200. Система хранения VNXe3200 обрабатывает эти запросы внутренне, выполняет операции записи на данном процессоре СХД и возвращает обновление на хост после выполнения запросов. Когда нагрузка переключается на систему хранения, воздействие на ресурсы хоста и внешние порты системы VNXe3200 значительно сокращается.

Перечисленные ниже задачи могут быть переданы в систему хранения VNXe3200.

NAS o Быстрое копирование o Снимок снимка o Расширенная статистика o Резервирование пространства Блок o Полная копия или аппаратное перемещение o Заполнение нулями с аппаратным ускорением или аппаратное обнуление o Atomic Test and Set (ATS) или аппаратное блокирование o «Тонкое» выделение ресурсов (Dead Space Reclamation) Основные сведения о системе EMC VNXe3200 Подробный обзор Удаленный мониторинг Персонал EMC или заказчики могут управлять состоянием системы VNXe3200 с помощью удаленной технической поддержки EMC Secure Remote Support и продуктов для отслеживания, например Unisphere Central. Другие продукты для отслеживания, которые поддерживают VNXe3200: EMC Storage Analytics (ESA), VNX Family Monitoring and Reporting (M&R) и EMC Storage Integrator (ESI). Они не рассматриваются в данном документе.

Служба EMC Secure Remote Support (ESRS) EMC Secure Remote Support (ESRS) обеспечивает авторизованному поставщику услуг EMC удаленный доступ к настроенной системе VNXe3200 через защищенный и зашифрованный канал. Благодаря этой функциональности техническая поддержка EMC решает проблемы быстрее. Для доступа извне в IP-сети управления VNXe3200 необходимо разрешить исходящий и входящий трафик HTTPS. Этот защищенный канал также можно использовать для передачи файлов в систему VNXe3200 или передачи файлов обратно в сеть EMC.

Unisphere Central Unisphere Central — это удобное сетевое приложение, с помощью которого администраторы могут управлять системами хранения данных CX4, VNX и VNXe из единого центра.

Unisphere Central позволяет пользователю выполнять перечисленные ниже действия.

Мониторинг до 1000 систем CX4, VNX и VNXe из единого интерфейса.

Просмотр объединенных сведений об оповещениях, состоянии, емкости и загрузке процессора нескольких систем.

Контроль доступа к интерфейсу мониторинга посредством настройки локальных удаленных пользователей Unisphere и интеграции существующих пользователей и групп LDAP.

Организация логических представлений узлов хранения, в том числе с сортировкой по местоположению, типу, отделу и пр.

Запуск Unisphere для отдельных систем VNXe из Unisphere Central.

В системе VNXe3200 доступна функциональность «единый вход» и «единый выход».

ПРИМЕЧАНИЕ. Unisphere Central активно не управляет системами в среде заказчика. Вместо этого она использует указанные возможности Unisphere путем привязки и запуска конкретной системы, которой необходимо управлять.

Среда Unisphere Central состоит из сервера Unisphere Central, который работает в виртуализированной среде VMware, одной или нескольких систем X4, VNX и VNXe, а также удаленной системы, обеспечивающей доступ к серверу Unisphere Central.

–  –  –

Основные сведения о системе EMC VNXe3200 Подробный обзор Экосистема поддержки VNXe3200 Системы хранения VNXe3200 могут устанавливать и обслуживать заказчики. Механизм оповещений Unisphere информирует пользователя в случае сбоя программного или аппаратного обеспечения системы VNXe3200. Для всех оповещений установлена соответствующая серьезность, а также подробное сообщение с описанием оповещения.

Оповещения также содержат ссылки на контекстно-зависимые статьи базы знаний, которые помогают устранять сбои. Например, при наличии неисправного диска в системе VNXe3200 отобразится оповещение с указанием на неисправный диск. Кроме того, предоставляются ссылки на документ в онлайн-справке и базе знаний, который содержит инструкции для заказа нового диска и замены неисправного диска в системе VNXe3200.

В окне Support в Unisphere содержатся ссылки на ресурсы, где можно получить сведения и помощь по работе с системой хранения VNXe3200.

Оно предоставляет следующие функции:

Обучающие видеозаписи — видео для получения сведений о системе хранения. Например, инструкции по замене сбойного компонента.

Онлайн-документация — актуальная документация по продуктам, доступная в режиме онлайн. Документация постоянно обновляется актуальной информацией.

Онлайн-обучение — видеозаписи, слайд-шоу и другие обучающие материалы, посвященные системам VNXe3200.

Поиск по поддержке EMC — поиск статей, белых книг и других сведений о распространенных проблемах, связанных с установкой, настройкой и эксплуатацией системы, и способах их устранения.

Сообщество — способ взаимодействия с другими заказчиками VNXe3200, а также для чтения, помощи или вопросов о системе хранения.

Онлайн-чат — быстрая связь и организация чата с персоналом службы поддержки, который может помочь пользователю в режиме реального времени. Обратите внимание, что этот параметр доступен только для систем VNXe3200, для которых заключен договор на обслуживание.

Центр обслуживания — место для доступа к информации об открытых сервисных заявках.

Страница поддержки продукта — способ доступа ко всем ресурсам, связанным с поддержкой, а также информации об обслуживании оборудования и этапах установки и лицензирования системы.

Компоненты для замены заказчиком — место, где можно заказать или вернуть компонент системы хранения.

Кроме того, большинство мастеров и экранов в Unisphere отображают значки справки, с помощью которых можно перейти на отдельные страницы в онлайн-справке Unisphere.

–  –  –

Основные сведения о системе EMC VNXe3200 Подробный обзор Заключение СХД VNXe3200 обеспечивает консолидированную платформу для выделения ресурсов, управления и мониторинга хранения данных для широкого спектра организаций и сетей. Поскольку эти СХД поддерживают доступ к хранилищам SAN (iSCSI и Fibre Channel) и NAS (сетевые системы хранения данных), они могут предоставлять ресурсы хранения клиентам и хостам под управлением различных операционных систем и с различными приложениями. VNXe3200 — по-настоящему унифицированная система хранения.

Поскольку ПО VNXe3200 автоматически применяет передовые практики при настройке ресурсов хранения, пользователю не требуются детальные сведения о технологиях хранения и функционировании приложений. Наряду с использованием мощных функций, таких как MCx и FAST VP, ИТспециалисты широкого профиля могут легко устанавливать, настраивать и обслуживать системы VNXe3200. В экосистеме поддержки VNXe3200 также доступно комплексное и простое для понимания руководство.

Говоря об оборудовании, пользователи могут начать с малой конфигурации на основе текущих требований и легко масштабировать систему по мере их изменения. Возможность без труда внедрить расширенную функциональность системы хранения с помощью мастеров приложений, таких как дедупликация и сжатие файлов, «тонкое» выделение ресурсов и унифицированные моментальные снимки в решении, которое также интегрируется с VMware vCenter, делая системы хранения VNXe3200 уникальными на рынке.

ИТ-службы могут значительно выиграть от использования VNXe3200, поскольку они помогают предприятиям обрабатывать экспоненциально растущие требования к емкости системы хранения, обеспечивая надежную производительность, доступность и поддержку.

Справочные материалы Указанные ниже документы можно найти в центре онлайн-поддержки EMC.

EMC Unisphere для VNXe3200: управление системой хранения следующего поколения Асинхронная репликация EMC VNXe3200 Метрики емкости и производительности EMC VNXe3200 Сжатие и дедупликация файлов EMC VNXe3200 Высокая доступность EMC VNXe3200 Файловая система следующего поколения EMC VNXe3200 Выделение ресурсов пулов EMC VNXe3200 Унифицированные моментальные снимки EMC VNXe3200 Знакомство с поддержкой EMC VNXe3200 SMB 3.0 Основные сведения о пакете EMC VNXe3200 FAST Suite Управление средой NAS с поддержкой защиты на уровне файлов с помощью набора инструментов EMC для долгосрочного хранения на уровне файлов

Похожие работы:

«Надежность и качество сложных систем. № 1, 2013 ТЕХНОЛОГИЧЕСКИЕ ОСНОВЫ ПОВЫШЕНИЯ НАДЕЖНОСТИ И КАЧЕСТВА ИЗДЕЛИЙ Бш елеваК.И.,УвайсовС.У. ум СИСТЕМА МОНИТОРИНГА ГАЗОТРАНСПОРТНЫХ ОБЪЕКТОВ УДК 629.05 СИСТЕМА МОНИТОРИНГА ГАЗОТРАНСПОРТНЫХ ОБЪЕКТОВ К. И. Бушмелева, С. У. Увайсов Как показывает практика, при добыче, транспортиров...»

«Производственные наносистемы Обзор технологических перспектив Спонсоры Все права защищены Авторские права © 2007 Battelle Memorial Institute и Foresight Nanotech Institute. Разрешено копировать и распространять настоящий документ на следующих условиях: документ не должен подвергаться...»

«Таблица 1. Совокупная прибыль банковской системы Период Совокупная прибыль, млн руб. 01.01.2003 92 953 01.01.2004 128 406 01.01.2005 177 943 01.01.2006 262 097 Кроме того, в случае наступления страхового случая и выплаты страхового возмещения права требования в...»

«А. А. Буракова УДК 811.521(07) + 371.26(07) + 371.315 Ведение дневника как метод развития письменных и устных навыков японской речи студентов первого курса Статья посвящена способу развития и совершенствования письменной и ус...»

«УТВЕРЖДЕН приказом Высшего Арбитражного Суда Российской Федерации от 12 января 2011 г. № 1 Временный порядок подачи документов в арбитражные суды Российской Федерации в электронном виде (в редакции изменений, внесенных приказом Высшего Арбитражного Суда Российской Федерации от 26 апреля 2011 г. № 42...»

«Соглашение о присоединении г. Москва Акционерное общество "Санофи Россия", зарегистрированное по адресу: Российская Федерация, 125009, г. Москва, ул. Тверская, д.22, ОГРН 1027739079940 (здесь и далее именуемое "Санофи") ПОСКОЛЬКУ Санофи запускае...»

«Редакция _ ДОГОВОР на обслуживание Клиента по системе АО "Алма Банк" дистанционного банковского обслуживания Лист 1 / 27 ДОГОВОР на обслуживание Клиента по системе дистанционного банковского обслуживания г. Москва 1. ПРЕДМЕТ ДОГОВОРА 1.1. Настоящий Договор действует совместно с заключенными между Клиентом и Банком Договорами банковского...»

«Реестр уведомлений, опубликованных Комитетом по Санитарным и фитосанитарным мерам ВТО с 1 марта по 31 марта 2013 № № уведомления Наименование документа п/п Дата Область распространения Страна Краткое содержание Срок комментариев С...»

«Руководство Пользователя ПП "1С-Отчетность" на примере 1С:Бухгалтерии версии 3.0 (интерфейс "Такси"). ЗАО "Калуга Астрал" г. Калуга, 2015 г. СОДЕРЖАНИЕ 1. ОБЩАЯ ИНФОРМАЦИЯ 1.1. О ПРОГРАММНОМ ПРОДУКТЕ 1.2. НЕОБХОДИМЫЕ УСЛОВИЯ ДЛЯ РАБОТЫ С ПП "1С-...»

«Приложение к свидетельству № 52823 Лист № 1 об утверждении типа средств измерений Всего листов 5 ОПИСАНИЕ ТИПА СРЕДСТВА ИЗМЕРЕНИЙ Система измерений количества и показателей качества нефти на ООО "Афипский НПЗ". СИКН 1016. Резервная схема учета Назначе...»

«ВЕСТНИК НАУЧНЫЙ ЖУРНАЛ Российского Основан в 1993 г. университета дружбы народов Серия ФИЛОСОФИЯ 2013, № 4 Серия издается с 1997 г. Российский университет дружбы народов С О Д Е Р ЖА Н ИЕ От редакции ОНТОЛОГИЯ И ФИЛОСОФСКИЕ ПРОБЛЕМЫ КОСМОЛОГИИ Павленко А.Н. Сосуществование Вселенной и человека: от...»

«ПРОТОКОЛ заседания межведомственной комиссии по вопросам демографии, семьи, женщин и детей 24 февраля 2016 года №1 Председательствующий: Тетянников Юрий Александрович первый заместитель Главы Омского муниципального района, председатель комис...»

«75_ 2487311 АРБИТРАЖНЫЙ СУД ГОРОДА МОСКВЫ 115191, г.Москва, ул. Большая Тульская, д. 17 http://www.msk.arbitr.ru Р ЕШЕНИЕ Именем Российской Федерации г. Москва Дело № А40-36369/11 75-147 15 сентябр...»

«Технологическая карта HEMPATHANE ENAMEL 55100 ОСНОВА 55109 и ОТВЕРДИТЕЛЬ 95370 Описание: HEMPATHANE ENAMEL 55100 – двухкомпонентное акрил-полиуретановое финишное покрытие, отверждаемое алифатическим изоцианатом, с отличным глянцем и цветостойкостью. Рекомендуемое В качестве...»

«Н.Н. Кириленко ДЕТЕКТИВ: ЛОГИКА И ИГРА1 6. Агата Кристи: все типы сыщиков и преступников В статье обосновывается положение, что помимо логического, рационального начала классическому детективу как жанру присущ игровой, творческий аспе...»

«OFFICEJET PRO X476 AND X576 MFP SERIES User Guide Series МФУ HP Officejet Pro X476 и X576 Руководство пользователя Авторские права и лицензия Информация о товарных знаках © 2012 Copyright Hewlett-Packard Adobe®, Acrobat® и PostScript® являются Development Company, L.P. зарегистрированн...»

«НАУЧНЫЕ ВЕДОМОСТИ Серия Естественные науки. 2012. № 3 (122). Выпуск 18 УДК 612.01–053.5 ДИНАМИКА УМСТВЕННОЙ РАБОТОСПОСОБНОСТИ УЧАЩИХСЯ 4–11 КЛАССОВ НА УРОКАХ В ТЕЧЕНИЕ УЧЕБНОГО ДНЯ И НЕДЕЛИ В статье представлены результаты исследования дневной и недельной...»

«УТВЕРЖДАЮ Генеральный директор ПОЛОЖЕНИЕ о порядке проведения инвентаризации имущества и обязательств Фонда капитального ремонта ОБЩИЕ ПОЛОЖЕНИЯ Настоящее положение устанавливает единый порядок проведения 1.1. инвентаризации имущества и обязательств Некоммерческой организации...»

«Верификация и валидация Термин верификация (verification) в русскоязычной литературе обычно переводят, как проверка. Термин валидация как проверка правильности, аттестация, утверждение. Согласно стандарту IЕЕЕ 1012-1986,...»

«Содержание образовательной программы № Наименование компонента Страница Описание образовательной программы I 3 Цели и задачи образовательной программы Общая характеристика образовательной программы Квалификационная характеристика Перспективы трудоустройства специ...»

«ОБЩЕСТВО С ОГРАНИЧЕННОЙ ОТВЕТСТВЕННОСТЬЮ G-Dynamic "ДЖИ ДИНАМИКА" Схема водоотведения муниципального образования поселок Тазовский на период с 2014 по 2024 гг. Санкт-Петербург Общество с ограниченной ответственностью "Джи Динамика" G-Dynamic 195009, Санкт-Петербург, ул. Ко...»

«Сообщение о существенном факте "О сведениях, оказывающих, по мнению эмитента, существенное влияние на стоимость его эмиссионных ценных бумаг"1. Общие сведения Общество с ограниченной ответственностью 1.1. Полное фирменное наименование эмитента "Балтийский лизинг"1.2. Сокращенное фирменное наименование...»

«ФЕДЕРАЛЬНЫЙ АРБИТРАЖНЫЙ СУД ДАЛЬНЕВОСТОЧНОГО ОКРУГА Именем Российской Федерации ПОСТАНОВЛЕНИЕ арбитражного суда кассационной инстанции от 17 мая 2006 года Дело N Ф03-А04/06-1/892 (извлечение) Резол...»










 
2017 www.lib.knigi-x.ru - «Бесплатная электронная библиотека - электронные материалы»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.