WWW.LIB.KNIGI-X.RU
БЕСПЛАТНАЯ  ИНТЕРНЕТ  БИБЛИОТЕКА - Электронные матриалы
 

«Red Hat Enterprise Linux 6 Администрирование виртуального сервера Комплект распределения нагрузки для Red Hat Enterprise Linux Редакция 6 ...»

Red Hat Enterprise Linux 6

Администрирование

виртуального сервера

Комплект распределения нагрузки для Red Hat Enterprise Linux

Редакция 6

Landmann

Red Hat Enterprise Linux 6 Администрирование виртуального сервера

Комплект распределения нагрузки для Red Hat Enterprise Linux

Редакция 6

Landmann

rlandmann@redhat.co m

Юрид ическое увед омление

Copyright © 2010 Red Hat, Inc.

T his document is licensed by Red Hat under the Creative Commons Attribution-ShareAlike 3.0 Unported

License. If you distribute this document, or a modified version of it, you must provide attribution to Red Hat, Inc. and provide a link to the original. If the document is modified, all Red Hat trademarks must be removed.

Red Hat, as the licensor of this document, waives the right to enforce, and agrees not to assert, Section 4d of CC-BY-SA to the fullest extent permitted by applicable law.

Red Hat, Red Hat Enterprise Linux, the Shadowman logo, JBoss, MetaMatrix, Fedora, the Infinity Logo, and RHCE are trademarks of Red Hat, Inc., registered in the United States and other countries.

Linux ® is the registered trademark of Linus T orvalds in the United States and other countries.

Java ® is a registered trademark of Oracle and/or its affiliates.

XFS ® is a trademark of Silicon Graphics International Corp. or its subsidiaries in the United States and/or other countries.

MySQL ® is a registered trademark of MySQL AB in the United States, the European Union and other countries.



Node.js ® is an official trademark of Joyent. Red Hat Software Collections is not formally related to or endorsed by the official Joyent Node.js open source or commercial project.

T he OpenStack ® Word Mark and OpenStack Logo are either registered trademarks/service marks or trademarks/service marks of the OpenStack Foundation, in the United States and other countries and are used with the OpenStack Foundation's permission. We are not affiliated with, endorsed or sponsored by the OpenStack Foundation, or the OpenStack community.

All other trademarks are the property of their respective owners.

Аннотац ия Комплект распред еления нагрузки пред оставляет высокод оступное и масштабируемое решение, пред лагающее специализированные метод ы распред еления нагрузки и маршрутизации, настраиваемые с помощью программы PIRANHA. В этом руковод стве обсужд ается настройка высокопроизвод ительных систем и служб в окружении Red Hat Enterprise Linux 6 с установленным комплектом распред еления нагрузки.

Сод ержание Содержание...... ение..................................................................................

–  –  –

Сод ержание Red Hat Enterprise Linux 6 Ад министрирование виртуаль ного сервера Введение Этот д окумент сод ержит информацию об установке, настройке и управлении компонентами распред еления нагрузки, использующими специализированные метод ы маршрутизации трафика межд у наборами серверов.

Материал ориентирован на опытных ад министраторов Red Hat Enterprise Linux, знакомых с концепциями кластеров, структурами хранения д анных и серверными вычислениями.

Сод ержание:

Глава 1, Обзор комплекта распределения нагрузки Глава 2, Первоначальная конфигурация Глава 3, Настройка комплекта распределения нагрузки Глава 4, Настройка распределения нагрузки с помощью Piranha Приложение A, Комплект распределения нагрузки и комплект высокой готовности

Информацию о Red Hat Enterprise Linux 6 можно найти в след ующих д окументах:

Руководство по установке Red Hat Enterprise Linux пред оставляет информацию об установке Red Hat Enterprise Linux 6.

Руководство по развертыванию Red Hat Enterprise Linux пред оставляет информацию по развертыванию, настройке и ад министрированию Red Hat Enterprise Linux 6.

Под робную информацию о компонентах распред еления нагрузки д ля Red Hat Enterprise Linux 6 можно найти в след ующих д окументах:

Обзор Red Hat Cluster Suite пред оставляет общую информацию о компонентах высокой готовности, распред еления нагрузки и отказоустойчивого хранения д анных.

Настройка и управление компонентами высокой готовности пред оставляет информацию о настройке и управлении кластерными возможностями Red Hat Enterprise Linux 6.

Администрирование LVM пред оставляет информацию о менед жере логических томов (LVM, Logical Volume Manager) и его выполнении в кластерном окружении.

GFS2. Конфигурация и администрирование пред оставляет информацию об установке, настройке и под д ержке Red Hat GFS2 (Red Hat Global File System 2).

DM Multipath пред оставляет информацию о многопутевых возможностях в Red Hat Enterprise Linux 6.

Примечания к выпуску сод ержат краткий обзор послед них выпусков Red Hat.

Весь д иапазон д окументов Red Hat д оступен в вид е HT ML, PDF и RPM на д иске д окументации Red Hat Enterprise Linux и по ад ресу http://www.redhat.com/docs/.

1. Соглашения документа В этом руковод стве используются различные стили д ля выд еления текста.

В PDF и печатной версии д окумента используются шрифты Liberation. Эти же шрифты используются д ля отображения HT ML, если они установлены в системе. В противном случае вместо них используются похожие шрифты. Red Hat Enterprise Linux 5 и более позд ние версии включают в свой состав комплект шрифтов Liberation по умолчанию.

1.1. Типографические соглашения

–  –  –

Д ля выд еления текста используются четыре стиля, которые буд ут перечислены д алее.

Монош иринный жирный ш риф т Используется д ля выд еления ввод имого текста, включая команд ы оболочки, имена файлов, пути д оступа, а также клавиши и их комбинации.

Например:

Чтобы просмотреть сод ержимое файла m y_next_bestselling_novel, расположенного в текущем каталоге, в строке приглашения оболочки введ ите cat m y_next_bestselling_novel и нажмите Enter д ля выполнения этой команд ы.

Привед енный выше текст сод ержит имя файла, команд у оболочки и название клавиши, выд еленные моноширинным жирным шрифтом. Все они различаются по контексту.

Комбинации клавиш отличаются от отд ельных клавиш с помощью знака плюс, который соед иняет все клавиши, вход ящие в комбинацию.

Например:

Нажмите Enter д ля исполнения команд ы.

Нажмите Ctrl+Alt+F2 д ля переход а в виртуальный терминал.

В первом примере выд елена отд ельная клавиша, которую над о нажать. Во втором примере выд елена комбинация клавиш — три клавиши, которые над о нажать од новременно.

Если при описании исход ных код ов программы внутри параграфа встречаются имена классов, метод ов, функций, переменных и возвращаемые ими значения, то они тоже выд еляются монош иринным жирным ш риф том.

Например:

В состав классов, имеющих отношение к обработке файлов, вход ят классы filesystem д ля работы с файловыми системами, file д ля работы с файлами, dir д ля работы с каталогами. Кажд ый класс имеет свой собственных набор прав д оступа.

Пропорц иональный жирный шрифт Выд еляет слова и фразы, встречающиеся в системе, такие как имена приложений, тексты д иалоговых окон, над писи на кнопках, метки флажков и переключателей, названия меню и д ругих элементов графического интерфейса.

Например:

Выберите Система Параметры Мышь д ля запуска приложения Настройка мыши. На вклад ке Кнопки установите флажок Настроить мыш ь под левую руку и нажмите Закрыть, чтобы правая кнопка мыши стала работать как главная (что д елает мышь уд обной д ля левши).

Чтобы вставить специальный символ в файл, отрытый в ред акторе gedit, выберите из главного меню Приложения Станд артные Т аблиц а символов. Затем в меню приложения Т аблиц а символов выберите Поиск Найти, введ ите название символа в поле Найти и нажмите кнопку Найти след ую щ ее. Найд енный символ буд ет выд елен на заклад ке Т аблица символов. Д важд ы щелкните на этом символе, чтобы вставить его в поле Т екст д ля копирования, после чего нажмите кнопку Копировать. Т еперь вернитесь в ваш д окумент и в меню ред актора gedit выберите Правка Вставить.

В привед енном выше тексте имена приложений, названия общесистемных пунктов меню и меню приложений, названия кнопок и текст, относящийся к элементам графического интерфейса, выд елены пропорциональным жирным шрифтом.





Red Hat Enterprise Linux 6 Ад министрирование виртуаль ного сервера Моноширинный жирный курсив или пропорциональный жирный курсив Оба типа выд еления указывают на изменчивость текста. Использование курсива означает, что текст не след ует ввод ить буквально, или что он может меняться при вывод е в зависимости от обстоятельств.

Например:

Д ля под ключения к уд аленной машине с помощью SSH введ ите ssh имя_пользователя@ имя_домена. Скажем, если имя уд аленной машины — exam ple.com, а имя пользователя — john, то команд а буд ет выгляд еть так: ssh john@ exam ple.com.

Команд а m ount -o rem ount файловая_система перемонтирует указанную файловую систему. Например, д ля файловой системы /hom e команд а буд ет выгляд еть так: m ount -o rem ount /hom e.

Чтобы просмотреть версию установленного пакета, выполните команд у rpm -q пакет. Результат команд ы буд ет пред ставлен в формате пакет-версия-выпуск.

Обратите внимание на слова, выд еленные жирным курсивом: имя_пользователя, имя_д омена, файловая_система, пакет, версия, выпуск. Кажд ое из них обозначает место, куд а нужно под ставить значение, или текст, под ставляемый системой при вывод е.

Т акже курсивом выд еляются важные термины, встречаемые в тексте д окумента впервые.

Например:

Publican — система публикации DocBook.

1.2. Выделение фрагментов Вывод на терминал и фрагменты исход ного код а программ визуально отд еляются от окружающего текста.

Д ля отображения текста, вывод имого на терминал, используется прямой монош иринный ш риф т:

–  –  –

static int kvm_vm_ioctl_deassign_device(struct kvm *kvm, struct kvm_assigned_pci_dev *assigned_dev) { int r = 0;

struct kvm_assigned_dev_kernel *match;

–  –  –

Примечания обычно сод ержат советы, описания приемов или альтернативных под ход ов к решению зад ач. Игнорирование примечаний не несет негативных послед ствий, но при этом можно не узнать о существовании какого-то способа, который существенно облегчает выполнение работы.

–  –  –

Важные замечания выд еляют то, что легко не заметить: изменения настроек, касающиеся только текущего сеанса, или перечень служб, которые над о перезапустить д ля применения обновлений. Игнорирование замечаний с пометкой «Важно» не привод ит к потере д анных, но может вызвать разд ражение и д осад у.

–  –  –

Не стоит игнорировать пред упрежд ения, так как они сод ержат важную информацию, которая позволит избежать потери д анных.

Red Hat Enterprise Linux 6 Ад министрирование виртуаль ного сервера

2. Отзывы и предложения Если вы обнаружили опечатку, или у вас есть пред ложения по усовершенствованию руковод ства, созд айте запрос в Bugzilla (http://bugzilla.redhat.com/) д ля компонента Documentation-cluster.

Укажите ид ентификатор руковод ства:

Virtual_Server_Administration(EN)-6 (2010-10-14T16:28) Ид ентификатор поможет точно опред елить версию руковод ства.

Если у вас есть пред ложения по улучшению этого руковод ства, постарайтесь под робно их описать. Если же вы нашли ошибку, укажите номер разд ела и окружающий текст д ля облегчения ее ид ентификации.

–  –  –

Глава 1. Обзор комплекта распределения нагрузки Этот комплект включает набор программ д ля распред еления нагрузки IP межд у серверами.

Он выполняется на паре аналогично настроенных компьютеров: од ин пред ставляет собой активный маршрутизатор LVS, второй является запасным маршрутизатором LVS.

Основные функции активного маршрутизатора LVS:

распред еление нагрузки межд у реальными серверами;

под д ержка работоспособности служб на кажд ом реальном сервере.

Резервный маршрутизатор LVS, в свою очеред ь, след ит за активным маршрутизатором и включается в работу в случае его сбоя.

Сод ержание главы:

Разд ел 1.1, «Основы настройки комплекта распред еления нагрузки»

Разд ел 1.2, «Т рехуровневая конфигурация»

Разд ел 1.3, «Обзор планирования распред еления нагрузки»

Разд ел 1.4, «Способы маршрутизации»

Разд ел 1.5, «Постоянство соед инения и метки межсетевого экрана»

Разд ел 1.6, «Блок-схема распред еления нагрузки»

1.1. Основы настройки комплекта распределения нагрузки Рисунок 1.1, «Основы настройки комплекта распред еления нагрузки» д емонстрирует простую д вухуровневую структуру распред еления нагрузки. На первом уровне расположены маршрутизаторы LVS (активный и запасной). Кажд ый маршрутизатор имеет д ва сетевых интерфейса — д ля Интернета и д ля частной сети, что позволяет регулировать трафик межд у сетями.

В привед енном примере активный маршрутизатор использует преобразование сетевых ад ресов NAT (Network Address Translation) д ля перенаправления пакетов из Интернета произвольному числу реальных серверов на втором уровне. Серверы под ключены к конкретному сегменту частной сети и перед ают общий трафик через активный маршрутизатор. Извне набор серверов пред ставляется как ед иное целое.

Red Hat Enterprise Linux 6 Ад министрирование виртуаль ного сервера Рисунок 1.1. Основы настройки комплекта распред еления нагрузки Поступающие на маршрутизатор LVS запросы обслуживания пред назначаются виртуальному IPадресу, который пред ставляет собой общед оступный ад рес, которому ад министратор назначает полностью квалифицированное имя д омена (например, www.example.com), и который соответствует од ному или нескольким виртуальным серверам. Под виртуальным сервером под разумевается служба, которая настроена на прослушивание конкретного виртуального IPад реса. Разд ел 4.6, «VIRT UAL SERVERS» сод ержит под робную информацию о настройке виртуального сервера с помощью Piranha. В случае сбоя од ного маршрутизатора виртуальный ад рес переназначается д ругому маршрутизатору, при этом сохраняя постоянство д оступа. Т акой ад рес также называют плавающим IP-адресом.

Виртуальные IP-ад реса могут быть сопоставлены интерфейсу, соед иняющему маршрутизатор LVS с Интернетом. Если д ля этого используется eth0, то виртуальные серверы могут быть обозначены как eth0:1. В противном случае кажд ый виртуальный сервер может соответствовать отд ельному устройству д ля зад анной службы. Например, пакеты HT T P могут обрабатываться на eth0:1, а FT P — на eth0:2.

В опред еленный момент времени может быть активен только од ин маршрутизатор LVS. Роль активного маршрутизатора состоит в перенаправлении запросов обслуживания с виртуальных IPад ресов реальным серверам. Перенаправление осуществляется на основе од ного из восьми алгоритмов распред еления нагрузки (см. Разд ел 1.3, «Обзор планирования распред еления нагрузки»).

Активный маршрутизатор отслеживает общее состояние служб на реальных серверах с помощью простых сценариев вопросов и ответов. Д ополнительно ад министратор может вызывать внешние программы д ля опред еления состояния служб, использующих д инамические д анные, таких как HT T PS или SSL. Если работа службы нарушена, активный маршрутизатор прекратит перед ачу запросов этому серверу д о тех пор, пока его работоспособность не буд ет восстановлена.

Резервный маршрутизатор наход ится в режиме ожид ания. Период ически маршрутизаторы

–  –  –

обмениваются тестовыми сообщениями через общий внешний интерфейс или внутренний интерфейс в случае сбоя. Если резервный узел не получил тестовое сообщение по истечении зад анного период а времени, он начнет выполнять роль активного маршрутизатора, забирая виртуальные ад реса, обслуживаемые неисправным маршрутизатором, используя алгоритм подмены ARP. При этом он объявляет себя получателем IP-пакетов, ад ресованных неисправному узлу. После восстановления работоспособности исход ного маршрутизатора резервный узел вернется в режим ожид ания.

Т акая д вухуровневая конфигурация (см. Рисунок 1.1, «Основы настройки комплекта распред еления нагрузки») является оптимальной д ля пред оставления статического сод ержимого, так как отд ельные серверы не выполняют автоматическую синхронизацию д анных межд у узлами.

1.1.1. Репликация данных и совместный доступ реальных серверов к данным Т ак как комплект распред еления нагрузки не включает встроенные компоненты д ля обеспечения совместного д оступа к д анным с различных серверов, ад министратору д оступно д ва варианта:

можно синхронизировать д анные в наборе серверов;

можно д обавить третий уровень в топологию д ля организации совместного д оступа.

Первый вариант пред почтителен д ля серверов, которые не д опускают изменение и обновление д анных большим числом пользователей. Если над о разрешить изменение д анных множеством пользователей (например, на сайтах электронной коммерции), второй вариант является пред почтительным.

1.1.1.1. Синхронизац ия реальных серверов Существует множество способов синхронизации д анных межд у серверами. Например, ад министратор может созд ать сценарии оболочки, чтобы при изменении страницы веб-мастером она автоматически копировалась на остальные серверы. С помощью программ напод обие rsync можно зад ать частоту синхронизации.

Од нако такой тип синхронизации не является оптимальным, особенно если пользователи постоянно загружают файлы или часто обращаются к базе д анных. При высокой степени нагрузки лучше использовать трехуровневую топологию.

1.2. Трехуровневая конфигурация Рисунок 1.2, «Т рехуровневая конфигурация» д емонстрирует типичную трехуровневую топологию, гд е активный маршрутизатор LVS перенаправляет запросы из Интернета набору реальных серверов, кажд ый из которых затем обращается к общим д анным по сети.

Red Hat Enterprise Linux 6 Ад министрирование виртуаль ного сервера Рисунок 1.2. Т рехуровневая конфигурац ия Т акая структура ид еально под ход ит д ля FT P-серверов с высокой нагрузкой; при этом д анные хранятся на централизованном сервере с высокой степенью готовности. Реальный сервер получает к ним д оступ через экспортируемый каталог NFS или общий каталог Samba. Эта топология также под ход ит д ля организации сайтов, которые обращаются к централизованной базе д анных. Более того, с помощью Red Hat Cluster Manager ад министраторы могут настроить высокод оступный кластер так, чтобы он выполнял обе эти роли од новременно.

Т ретий уровень в этом примере может и не использовать Red Hat Cluster Manager, но наличие высокод оступного решения позволит исключить риск появления уязвимости.

1.3. Обзор планирования распределения нагрузки Од ним из преимуществ комплекта является гибкость распред еления запросов межд у серверами на уровне IP, которая д остигается благод аря множеству алгоритмов планирования.

Использование комплекта распред еления нагрузки является более пред почтительным по сравнению с менее гибкими метод ами, такими как циклическое обслуживание DNS, так как иерархическая структура DNS и кэширование в системах клиентов могут нарушить баланс. Кроме того, низкоуровневое фильтрование, используемое маршрутизатором LVS, имеет свои преимущества по сравнению с перенаправлением запросов на уровне приложений, так как распред еление нагрузки на уровне пакетов не вызывает существенных вычислительных Глава 1. Обзор комплекта распред еления нагрузки изд ержек и д опускает масштабирование.

При распред елении запросов активный маршрутизатор принимает во внимание активность реальных серверов и д ополнительно зад анный ад министратором весовой коэффициент.

Значения веса позволяют присвоить машинам приоритет. Т аким образом, набор серверов может включать компьютеры с различными комбинациями аппаратного и программного обеспечения, в то же время под д ерживая их равномерную нагрузку.

Механизм планирования распред еления реализован с помощью набора мод улей IPVS (IP Virtual Server), которые позволяют осуществлять переключение транспортного уровня L4 (layer 4), что под ход ит при использовании од ного IP-ад реса несколькими серверами.

IPVS созд ает в яд ре системы таблицу IPVS д ля эффективного отслеживания и перенаправления пакетов реальным серверам. Эта таблица используется активным маршрутизатором LVS д ля перенаправления запросов с виртуального ад реса реальным серверам и обратно. Т аблица постоянно обновляется программой ipvsadm, которая д обавляет и исключает компоненты кластера исход я из их д оступности.

1.3.1. Алгоритмы распределения Структура таблицы IPVS зависит от выбранного алгоритма распред еления д ля зад анного виртуального сервера. Red Hat Enterprise Linux пред оставляет несколько алгоритмов (см.

Разд ел 4.6.

1, «Под секция VIRT UAL SERVER»).

Циклическое распределение Запросы послед овательно распред еляются межд у серверами в наборе. Все реальные серверы используются равноправно без учета их мощности и нагрузки. Т акая мод ель распред еления напоминает циклическое распред еление DNS, но отличие состоит в том, что она использует сетевое под ключение и позволяет избежать нарушения баланса, вызванного кэшированием запросов DNS.

Циклическое распределение с весовыми коэффициентами Распред еление запросов происход ит послед овательно, но серверы с большей пропускной способностью получают большее число зад ач. Пропускная способность опред еляется зад анным ад министратором весовым коэффициентом, который может корректироваться в зависимости от нагрузки (см. Разд ел 1.3.2, «Весовой коэффициент сервера и распред еление»).

Т акое распред еление рекоменд уется при сильных различиях мощности серверов в наборе. Но при значительном изменении числа запросов сервер с бльшим весом буд ет обрабатывать большее число запросов, чем было зад ано изначально.

Наименьшее число подключений Перед ача большего числа запросов серверам с наименьшим числом активных под ключений. Т ак как активные под ключения отслеживаются с помощью таблицы IPVS, этот алгоритм пред почтителен при резких изменениях нагрузки и особенно эффективен, если набор состоит из серверов с приблизительно од инаковой пропускной способностью.

Если серверы сильно отличаются, лучше использовать метод минимальных под ключений с весовым коэффициентом.

Наименьшее число подключений с весовым коэффициентом (по умолчанию) Перед ача большего числа запросов серверам с наименьшим числом под ключений и Red Hat Enterprise Linux 6 Ад министрирование виртуаль ного сервера большей пропускной способностью, опред еляемой зад анным пользователем коэффициентом, который корректируется д инамически в зависимости от нагрузки.

Использование коэффициента д елает этот алгоритм ид еальным выбором, если пул серверов сод ержит оборуд ование с различной пропускной способностью (см.

Разд ел 1.3.

2, «Весовой коэффициент сервера и распред еление»).

Наименьшее число подключений на основе размещения Перед ача большего числа запросов серверам с наименьшим числом под ключений и с учетом IP-ад реса получателя. Этот алгоритм используется в кластерах с кэширующим прокси-сервером и перед ает пакеты, пред назначенные зад анному IP-ад ресу, соответствующему серверу. Если сервер перегружен, ад рес буд ет закреплен за наименее загруженным сервером.

Наименьшее число подключений на основе размещения с репликацией Перед ача большего числа запросов серверам с наименьшим числом активных под ключений с учетом IP-ад реса получателя. Этот алгоритм используется в кластерах с кэширующим прокси-сервером и отличается от описанного выше алгоритма тем, что IPад рес получателя сопоставляется не од ному, а под множеству реальных серверов.

Запросы буд ут перед аваться серверу в под множестве с наименьшим числом под ключений. Если все узлы, обслуживающие этот IP-ад рес, перегружены, из общего пула в под множество буд ет д обавлен новый сервер с наименьшим числом под ключений. При этом максимально загруженный сервер буд ет исключен из группы.

Распределение по получателю Сервер д ля обработки запроса выбирается из статической таблицы по IP-ад ресу получателя. Этот алгоритм пред назначен д ля использования в кластерах с кэширующим прокси-сервером.

Распределение по отправителю Сервер д ля обработки запроса выбирается из статической таблицы по IP-ад ресу отправителя. Этот алгоритм пред назначен д ля маршрутизаторов LVS с несколькими межсетевыми экранами.

1.3.2. Весовой коэффициент сервера и распределение Кажд ому серверу в наборе может быть назначен весовой коэффициент. Вес сервера опред еляется целым числом, которое принимается во внимание алгоритмами распред еления и используется д ля эффективного распред еления нагрузки маршрутизатором LVS.

Весовой коэффициент характеризует приоритет сервера по отношению к д ругим. Например, если од ин сервер имеет вес 1, а д ругой — 5, то сервер с весом 5 получит 5 соед инений на кажд ое соед инение, полученное сервером с весом 1. По умолчанию коэффициент равен 1.

Хотя сопоставление коэффициента разным конфигурациям оборуд ования в наборе серверов способствует эффективному распред елению нагрузки, при д обавлении в набор нового сервера это может временно нарушить баланс системы. Пред ставим, к примеру, набор из трех серверов.

Серверам A и B назначен коэффициент 1, а серверу C — 2. Если сервер C по какой-то причине отключается, нагрузка буд ет равномерно распред елена межд у серверами A и B. Но при возобновлении работы C маршрутизатор LVS обнаружит нулевое число под ключений к этому серверу и буд ет перед авать ему все поступающие запросы д о тех пор, пока уровень его

–  –  –

нагрузки не уравняется с нагрузкой серверов A и B.

Чтобы это пред отвратить, ад министратор может заморозить виртуальный сервер: при кажд ом включении нового реального сервера таблица соед инений буд ет очищена, а маршрутизатор LVS буд ет распред елять запросы так, как буд то все реальные серверы были д обавлены в кластер заново.

1.4. Способы маршрутизации Комплект распред еления нагрузки в Red Hat Enterprise Linux использует преобразование сетевых ад ресов (NAT, Network Address Translation), что обеспечивает высокую гибкость при использовании д оступного оборуд ования и интеграции комплекта в существующую сеть.

1.4.1. Маршрутизация NAT Рисунок 1.3, «Распред еление с маршрутизацией NAT » д емонстрирует распред еление запросов межд у Интернетом и частной сетью с помощью маршрутизации NAT.

Рисунок 1.3.

Распред еление с маршрутизац ией NAT Зд есь активный маршрутизатор оборуд ован д вумя сетевыми картами. Т ак, пред назначенная д ля соед инения с Интернетом сетевая карта имеет реальный IP-адрес на eth0 и плавающий IPад рес на eth0:1. Вторая карта, под ключенная к частной сети, имеет реальный IP-ад рес на eth1 и плавающий на eth1:1. В случае сбоя резервный маршрутизатор возьмет контроль над виртуальными интерфейсами, отвечающими за под ключение к Интернету и частной сети.

Реальные серверы, расположенные в частной сети, по умолчанию используют плавающий IPад рес NAT -маршрутизатора д ля соед инения с активным маршрутизатором LVS, что позволяет обеспечить бесперебойное обслуживание поступающих из Интернета запросов.

В этом примере частный плавающий ад рес NAT и внешний плавающий IP-ад рес маршрутизатора LVS сопоставлены д вум физическим интерфейсам. Несмотря на возможность сопоставления плавающего ад реса отд ельному физическому устройству на маршрутизаторе LVS, наличие Red Hat Enterprise Linux 6 Ад министрирование виртуаль ного сервера более д вух сетевых плат не является обязательным.

В такой структуре активный маршрутизатор перенаправляет полученный запрос под ход ящему серверу. Сервер его обрабатывает и возвращает пакеты маршрутизатору, который осуществляет NAT -преобразование д ля замены ад реса реального сервера в пакетах внешним виртуальным ад ресом маршрутизатора LVS. Этот процесс носит название маскирование IP, так как д ействительные ад реса серверов скрыты от клиентов.

В качестве реальных серверов могут выступать любые типы компьютеров с любыми операционными системами. Но в больших наборах серверов нед остатком является то, что маршрутизатор LVS может стать уязвимым местом, так как он д олжен обрабатывать и вход ящие, и исход ящие запросы.

1.4.2. Прямая маршрутизация Прямая маршрутизация обеспечивает более высокую производ ительность по сравнению с д ругими сетевыми топологиями распред еления нагрузки и позволяет реальным серверам обрабатывать и перенаправлять пакеты запрашивающему их пользователю напрямую вместо прохожд ения через маршрутизатор LVS. Это уменьшает риск снижения производ ительности, так как маршрутизатор буд ет обрабатывать только вход ящие пакеты.

Рисунок 1.4. Прямая маршрутизац ия

Т ипичная схема с прямой маршрутизацией включает маршрутизатор LVS, который получает запросы на виртуальный IP-ад рес и перед ает их реальным серверам на основе алгоритма распред еления. Реальный сервер, в свою очеред ь, обрабатывает запрос и отправляет ответ клиенту напрямую, в обход маршрутизатора LVS. Т акой метод маршрутизации обеспечивает

–  –  –

масштабируемость в том смысле, что реальные серверы могут быть включены в набор без увеличения нагрузки на маршрутизатор LVS при перед аче исход ящих пакетов от реального сервера клиенту, что могло бы стать слабым местом при высокой нагрузке.

1.4.2.1. Прямая маршрутизац ия и ограничения ARP Несмотря на очевид ные д остоинства прямой маршрутизации, она не лишена нед остатков.

Основные проблемы возникают при использовании прямой маршрутизации с протоколом ARP (Address Resolution Protocol).

В станд артной ситуации клиент отправляет запрос из Интернета на IP-ад рес. Маршрутизаторы перед ают запросы получателю, сопоставляя IP-ад рес MAC-ад ресу компьютера с помощью ARP.

Запросы ARP отправляются всем компьютерам в этой сети. Компьютер с под ход ящей комбинацией IP и MAC-ад реса получит пакет. Соответствия IP и MAC хранятся в кэше ARP, который период ически очищается (обычно кажд ые 15 минут) и заполняется заново.

Т руд ность состоит в том, что так как запросы, пред назначенные IP-ад ресу, д олжны быть сопоставлены MAC-ад ресу, то и виртуальный IP-ад рес д олжен быть сопоставлен MAC-ад ресу. Но так как маршрутизатору LVS и реальным серверам соответствует од ин и тот же виртуальный ад рес, запрос ARP буд ет перед ан всем компьютерам с этим ад ресом. Это может привести к проблемам, главная из которых заключается в том, что виртуальный IP может быть напрямую сопоставлен реальному серверу, который буд ет обрабатывать все запросы в обход маршрутизатора LVS, что лишает смысла весь процесс распред еления нагрузки.

Чтобы этого не случилось, над о обеспечить перед ачу поступающих запросов именно маршрутизатору, а не серверу напрямую. Д ля этой цели под ход ят arptables_jf или

iptables:

arptables_jf не разрешает ARP сопоставлять виртуальные ад реса реальным серверам;

iptables позволяет полностью избежать проблемы ARP, изначально не настраивая виртуальные ад реса д ля серверов.

Разд ел 3.2.

1, «Прямая маршрутизация и arptables_jf» и Разд ел 3.2.2, «Прямая маршрутизация и iptables» сод ержат под робную информацию о arptables и iptables.

1.5. Постоянство соединения и метки межсетевого экрана В опред еленных ситуациях требуется, чтобы клиент мог повторно под ключаться к конкретному реальному серверу вместо перенаправления запросов алгоритмами распред еления д оступным серверам. Это может быть необход имо при обработке многостраничных веб-форм, cookieфайлов, соед инений SSL и FT P. В этих случаях функциональность клиента может пострад ать, если его запросы не обрабатываются од ним сервером. LVS пред оставляет д ва способа решения этой проблемы — постоянство соединения и метки межсетевого экрана.

1.5.1. Постоянство соединения Постоянство д ействует как своего род а таймер. Свед ения о послед нем под ключении клиента к службе буд ут храниться на протяжении зад анного период а времени. Если тот же IP-ад рес под ключается повторно в течение этого времени, запросы буд ут автоматически перенаправлены серверу, к которому клиент под ключался ранее, в обход механизмов распред еления нагрузки.

Если соед инение устанавливается по истечении зад анного интервала, оно обрабатывается в соответствии с общими правилами распред еления нагрузки.

Постоянство позволяет зад ать маску под сети д ля применения к IP-ад ресу клиента, управляя степенью постоянства соед инений и группируя соед инения д ля этой под сети.

Red Hat Enterprise Linux 6 Ад министрирование виртуаль ного сервера Объед инение соед инений, пред назначенным разным портам, особенно важно д ля протоколов, использующих несколько портов (например, FT P). Но постоянство не является оптимальным решением в этой ситуации — д ля этого больше под ойд ут метки межсетевого экрана.

1.5.2. Метки межсетевого экрана Метки межсетевого экрана пред оставляют простой и эффективный способ объед инения портов, используемых од ним или группой од нород ных протоколов. Например, д ля сайта электронной коммерции с помощью меток можно привязать соед инения HT T P к порту 80, а HT T PS — к порту

443. Назначение од ной и той же метки кажд ому протоколу виртуального сервера позволяет сохранить информацию о состоянии транзакций, так как после установки соед инения маршрутизатор LVS буд ет перед авать все запросы од ному реальному серверу.

В силу простоты и эффективности этого решения рекоменд уется его использовать вместо постоянства соед инений. Т ем не менее, постоянство может применяться од новременно с метками д ля повторного под ключения клиентов к од ному и тому же серверу в течение опред еленного период а времени.

1.6. Блок-схема распределения нагрузки Маршрутизаторы LVS используют набор программ д ля наблюд ения за узлами и службами кластера (см. Рисунок 1.5, «Компоненты комплекта распред еления нагрузки»).

Рисунок 1.5.

Компоненты комплекта распред еления нагрузки Процесс pulse выполняется на обоих маршрутизаторах. На резервном маршрутизаторе pulse отправляет период ические запросы внешнему интерфейсу активного маршрутизатора д ля под твержд ения его нормального функционирования. На активном маршрутизаторе pulse запускает lvs и отвечает на период ические запросы резервного маршрутизатора LVS.

lvs вызывает ipvsadm д ля настройки и под д ержки таблицы маршрутизации IPVS и запускает

–  –  –

nanny на кажд ом реальном сервере д ля кажд ого виртуального сервера. Процесс nanny проверяет состояние настроенной службы на реальном сервере и сообщает lvs о нарушениях ее работы, вслед ствие чего lvs заставит ipvsadm уд алить сервер из таблицы IPVS.

Если резервный маршрутизатор не получил ответ от активного маршрутизатора, буд ет инициирована процед ура его замены посред ством вызова send_arp д ля переназначения всех виртуальных IP-ад ресов аппаратным ад ресам (MAC-ад ресам) сетевых карт резервного узла.

Активному маршрутизатору буд ет отправлена команд а остановки lvs через внешний и внутренний интерфейсы, а на резервном узле буд ет запущен процесс lvs д ля обработки запросов, пред назначенных виртуальным серверам.

1.6.1. Компоненты комплекта распределения нагрузки Д алее след ует под робный список программ.

1.6.1.1. pulse Управляющий процесс, который запускает остальные службы маршрутизаторов LVS. При загрузке системы он вызывается сценарием /etc/rc.d/init.d/pulse и получает настройки из файла /etc/sysconfig/ha/lvs.cf. На активном маршрутизаторе pulse запустит процесс LVS, а на резервном маршрутизаторе буд ет отслеживать состояние активного, период ически опрашивая его. Если активный маршрутизатор не отвечает в течение зад анного период а времени, буд ет инициирован процесс перед ачи его функций резервному узлу. При этом pulse на резервном маршрутизаторе отправляет процессу pulse на активном маршрутизаторе команд у остановки всех служб LVS, запускает send_arp д ля присвоения плавающих IP-ад ресов MAC-ад ресу резервного маршрутизатора и, наконец, запускает процесс lvs.

1.6.1.2. lvs Процесс lvs запускается на активном маршрутизаторе LVS по вызову pulse. Он осуществляет чтение файла конфигурации /etc/sysconfig/ha/lvs.cf, вызывает службу ipvsadm д ля созд ания и под д ержки таблицы маршрутизации IPVS и запускает процесс nanny д ля кажд ой настроенной службы комплекта распред еления нагрузки. Если nanny сообщает о том, что реальный сервер отключен, lvs заставит утилиту ipvsadm уд алить этот сервер из таблицы IPVS.

1.6.1.3. ipvsadm Эта служба обновляет таблицу маршрутизации IPVS в яд ре. Процесс lvs вызывает ipvsadm д ля д обавления, изменения и уд аления записей в таблице маршрутизации IPVS.

1.6.1.4. nanny Основным назначением процесса nanny, работающего на активном маршрутизаторе LVS, является наблюд ение за состоянием реальных серверов и их нагрузкой. За состоянием кажд ой службы на кажд ом сервере след ит отд ельный процесс.

1.6.1.5. /etc/sysconfig/ha/lvs.cf Файл конфигурации. Все процессы получают свои настройки из этого файла напрямую или косвенно.

1.6.1.6. Piranha Веб-интерфейс д ля отслеживания, настройки и ад министрирования комплекта распред еления нагрузки. Используется по умолчанию д ля изменения файла конфигурации /etc/sysconfig/ha/lvs.cf.

Red Hat Enterprise Linux 6 Ад министрирование виртуаль ного сервера 1.6.1.7. send_arp Рассылает широковещательные пакеты ARP при переход е плавающего IP-ад реса от од ного узла д ругому.

Глава 2, Первоначальная конфигурация рассматривает д ействия по настройке после установки системы, которые след ует выполнить, прежд е чем приступить к настройке Red Hat Enterprise Linux в качестве маршрутизатора LVS.

–  –  –

Глава 2. Первоначальная конфигурация После завершения установки Red Hat Enterprise Linux над о настроить маршрутизаторы LVS и реальные серверы.

В этой главе рассказано, как это сд елать.

–  –  –

Маршрутизатор LVS, который буд ет играть роль активного, называется основным узлом.

Д ля настройки комплекта распред еления нагрузки на основном узле используется программа Piranha.

2.1. Настройка служб на маршрутизаторах LVS Программа установки Red Hat Enterprise Linux установит необход имые д ля настройки кластера компоненты, но тем не менее, соответствующие службы д олжны быть активированы д о начала настройки. Д ля обоих маршрутизаторов LVS настройте запуск необход имых служб при загрузке:

это можно сд елать с помощью chkconfig, ntsysv или графического интерфейса настройки служб. Д ля д оступа ко всем трем инструментам необход имы права root.

–  –  –

При загрузке системы над о запустить след ующие службы на маршрутизаторах LVS:

piranha-gui (только на основном узле);

pulse;

sshd.

В случае использования многопортовых служб или меток межсетевого экрана также потребуется включить службу iptables.

Рекоменд уется запускать службы на уровнях выполнения 3 и 5.

Д ля этого можно использовать команд у chkconfig д ля кажд ой службы:

/sbin/chkconfig --level 35 служба on Замените слово служба именем активируемой службы. След ующая команд а покажет список служб и соответствующий им уровень выполнения:

/sbin/chkconfig --list Red Hat Enterprise Linux 6 Ад министрирование виртуаль ного сервера

–  –  –

Активация служб с помощью chkconfig не привод ит к их автоматическому запуску. Д ля этой цели под ойд ет /sbin/service (см. Разд ел 2.3, «Запуск Piranha»).

Глава «Управление доступом к службам» в руководстве по системному администрированию Red Hat Enterprise Linux сод ержит под робную информацию об уровнях выполнения и настройке служб с помощью ntsysv и специальной программы настройки служб.

2.2. Установка пароля для Piranha Перед первым запуском программы Piranha на основном маршрутизаторе LVS необход имо созд ать пароль. Д ля этого в режиме root выполните команд у /usr/sbin/piranha-passwd В ответ на запрос введ ите пароль.

–  –  –

Не используйте пароль, сод ержащий обычные существительные, известные аббревиатуры или иностранные слова. Не храните его в открытом вид е в файле в этой же системе.

Если пароль был изменен во время активного сеанса Piranha, буд ет пред ложено ввести новый пароль.

2.3. Запуск Piranha После установки пароля д ля Piranha запустите piranha-gui (/etc/rc.d/init.d/piranhagui). Д ля этого от лица root выполните команд у /sbin/service piranha-gui start или /sbin/service piranha-gui restart Эта команд а начнет закрытый сеанс Apache, вызвав символьную ссылку /usr/sbin/piranha_gui - /usr/sbin/httpd. Из соображений безопасности версия piranha-gui процесса httpd выполняется как отд ельный процесс пользователя piranha.

Использование службы httpd программой piranha-gui под разумевает след ующее:

1. В системе д олжен быть установлен HT T P-сервер Apache.

2. Остановка и перезапуск Apache с помощью команд ы service остановит piranha-gui.

–  –  –

Если команд а /sbin/service httpd stop или /sbin/service httpd restart выполнена на маршрутизаторе LVS, потребуется также запустить piranha-gui, выполнив /sbin/service piranha-gui start Чтобы приступить к настройке комплекта распред еления нагрузки д остаточно службы piranhagui. Но при уд аленной конфигурации д ополнительно понад обится sshd. Не след ует запускать pulse д о завершения настройки в Piranha. Разд ел 4.8, «Запуск комплекта распред еления нагрузки» сод ержит информацию о pulse.

2.3.1. Выбор порта для Piranha Piranha по умолчанию работает с портом 3636. Это можно изменить, откорректировав строку Listen 3636 во второй секции файла /etc/sysconfig/ha/conf/httpd.conf.

Д ля работы с Piranha необход им как минимум текстовый веб-браузер. Открыв его на основном маршрутизаторе LVS, введ ите ад рес http://localhost:3636. К Piranha можно обращаться и уд аленно, заменив localhost именем узла или IP-ад ресом основного маршрутизатора LVS в строке ад реса.

Открыв Piranha, необход имо авторизоваться д ля получения д оступа к службам настройки. В поле имени пользователя введ ите piranha, в поле пароля укажите пароль, зад анный с помощью piranha-passwd.

Т еперь, когд а Piranha успешно выполняется, можно ограничить к ней д оступ по сети. Д алее рассматриваются метод ы ограничения д оступа.

2.4. Ограничение доступа к Piranha Piranha запрашивает имя пользователя и пароль. Но так как д анные перед аются в открытом вид е, настоятельно рекоменд уется разрешить д оступ только д оверенным сетям или локальной машине.

Простейшим метод ом ограничения д оступа является настройка встроенных механизмов управления д оступом Apache в файле /etc/sysconfig/ha/web/secure/.htaccess.

Перезапускать piranha-gui после этого не требуется, так как сервер проверяет файл.htaccess при кажд ом обращении к каталогу.

По умолчанию д оступ к сод ержимому каталога открыт всем пользователям:

Order deny,allow Allow from all Чтобы разрешить д оступ к Piranha только с localhost, измените.htaccess так, чтобы д оступ разрешался только с петлевого устройства 127.0.0.1. Глава «Сетевые сценарии» в справочном руководстве Red Hat Enterprise Linux сод ержит под робную информацию.

Order deny,allow Deny from all Allow from 127.0.0.1 Red Hat Enterprise Linux 6 Ад министрирование виртуаль ного сервера

Т акже можно указать конкретные узлы и под сети:

Order deny,allow Deny from all Allow from 192.168.1.100 Allow from 172.16.57 В этом примере д оступ к Piranha разрешен только с ад реса 192.168.1.100 и из сети 172.16.57/24.

–  –  –

Изменения в файле.htaccess позволяют ограничить д оступ к страницам конфигурации в каталоге /etc/sysconfig/ha/web/secure/, но не к страницам авторизации и помощи в /etc/sysconfig/ha/web/. Чтобы ограничить д оступ к этому каталогу, созд айте файл.htaccess в /etc/sysconfig/ha/web/ с такими же строками order, allow и deny как и в /etc/sysconfig/ha/web/secure/.htaccess.

2.5. Активация маршрутизации пакетов Чтобы маршрутизатор LVS мог корректно перенаправлять пакеты реальным серверам, на кажд ом маршрутизаторе д олжно быть включено перенаправление IP на уровне яд ра. Авторизуйтесь как root и в файле /etc/sysctl.conf измените строку net.ipv4.ip_forward = 0 след ующим образом:

net.ipv4.ip_forward = 1 Изменения вступят в силу после перезагрузки.

Чтобы проверить, включено ли перенаправление IP, выполните команд у /sbin/sysctl net.ipv4.ip_forward Если команд а возвращает 1, это значит, что перенаправление IP включено. Если же в результате получен 0, то д ля включения перенаправления выполните /sbin/sysctl -w net.ipv4.ip_forward=1

2.6. Настройка служб на сервере Если реальные серверы работают под управлением Red Hat Enterprise Linux, можно настроить запуск требуемых служб (таких как httpd и xinetd) во время загрузки.

Д ля уд аленного д оступа к реальным серверам необход имо, чтобы выполнялся процесс sshd.

–  –  –

Глава 3. Настройка комплекта распределения нагрузки Комплект включает д ве группы компонентов: маршрутизаторы LVS и реальные серверы.

Кажд ая группа д олжна состоять как минимум из д вух систем с целью исключения уязвимого звена.

Группа маршрутизаторов LVS д олжна состоять из д вух ид ентичных систем Red Hat Enterprise Linux: од на буд ет выполнять роль активного маршрутизатора LVS, в то время как д ругая буд ет наход иться в состоянии готовности.

Прежд е чем приступить к выбору и настройке оборуд ования д ля группы реальных серверов, необход имо выбрать од ну из трех рассмотренных зд есь топологий распред еления нагрузки.

3.1. Маршрутизация NAT Т опология NAT пред оставляет широкие возможности д ля оптимизации использования существующего оборуд ования, но при больших нагрузках теряет эффективность, так как вход ящие и исход ящие пакеты д олжны обрабатываться маршрутизатором.

Структура сети Т опологию с маршрутизацией NAT проще всего организовать на уровне локальной сети, так как в этом случае необход има только од на точка д оступа к внешней сети. Серверы расположены в собственной закрытой сети и перед ают пакеты через маршрутизатор LVS.

Оборуд ование Т опология NAT обеспечивает максимальную гибкость при выборе оборуд ования, так как нет необход имости в использовании систем Linux в качестве реальных серверов. При этом кажд ому серверу нужна всего од на сетевая карта, так как он буд ет отвечать только на запросы маршрутизатора LVS. Маршрутизаторам, в свою очеред ь, нужны д ве сетевые карты — д ля обмена пакетами межд у д вумя сетями. Поскольку маршрутизатор LVS является уязвимым местом в такой топологии, д ля увеличения пропускной способности можно его оборуд овать ад аптерами гигабитного Ethernet. При этом все коммутаторы, соед иняющие маршрутизаторы с реальными серверами, д олжны иметь как минимум д ва порта гигабитного Ethernet д ля оптимальной работы при высоких нагрузках.

Программное обеспечение Т ак как в схеме с NAT д ля некоторых конфигураций потребуется настроить iptables, прид ется опред елить настройки не только в Piranha, но и за ее пред елами. Т ак, например, службы FT P и использование меток межсетевых экранов д ля правильной маршрутизации требуют д ополнительно вручную настроить маршрутизаторы LVS.

3.1.1. Настройка сетевых интерфейсов Сначала необход имо настроить сетевые интерфейсы на маршрутизаторах LVS д ля внешней и внутренней сети. В этом примере внешние интерфейсы маршрутизатора LVS (eth0) наход ятся в сети 192.168.26/24 (хоть это и не маршрутизируемый IP, попробуем пред ставить, что маршрутизатор наход ится за межсетевым экраном), а связанные с реальными серверами частные интерфейсы (eth1) наход ятся в сети 10.11.12/24.

На активном — или основном — маршрутизаторе LVS сценарий настройки внешнего интерфейса /etc/sysconfig/network-scripts/ifcfg-eth0 буд ет выгляд еть примерно так:

Red Hat Enterprise Linux 6 Ад министрирование виртуаль ного сервера DEVICE=eth0 BOOTPROTO=static ONBOOT=yes IPADDR=192.168.26.9 NETMASK=255.255.255.0 GATEWAY=192.168.26.254 /etc/sysconfig/network-scripts/ifcfg-eth1 д ля внутреннего интерфейса NAT на маршрутизаторе LVS буд ет выгляд еть так:

DEVICE=eth1 BOOTPROTO=static ONBOOT=yes IPADDR=10.11.12.9 NETMASK=255.255.255.0 В этом примере виртуальный ад рес внешнего интерфейса маршрутизатора — 192.168.26.10, а виртуальный ад рес NAT -интерфейса — 10.11.12.10. Важно, чтобы реальные серверы направляли ответы на запросы на виртуальный ад рес интерфейса NAT.

–  –  –

В привед енном примере используются настройки интерфейса Ethernet д ля реальных, а не плавающих IP-ад ресов маршрутизатора LVS. Настроить внешние и внутренние плавающие ад реса можно с помощью Piranha (см. Разд ел 4.4, «GLOBAL SET T INGS» и Разд ел 4.6.1, «Под секция VIRT UAL SERVER»).

После настройки сетевых интерфейсов основного маршрутизатора LVS настройте реальные сетевые интерфейсы резервного маршрутизатора. При этом убед итесь в отсутствии конфликтов с д ругими IP-ад ресами сети.

–  –  –

Убед итесь, что кажд ый интерфейс на резервном узле обслуживает ту же сеть, что и интерфейс основного узла. Например, если eth0 на основном узле под ключен к внешней сети, то eth0 на резервном узле также д олжен быть под ключен к внешней сети.

3.1.2. Маршрутизация на реальных серверах При настройке сетевых интерфейсов реальных серверов в структуре с NAT важно настроить шлюз д ля плавающего ад реса маршрутизатора LVS. В привед енном примере плавающий ад рес — 10.11.12.10.

–  –  –

После активации сетевых интерфейсов на реальных серверах они не смогут отправлять запросы ping и обращаться к внешней сети. Это нормальное явление. Т ем не менее можно отправить ping на IP-ад рес внутреннего интерфейса маршрутизатора LVS (в д анном примере — 10.11.12.8).

–  –  –

Файл /etc/sysconfig/network-scripts/ifcfg-eth0 на реальном сервере буд ет выгляд еть примерно так:

DEVICE=eth0 ONBOOT=yes BOOTPROTO=static IPADDR=10.11.12.1 NETMASK=255.255.255.0 GATEWAY=10.11.12.10

–  –  –

Если на реальном сервере в настройках нескольких интерфейсов присутствует строка GAT EWAY=, к шлюзу сможет обращаться только первый запущенный интерфейс. Т ак, если настроен и eth0, и eth1, а комплект распред еления нагрузки использует eth1, реальные серверы не смогут правильно распред елять пакеты.

Рекоменд уется отключить лишние интерфейсы, д обавив выражение ONBOOT =no в их сетевые сценарии в каталоге /etc/sysconfig/network-scripts/, или убед иться, что шлюз настроен верно д ля первого запускаемого интерфейса.

3.1.3. Активация маршрутизации NAT на маршрутизаторах LVS В простой структуре распред еления нагрузки с маршрутизацией NAT, гд е кажд ая служба в кластере использует только од ин порт (например, 80 д ля HT T P), ад министратору над о только включить перенаправление пакетов на маршрутизаторах LVS, чтобы запросы корректно перед авались межд у внешней сетью и реальными серверами.

Разд ел 2.5, «Активация маршрутизации пакетов» сод ержит инструкции по активации перенаправления пакетов. Если службы в кластере используют больше од ного порта д ля соед инения с од ним сервером, может потребоваться д ополнительная настройка (см. Разд ел 3.4, «Службы, использующие несколько портов»).

После активации перенаправления на маршрутизаторах и настройки реальных серверов и служб можно приступить к настройке распред еления нагрузки (см. Глава 4, Настройка распределения нагрузки с помощью Piranha).

–  –  –

Не настраивайте плавающие IP-ад реса д ля eth0:1 и eth1:1 вручную в сетевых сценариях или с помощью программы настройки сети. Д ля этих целей рекоменд уется использовать Piranha (см. Разд ел 4.4, «GLOBAL SET T INGS» и Разд ел 4.6.1, «Под секция VIRT UAL SERVER»).

Завершив, запустите pulse (см. Разд ел 4.8, «Запуск комплекта распред еления нагрузки»), после чего активный маршрутизатор начнет перенаправление запросов набору реальных серверов.

3.2. Прямая маршрутизация Как уже упоминалось (см. Разд ел 1.4.2, «Прямая маршрутизация»), прямая маршрутизация позволяет реальным серверам обрабатывать и перенаправлять пакеты запрашивающему их пользователю напрямую вместо их перед ачи через маршрутизатор LVS. При этом необход имо, Red Hat Enterprise Linux 6 Ад министрирование виртуаль ного сервера чтобы серверы были физически под ключены к сетевому сегменту с маршрутизатором и могли обрабатывать и маршрутизировать исход ящие пакеты.

Структура сети В схеме распред еления нагрузки с прямой маршрутизацией маршрутизатор LVS д олжен получать поступающие запросы и перенаправлять их реальному серверу. В свою очеред ь, реальный сервер д олжен напрямую перед ать ответ клиенту. Если клиент обращается к реальному серверу из Интернета через маршрутизатор, сервер все равно д олжен связаться с клиентом напрямую. В этом случае д ля сервера можно настроить шлюз, через который пакеты буд ут перед аваться в Интернет. Кажд ый сервер может иметь собственный шлюз, но в типичной схеме распред еления нагрузки серверы взаимод ействуют с Интернетом через од ин общий шлюз.

–  –  –

Оборуд ование Аппаратные требования аналогичны требованиям д ругих схем распред еления нагрузки.

В то время как маршрутизатор LVS д олжен размещаться в окружении Red Hat Enterprise Linux, чтобы иметь возможность обработки поступающих запросов и распред еления нагрузки межд у реальными серверами, сами серверы вовсе не д олжны быть компьютерами Linux. Кажд ый маршрутизатор д олжен быть оборуд ован од ной или д вумя сетевыми платами; при наличии д вух карт вход ящие запросы обрабатываются од ной картой, а перенаправляемые реальным серверам запросы — д ругой.

Шлюз необход им, так как исход ящие пакеты д олжны перед аваться клиенту напрямую.

Максимальной производ ительности можно д остичь, оборуд овав кажд ый сервер собственным шлюзом с отд ельным под ключением к сети, в которой расположен клиент.

Программное обеспечение Д ля прямой маршрутизации потребуется настроить д ополнительные параметры за пред елами Piranha (см. Разд ел 3.2.1, «Прямая маршрутизация и arptables_jf», Разд ел 3.2.

2, «Прямая маршрутизация и iptables»).

3.2.1. Прямая маршрутизация и arptables_jf В схеме распред еления нагрузки, использующей arptables_jf, кажд ому серверу над о присвоить виртуальный ад рес, чтобы сд елать возможной прямую маршрутизацию пакетов.

Запросы ARP, пред назначенные виртуальным ад ресам, буд ут игнорироваться реальными серверами, поэтому виртуальные ад реса в запросах ARP буд ут заменены реальными ад ресами.

С помощью arptables_jf можно сопоставить программы отд ельному виртуальному ад ресу или порту, который обслуживается реальным сервером. Например, различные экземпляры Apache могут быть привязаны к различным виртуальным ад ресам. arptables_jf также характеризуется существенно более высокой производ ительностью по сравнению с iptables.

–  –  –

arptables_jf не позволяет настроить активацию виртуальных IP-ад ресов во время загрузки.

Ниже рассказывается, как настроить реальный сервер так, чтобы он игнорировал запросы ARP д ля виртуальных ад ресов.

1. Д обавьте в таблицу ARP записи д ля кажд ого виртуального ад реса на кажд ом реальном сервере. Ад рес «реальный_ip» используется д ля обращения к реальному серверу и часто привязан к eth0.

arptables -A IN -d виртуальный_ip -j DROP arptables -A OUT -s виртуальный_ip -j mangle --mangle-ip-s реальный_ip После этого реальные серверы буд ут игнорировать вход ящие запросы ARP, пред назначенные виртуальным ад ресам, а виртуальные ад реса в исход ящих запросах буд ут заменяться на реальные. Т олько активный маршрутизатор LVS буд ет обрабатывать запросы ARP с виртуальными ад ресами.

2. Повторив вышеуказанные шаги д ля кажд ого сервера, сохраните таблицу, выполнив на сервере service arptables_jf save chkconfig --level 234 5 arptables_jf on Команд а chkconfig заново загрузит настройки д о этапа инициализации сети в процессе загрузки сети.

3. Настройте виртуальные ад реса д ля серверов с помощью ifconfig:

# ifconfig eth0:1 192.168.76.24 netmask 255.255.252.0 broadcast 192.168.79.255 up

–  –  –

Как уже говорилось, системные утилиты Red Hat не позволяют настроить виртуальные ад реса во время загрузки. В этом случае можно поместить команд ы их инициализации в /etc/rc.d/rc.local.

4. Настройте прямую маршрутизацию в Piranha (см. Глава 4, Настройка распределения нагрузки с помощью Piranha).

3.2.2. Прямая маршрутизация и iptables Обойти ограничение ARP в окружении с прямой маршрутизацией можно, созд ав прозрачный прокси с помощью правил iptables. Это позволит серверам обслуживать пакеты, отправленные на виртуальный ад рес, д аже если такого ад реса нет в системе.

Использование iptables упрощает работу по сравнению с arptables_jf и позволяет избежать уже упомянутой проблемы ARP, так как виртуальные ад реса существуют только на активном маршрутизаторе LVS.

Нед остаток iptables заключается в снижении производ ительности вслед ствие д ополнительных операций перенаправления и маскирования всех пакетов.

iptables не разрешает повторное использование портов. Например, невозможно од новременное выполнение д вух экземпляров Apache, привязанных к порту 80, так как кажд ый из них д олжен быть привязан к INADDR_ANY, а не к виртуальному ад ресу.

Red Hat Enterprise Linux 6 Ад министрирование виртуаль ного сервера Послед овательность шагов при настройке прямой маршрутизации с iptables описывается ниже.

1. На кажд ом реальном сервере, д ля всех обслуживаемых им комбинаций виртуальных ад ресов, портов и протоколов (T CP или UDP), выполните iptables -t nat -A PREROUT ING -p tcp|udp -d виртуальный_ip --dport порт -j REDIRECT Т еперь серверы смогут обрабатывать пакеты, пред назначенные указанным виртуальным ад ресам и портам.

2. Сохраните настройки на кажд ом сервере:

–  –  –

Конфигурация iptables буд ет загружаться при загрузке системы, д о инициализации сети.

3.3. Настройка интерфейсов Опред елившись с метод ом маршрутизации, можно приступить к связи оборуд ования по сети.

–  –  –

Настройки ад аптеров маршрутизаторов LVS д олжны разрешать д оступ к од ним и тем же сетям. Т ак, например, если eth0 соед инен с общей сетью, а eth1 соед инен с частной сетью, то на маршрутизаторе LVS эти устройства д олжны быть аналогично под ключены к этим же сетям.

В таблицу маршрутизации буд ет д обавлен шлюз интерфейса, запущенного в первую очеред ь при загрузке системы. Все остальные интерфейсы буд ут проигнорированы.

След ует учесть эту тонкость при настройке реальных серверов.

После непосред ственного под ключения оборуд ования след ует настроить сетевые интерфейсы на основном и резервном маршрутизаторах. Это можно сд елать с помощью system-confignetwork или отред актировать сетевые сценарии вручную. За информацией о д обавлении устройств с помощью system-config-network обратитесь к главе, посвященной настройке сети, в руководстве по развертыванию Red Hat Enterprise Linux. Д алее в примерах сценарии буд ут ред актироваться вручную или с помощью Piranha.

3.3.1. Советы по сетевой настройке комплекта распределения нагрузки Прежд е чем приступить к настройке комплекта распред еления нагрузки с помощью Piranha, на маршрутизаторах LVS необход имо настроить реальные ад реса д ля открытой и закрытой сети. В секциях, гд е рассматриваются различные топологии, можно найти примеры сетевых ад ресов.

Д алее перечислены основные команд ы инициализации интерфейсов и проверки их состояния.

Включение сетевого интерфейса След ующая команд а, выполненная в режиме root, запускает сетевой интерфейс.

Замените N номером интерфейса.

–  –  –

Не используйте сценарии ifup д ля активации плавающих ад ресов, настроенных с помощью Piranha (таких как eth0:1, eth1:1). Вместо этого над о запустить pulse с помощью service (см. Разд ел 4.8, «Запуск комплекта распред еления нагрузки»).

Отключение сетевого интерфейса След ующая команд а, выполненная в режиме root, выключает сетевой интерфейс.

Замените N номером интерфейса.

–  –  –

3.4. Службы, использующие несколько портов Многопортовые службы используются д ля многопортовых протоколов, таких как FT P, или созд аются искусственно путем группирования од нотипных протоколов, таких как HT T P (порт 80) и HT T PS (порт 443), с помощью меток межсетевых экранов. В обоих случаях маршрутизатор сможет распознать, что пакеты пред назначены разным портам; при этом пакеты с од инаковыми метками буд ут обрабатываться по од ним и тем же правилам. Использование меток вместе с постоянством под ключений позволяет гарантировать обращение к од ному и тому же компьютеру на протяжении зад анного времени (см. Разд ел 4.6.1, «Под секция VIRT UAL SERVER»).

Используемый на реальных серверах механизм распред еления нагрузки — IPVS — может распознавать метки пакетов, но не может их назначать. Именно поэтому назначение меток д олжно осуществляться фильтром iptables, настройка которого выполняется отд ельно от Piranha.

3.4.1. Присвоение меток межсетевого экрана Д ля присвоения меток пакетам, направленным в опред еленный порт, необход имо использовать iptables.

В качестве примера д алее буд ет рассмотрено объед инение HT T P и HT T PS. Разд ел 3.5, «Настройка FT P» сод ержит информацию о настройке протокола FT P, который также использует несколько портов.

Основное требование при использовании меток межсетевых экранов состоит в том, что д ля кажд ого протокола, настроенного на использование меток в Piranha, д олжно быть правило в iptables.

Red Hat Enterprise Linux 6 Ад министрирование виртуаль ного сервера Прежд е чем приступить к созд анию правил фильтрации пакетов, убед итесь, что они уже не были опред елены. Д ля этого в режиме root выполните /sbin/service iptables status Если iptables в это время не выполняется, на экране снова появится приглашение.

В противном случае буд ет показан набор правил. Введ ите команд у /sbin/service iptables stop Если над о сохранить существующие правила, скопируйте необход имые правила из /etc/sysconfig/iptables в д ругое место.

Ниже привед ены правила, присваивающие метку 80 вход ящим пакетам, направленным на плавающий ад рес n.n.n.n и порты 80 и 443.

/sbin/m odprobe ip_tables /sbin/iptables -t m angle -A PREROUT ING -p tcp -d n.n.n.n/32 --dport 80 -j MARK --set-m ark 80 /sbin/iptables -t m angle-A PREROUT ING -p tcp -d n.n.n.n/32 --dport 4 4 3 -j MARK --set-m ark 80 Разд ел 4.6.

1, «Под секция VIRT UAL SERVER» сод ержит инструкции по присвоению виртуальных ад ресов внешним сетевым интерфейсам. При этом потребуется войти в систему в режиме root и загрузить мод уль iptables.

В привед енных примерах след ует заменить n.n.n.n плавающим ад ресом виртуальных серверов HT T P и HT T PS. Эти команд ы позволяют присвоить поступающим на зад анный виртуальный ад рес пакетам метку 80, которую распознает IPVS, после чего пакеты буд ут перенаправлены.

–  –  –

Привед енные команд ы вступают в силу сразу, но результат их работы не сохранится после перезагрузки системы. Разд ел 3.6, «Сохранение настроек фильтрации пакетов»

сод ержит информацию о восстановлении настроек после перезагрузки.

3.5. Настройка FTP Протокол FT P (File T ransfer Protocol) является устоявшимся и д остаточно сложным многопортовым протоколом, реализация которого в комплекте распред еления нагрузки вызывает опред еленные сложности. Чтобы понимать характер сложностей, над о понимать основные принципы работы FT P.

3.5.1. Принципы работы FTP Обычно взаимод ействие клиента с сервером происход ит так: клиент открывает соед инение с опред еленным портом, а сервер отвечает на запросы через этот порт. При под ключении клиента к FT P-серверу буд ет установлено соед инение через порт 21. Затем клиент сообщает серверу тип устанавливаемого соед инения — активный или пассивный. Т ип опред еляет д альнейшее

–  –  –

повед ение сервера и порты д ля перед ачи.

Существует д ва типа соед инений:

Активные соед инения Сервер сам под ключается к клиенту с порта 20 к порту клиента с большим номером. Все д анные с сервера перед аются через это соед инение.

Пассивные соед инения Клиент просит сервер указать порт д ля пассивного соед инения, при этом номер порта д олжен быть больше 10000. Сервер сопоставляет сеансу порт, устанавливает с ним связь на время сеанса и сообщает номер клиенту. Клиент открывает соед инение через этот порт. Кажд ый запрос д анных со стороны клиента привод ит к созд анию отд ельного соед инения д ля перед ачи д анных. В большинстве случаев современные клиенты FT P по умолчанию устанавливают пассивные под ключения к серверам FT P.

Примечание

Не сервер, а клиент зад ает тип соед инения. Это значит, что д ля эффективного использования FT P в кластере маршрутизаторы LVS д олжны под д ерживать и активные, и пассивные соед инения.

При взаимод ействии клиента и сервера может быть открыто большое число портов, о которых Piranha и IPVS могут и не знать.

3.5.2. Как это влияет на распределение нагрузки Перенаправление IPVS буд ет разрешать вход ящие и исход ящие соед инения при условии распознавания номера порта или метки межсетевого экрана. Если клиент из внешней сети пытается открыть порт, который не наход ится под управлением IPVS, соед инение буд ет прервано. Аналогичным образом, если реальный сервер устанавливает соед инение с Интернетом через порт, о котором IPVS не знает, соед инение не буд ет установлено. Это означает, что все под ключения клиентов из Интернета д олжны иметь од ну и ту же метку, а все исход ящие от сервера соед инения д олжны перенаправляться в Интернет в соответствии с правилами фильтрации пакетов.

3.5.3. Правила фильтрации сетевых пакетов Прежд е чем приступить к созд анию правил iptables, рекоменд уется ознакомиться с главой о метках межсетевых экранов (см. Разд ел 3.4.1, «Присвоение меток межсетевого экрана»), гд е рассказывается об использовании многопортовых служб и проверке наличия правил фильтрации сетевых пакетов.

Ниже привед ены правила, назначающие метку 21 трафику FT P. Чтобы эти правила работали корректно, перейд ите к секции VIRT UAL SERVER программы Piranha и д ля виртуального сервера, использующего порт 21, в поле метки межсетевого экрана введ ите 21 (см. Разд ел 4.6.1, «Под секция VIRT UAL SERVER»).

3.5.3.1. Правила д ля активных соед инений Правила д ля активных соед инений указывают яд ру принимать и перенаправлять под ключения, поступающие на внутренний плавающий IP-ад рес с порта 20, который используется д ля Red Hat Enterprise Linux 6 Ад министрирование виртуаль ного сервера перед ачи д анных.

В след ующем примере маршрутизатору LVS разрешается принимать соед инения от реальных серверов, не наход ящихся под управлением IPVS.

/sbin/iptables -t nat -A POST ROUT ING -p tcp -s n.n.n.0/24 --sport 20 -j MASQUERADE Зд есь n.n.n над о заменить первыми тремя числами плавающего IP-ад реса внутреннего сетевого интерфейса NAT, опред еленного в секции общих настроек программы Piranha.

3.5.3.2. Правила д ля пассивных соед инений Правила д ля пассивных соед инений назначают метку под ключениям из Интернета, поступающим на плавающий IP-ад рес службы через порты с номерами в д иапазоне от 10000 д о 20000.

–  –  –

При ограничении д иапазона портов д ля пассивных под ключений над о д ополнительно настроить этот же д иапазон д ля сервера VSFT P.

Д ля этого в конец файла /etc/vsftpd.conf нужно д обавить:

pasv_m in_port=10000 pasv_m ax_port=20000 Т акже необход имо откорректировать ад рес сервера, пред оставляемый клиенту д ля пассивного под ключения. При организации распред еления нагрузки с использованием маршрутизации NAT след ующая строка заменит реальный ад рес сервера на виртуальный, который и буд ет д оступен клиенту.

pasv_address=n.n.n.n Замените n.n.n.n виртуальным IP-ад ресом системы LVS.

За информацией о настройке д ругих серверов FT P обратитесь к соответствующей д окументации.

Д иапазон д олжен быть д остаточно широким. Если в д альнейшем понад обится его увеличить с целью включения всех незащищенных портов, в привед енных ниже команд ах измените 10000:20000 на 1024 :65535.

След ующие команд ы позволяют присвоить пакетам, поступающим через соответствующие порты на зад анный виртуальный ад рес, метку 21, которую распознает IPVS, после чего пакеты буд ут перенаправлены.

/sbin/iptables -t m angle -A PREROUT ING -p tcp -d n.n.n.n/32 --dport 21 -j MARK --set-m ark 21 /sbin/iptables -t m angle -A PREROUT ING -p tcp -d n.n.n.n/32 --dport 10000:20000 -j MARK --set-m ark 21 В этих примерах след ует заменить n.n.n.n плавающим ад ресом виртуального сервера FT P, зад анного в секции серверов программы Piranha.

–  –  –

Привед енные команд ы вступают в силу сразу, но результат их работы не сохранится после перезагрузки системы. Разд ел 3.6, «Сохранение настроек фильтрации пакетов»

сод ержит информацию о восстановлении настроек после перезагрузки.

Наконец, над о убед иться, что запуск служб осуществляется на корректных уровнях (см.

Разд ел 2.1, «Настройка служб на маршрутизаторах LVS»).

3.6. Сохранение настроек фильтрации пакетов Завершив настройку фильтров, сохраните их с целью послед ующего восстановления после перезагрузки. Т ак, д ля iptables выполните /sbin/service iptables save Изменения буд ут сохранены в /etc/sysconfig/iptables.

Т еперь iptables можно буд ет запускать, останавливать и проверять состояние с помощью команд ы /sbin/service, которая автоматически загрузит под ход ящий мод уль. Разд ел 2.3, «Запуск Piranha» сод ержит несколько примеров /sbin/service.

Наконец, убед итесь, что запуск служб буд ет происход ить на корректных уровнях выполнения (см.

Разд ел 2.1, «Настройка служб на маршрутизаторах LVS»).

В след ующей главе буд ет рассказано о программе Piranha и этапах, необход имых д ля активации механизма распред еления нагрузки.

Red Hat Enterprise Linux 6 Ад министрирование виртуаль ного сервера Глава 4. Настройка распределения нагрузки с помощью Piranha Программа Piranha обеспечивает структурированный под ход к созд анию файла конфигурации /etc/sysconfig/ha/lvs.cf. В этой главе буд ут рассмотрены принципы работы Piranha и активация сред ств распред еления загрузки после завершения их настройки.

–  –  –

Формат файла конфигурации д олжен след овать строго опред еленным правилам.

Использование Piranha исключит вероятность синтаксических ошибок в lvs.cf.

4.1. Необходимые программы Д ля запуска Piranha необход имо, чтобы на основном маршрутизаторе LVS работала служба piranha-gui. Д ля настройки схемы распред еления нагрузки необход им как минимум текстовый веб-браузер (например, links). Если обращение к маршрутизатору осуществляется с д ругой машины, в режиме root потребуется установить соед инение ssh с основным маршрутизатором.

При настройке основного маршрутизатора LVS в окне терминала рекоменд уется открыть д ополнительное соед инение ssh, что позволит безопасно перезапустить pulse и д ругие службы, а также настроить фильтры сетевых пакетов и отслеживать сообщения в /var/log/m essages.

В послед ующих секциях буд ут послед овательно рассмотрены страницы конфигурации Piranha.

4.2. Авторизация в Piranha Настройку схемы распред еления нагрузки всегд а стоит начинать с настройки основного маршрутизатора. Д ля этого убед итесь, что служба piranha-gui выполняется и ад министративный пароль опред елен (см. Разд ел 2.2, «Установка пароля д ля Piranha»).

Если обращение к машине осуществляется локально, д ля д оступа к Piranha в браузере нужно ввести ад рес http://localhost:3636. При уд аленном д оступе — введ ите имя узла или IPад рес сервера, д обавив в конце :3636. Появится след ующий экран (см. Рисунок 4.1, «Окно приветствия»).

–  –  –

Рисунок 4.1.

Окно приветствия Нажмите кнопку вход а д ля переход а к странице авторизации.

Piranha включает четыре основных экрана или панели. В свою очеред ь, панель виртуальных серверов включает четыре подсекции. После экрана авторизации буд ет открыта панель CONT ROL/MONIT ORING.

4.3. CONTROL/MONITORING На панели CONT ROL/MONIT ORING показан статус службы pulse, таблицы маршрутизации LVS и запущенных процессов nanny.

–  –  –

Поля таблицы маршрутизации (CURRENT LVS ROUT ING T ABLE) и процессов LVS (CURRENT LVS PROCESSES) останутся пустыми, д о тех пор пока не буд ет включены функции распред еления нагрузки (Разд ел 4.8, «Запуск комплекта распред еления нагрузки»).

Рисунок 4.2.

Панель CONT ROL/MONIT ORING Auto update Статус может обновляться автоматически с зад анной частотой. Чтобы включить эту возможность, установите флажок автообновления (Auto update) и укажите частоту обновлений (Update frequency in seconds). По умолчанию используется 10секунд ный интервал.

Red Hat Enterprise Linux 6 Ад министрирование виртуаль ного сервера Не рекоменд уется зад авать менее 10 секунд, так как это может усложнить изменение интервала автообновления в буд ущем вслед ствие слишком частого обновления страницы. Если вы столкнулись с такой проблемой, перейд ите на д ругую вклад ку и вернитесь обратно.

Автообновление нед оступно д ля некоторых браузеров, в том числе д ля Mozilla.

Update inform ation now Нажав эту кнопку, можно обновить информацию о состоянии.

–  –  –

4.4. GLOBAL SETTINGS Зд есь опред еляются сетевые настройки д ля внешнего и внутреннего интерфейсов основного маршрутизатора LVS.

Рисунок 4.3.

Панель GLOBAL SET T INGS Сначала след уют настройки интерфейсов открытой и закрытой сетей основного маршрутизатора LVS. Эти интерфейсы уже настроены (см. Разд ел 3.1.1, «Настройка сетевых интерфейсов»).

–  –  –

Prim ary server private IP Введ ите д ействительный IP-ад рес второго интерфейса основного маршрутизатора LVS.

Этот ад рес используется только д ля обмена тестовыми сообщениями с резервным маршрутизатором и не имеет отношения к частному IP-ад ресу, присвоенному ранее (Разд ел 3.1.1, «Настройка сетевых интерфейсов»). Пустое поле означает, что резервному маршрутизатору не буд ут д оступны альтернативные тестовые каналы, что повышает риск уязвимости.

–  –  –

Частный IP-ад рес не требуется д ля прямой марш рутизации (Direct Routing), так как все реальные серверы и маршрутизаторы используют од инаковые виртуальные ад реса и настройки маршрутизации.

–  –  –

Внутренний ад рес основного маршрутизатора LVS может быть настроен на любом интерфейсе, принимающим T CP/IP (буд ь то ад аптер Ethernet или послед овательный порт).

Use network type Нажмите NAT д ля выбора маршрутизации NAT.

Выберите Direct Routing д ля выбора прямой маршрутизации.

След ующие три поля касаются соед инения частной сети с реальными серверами через интерфейс виртуальной сети маршрутизатора NAT. Эти поля НЕ имеют отношения к прямой маршрутизации.

NAT Router IP Введ ите плавающий ад рес, который буд ет использоваться в качестве шлюза д ля реальных серверов.

NAT Router netm ask При необход имости выберите маску сети д ля плавающего ад реса маршрутизатора NAT.

NAT Router device В этом поле опред еляется имя интерфейса д ля плавающего IP-ад реса, такого как eth1:1.

Red Hat Enterprise Linux 6 Ад министрирование виртуаль ного сервера

–  –  –

Заполнив поля, нажмите кнопку ACCEPT д ля сохранения изменений.

4.5. REDUNDANCY Зд есь можно настроить резервный маршрутизатор LVS и опред елить параметры наблюд ения.

Загрузка...

–  –  –

При первом переход е к этому окну вы увид ите неактивное поле Backup и кнопку ENABLE.

Чтобы настроить резервный маршрутизатор, нажмите эту кнопку. Рисунок 4.4, «Панель REDUNDANCY» д емонстрирует окно после активации резервного маршрутизатора.

Рисунок 4.4.

Панель REDUNDANCY Redundant server public IP

–  –  –

Внешний ад рес резервного маршрутизатора LVS.

Redundant server private IP Внутренний ад рес резервного маршрутизатора LVS.

Если поле ввод а внутреннего ад реса отсутствует, вернитесь на страницу общих параметров, введ ите внутренний ад рес основного сервера и нажмите кнопку ACCEPT.

Остальные поля пред назначены д ля настройки тестового канала, который используется резервным маршрутизатором д ля наблюд ения за основным узлом на случай его сбоя.

Heartbeat Interval (seconds) Интервал обмена тестовыми сообщениями (в секунд ах); д ругими словами, как часто запасной узел буд ет проверять работоспособность основного узла LVS.

Assum e dead after (seconds) Если основной маршрутизатор не отвечает, по истечении зад анного интервала буд ет активирован резервный узел.

Heartbeat runs on port Порт, через который буд ет проверяться основной узел LVS. По умолчанию буд ет использоваться порт 539.

–  –  –

Завершив, нажмите кнопку ACCEPT.

4.6. VIRTUAL SERVERS В этом окне привед ена информация обо всех настроенных виртуальных серверах. Кажд ая запись в таблице сод ержит статус виртуального сервера, его имя, виртуальный ад рес, маску сети виртуального IP, номер порта, протокол и интерфейс виртуального устройства.

Red Hat Enterprise Linux 6 Ад министрирование виртуаль ного сервера Рисунок 4.5. Панель VIRT UAL SERVERS Настройка перечисленных в этом окне серверов осуществляется в перечисленных ниже подсекциях.

Чтобы д обавить службу, нажмите кнопку ADD. Д ля уд аления — выберите сервер и нажмите DELET E.

С помощью кнопки (DE)ACT IVAT E можно включить или отключить выбранный сервер.

Д ля настройки выбранного сервера нажмите кнопку EDIT.

4.6.1. Подсекция VIRTUAL SERVER Рисунок 4.6, «Под секция VIRT UAL SERVERS» д емонстрирует снимок экрана под секции VIRT UAL SERVER, гд е можно опред елить настройки отд ельного виртуального сервера. В верхней части расположены ссылки на страницы д альнейшей настройки сервера. Но прежд е чем прод олжить, заполните поля на этой странице и нажмите ACCEPT.

–  –  –

Рисунок 4.6.

Под секц ия VIRT UAL SERVERS Nam e Введ ите имя д ля ид ентификации виртуального сервера. Оно НЕ является именем компьютера, поэтому созд айте понятное и описательное имя. В имени можно д аже указать используемый виртуальным сервером протокол (например, HT T P).

Application port Номер порта д ля прослушивания. В нашем примере мы рассматриваем службы HT T P, поэтому буд ет использоваться порт 80.

Protocol Из выпад ающего списка выберите UDP или T CP. Веб-серверы обычно используют протокол T CP.

Virtual IP Address Введ ите плавающий виртуальный IP-ад рес.

Virtual IP Network Mask Выберите маску сети из выпад ающего списка.

Firewall Mark НЕ указывайте целое значение в этом поле, если вы не объед иняете многопортовые протоколы или созд аете многопортовый виртуальный сервер д ля од нотипных протоколов. В примере используется значение 80, так как HT T P-под ключения сопоставляются порту 80, а HT T PS-под ключения — порту 443. В этом случае запросы Red Hat Enterprise Linux 6 Ад министрирование виртуаль ного сервера пользователей, обращающиеся к открытым и закрытым страницам, буд ут перед аваться од ному и тому же реальному серверу с сохранением состояния.

–  –  –

Ввод метки позволит IPVS обрабатывать все пакеты с этой меткой од инаково, но д ля присвоения меток над о настроить д ополнительные параметры за пред елами Piranha. Разд ел 3.4, «Службы, использующие несколько портов» сод ержит информацию о созд ании многопортовых служб, а Разд ел 3.5, «Настройка FT P» — об организации высокод оступного виртуального сервера FT P.

–  –  –

След ует связать внешний плавающий IP-ад рес с интерфейсом Ethernet, под ключенным к внешней сети. В нашем примере д оступ к внешней сети осуществляется через eth0, поэтому в качестве имени устройства буд ет использоваться eth0:1.

–  –  –

Service T im eout Целое значение, опред еляющее период времени в секунд ах, по истечении которого реальный сервер буд ет считаться неработоспособным и уд ален из кластера.

Quiesce server Если этот переключатель установлен, при кажд ом включении нового реального сервера таблица соед инений буд ет очищена, а маршрутизатор LVS буд ет распред елять запросы, как буд то все реальные серверы были д обавлены в кластер заново. Это позволяет избежать внезапной загрузки д обавляемого сервера большим числом под ключений.

Load m onitoring tool Маршрутизатор LVS может след ить за нагрузкой реальных серверов с помощью rup и ruptim e. Если выбран rup, на всех серверах д олжна выполняться служба rstatd. Если же выбран ruptim e, то на кажд ом сервере д олжна выполняться служба rwhod.

–  –  –

Наблюд ение за нагрузкой в принципе ОТЛИЧАЕТСЯ от распред еления нагрузки и в комбинации с алгоритмами с весовыми коэффициентам может усложнить планирование. Если вы используете функции наблюд ения, то необход имо, чтобы все серверы пред ставляли собой системы Linux.

–  –  –

Scheduling Выберите алгоритм из выпад ающего списка. По умолчанию используется распред еление с наименьшим числом под ключений с весовым коэффициентом (см. Разд ел 1.3.1, «Алгоритмы распред еления»).

Persistence Если необход имо сохранить под ключения к виртуальному серверу во время транзакций, введ ите время (в секунд ах), которое д олжно истечь, прежд е чем соед инение буд ет закрыто.

–  –  –

Если поле метки межсетевого экрана заполнено, то необход имо опред елить время под д ержки соед инения. Т акже убед итесь, что все виртуальные серверы с зад анной меткой буд ут использовать од ин и тот же интервал. Разд ел 1.5, «Постоянство соед инения и метки межсетевого экрана» сод ержит д альнейшую информацию.

Persistence Network Mask Установите этот параметр, чтобы сохранять под ключения только д ля опред еленной под сети.

–  –  –

Д о введ ения меток межсетевого экрана обеспечение постоянства под ключений в пред елах под сети являлось ед инственным способом объед инения соед инений.

Т еперь же д ля этой цели лучше использовать сохранение с метками межсетевого экрана.

–  –  –

Не забуд ьте применить изменения, чтобы не потерять их при переход е на д ругую панель.

4.6.2. Подсекция REAL SERVER В верхней части экрана расположена ссылка REAL SERVER, по которой можно перейти к под секции EDIT REAL SERVER, гд е буд ут перечислены физические серверы, обслуживающие зад анную виртуальную службу.

Red Hat Enterprise Linux 6 Ад министрирование виртуаль ного сервера Рисунок 4.7. Под секц ия REAL SERVER Д ля д обавления нового сервера нажмите кнопку ADD, д ля уд аления выбранного сервера нажмите DELET E. Нажмите EDIT д ля переход а к панели настроек сервера (см. Рисунок 4.8, «Панель настройки REAL SERVER»).

Рисунок 4.8.

Панель настройки REAL SERVER

–  –  –

НЕ является именем именем компьютера, поэтому используйте такое имя, что с его помощью можно было легко ид ентифицировать сервер.

Address IP-ад рес реального сервера. Т ак как порт прослушивания д ля виртуального сервера уже зад ан, зд есь не требуется указывать порт.

Weight Целое значение, опред еляющее пропускную способность узла относительно д ругих серверов в наборе. Значение может быть произвольным, но д олжно являться относительной величиной (см. Разд ел 1.3.2, «Весовой коэффициент сервера и распред еление»).

–  –  –

Прежд е чем перейти к след ующей панели, не забуд ьте применить изменения.

4.6.3. Подсекция EDIT MONITORING SCRIPTS Д ля переход а к под секции изменения сценариев мониторинга нажмите EDIT MONIT ORING SCRIPT S в верхней части страницы. Зд есь можно зад ать отправляемую или ожид аемую послед овательность д ля проверки работоспособности службы виртуального сервера на кажд ом реальном сервере. Ад министратор также может д обавить произвольные сценарии д ля проверки служб, использующих д инамически изменяемые д анные.

Red Hat Enterprise Linux 6 Ад министрирование виртуаль ного сервера Рисунок 4.9. Под секц ия EDIT MONIT ORING SCRIPT S Sending Program В этом поле можно указать путь к сценарию проверки, что обычно используется д ля служб, использующих д инамические д анные, таких как HT T PS и SSL.

Чтобы использовать эту функциональность, над о написать сценарий, результатом выполнения которого буд ет текст, сд елать его исполняемым и ввести путь к нему в поле Sending Program.

–  –  –

Send Введ ите строку, которую nanny буд ет отправлять кажд ому реальному серверу. По умолчанию это поле сод ержит строку д ля протокола HT T P. Если оставить его пустым, nanny попытается установить соед инение с портом и в случае успешного под ключения буд ет считать, что служба работает.

В этом поле д опускается только од на отправляемая послед овательность, которая может сод ержать символы ASCII и привед енные ниже спецсимволы:

–  –  –

Expect Введ ите текстовый ответ, который д олжен возвращать нормально функционирующий сервер. Если используется собственная отправляющая программа, введ ите ответ, который она буд ет возвращать при успешном опросе.

–  –  –

Прежд е чем перейти к след ующей панели, не забуд ьте применить изменения.

После успешной настройки виртуальных серверов над о выборочно скопировать файлы конфигурации на резервный маршрутизатор (см. Разд ел 4.7, «Синхронизация файлов конфигурации»).

4.7. Синхронизация файлов конфигурации Как уже говорилось, после успешной настройки основного маршрутизатора LVS некоторые файлы конфигурации над о скопировать на резервный маршрутизатор LVS (см. Разд ел 4.7, «Синхронизация файлов конфигурации»).

Red Hat Enterprise Linux 6 Ад министрирование виртуаль ного сервера

Эти файлы включают:

/etc/sysconfig/ha/lvs.cf — файл конфигурации маршрутизаторов LVS.

/etc/sysctl — файл конфигурации, который, помимо прочего, включает перенаправление пакетов на уровне яд ра.

/etc/sysconfig/iptables — этот файл над о скопировать, если используются метки межсетевого экрана.

–  –  –

/etc/sysctl.conf и /etc/sysconfig/iptables не изменяются при изменении настроек с помощью Piranha.

4.7.1. Синхронизация lvs.cf После созд ания или мод ификации файла /etc/sysconfig/ha/lvs.cf над о его скопировать на резервный маршрутизатор LVS.

–  –  –

Оба маршрутизатора — активный и резервный — д олжны сод ержать ид ентичные копии lvs.cf. В противном случае переключение маршрутизаторов при сбое может стать невозможным.

Д ля синхронизации файлов лучше всего под ход ит команд а scp.

–  –  –

Прежд е чем приступить к копированию, необход имо, чтобы на резервном маршрутизаторе выполнялся процесс sshd. Разд ел 2.1, «Настройка служб на маршрутизаторах LVS»

сод ержит информацию о настройке обязательных служб.

В режиме root выполните след ующую команд у на основном маршрутизаторе:

scp /etc/sysconfig/ha/lvs.cf n.n.n.n:/etc/sysconfig/ha/lvs.cf Замените n.n.n.n д ействительным IP-ад ресом резервного маршрутизатора.

4.7.2. Синхронизация sysctl В большинстве случаев файл sysctl изменяется всего од ин раз. Он сообщает яд ру о необход имости включения перенаправления пакетов, и обращение к нему осуществляется во время загрузки системы.

–  –  –

Если вы не уверены, включено ли перенаправление пакетов на уровне яд ра, обратитесь к соответствующей главе (см. Разд ел 2.5, «Активация маршрутизации пакетов»).

4.7.3. Синхронизация фильтров сетевых пакетов Если планируется использовать iptables, потребуется скопировать соответствующий файл конфигурации на резервный маршрутизатор.

После любой мод ификации правил фильтрации на основном маршрутизаторе над о выполнить след ующую команд у в режиме root:

scp /etc/sysconfig/iptables n.n.n.n:/etc/sysconfig/ Замените n.n.n.n д ействительным IP-ад ресом резервного маршрутизатора.

Т еперь установите соед инение ssh с резервным маршрутизатором или авторизуйтесь как root, после чего выполните команд у /sbin/service iptables restart Завершив копирование файлов и запустив соответствующие службы (см. Разд ел 2.1, «Настройка служб на маршрутизаторах LVS»), можно приступить к активации комплекта распред еления нагрузки.

4.8. Запуск комплекта распределения нагрузки Д ля запуска комплекта лучше открыть д ва окна терминала в режиме root или открыть д ва под ключения ssh к основному маршрутизатору LVS.

Од но окно буд ет пред назначено д ля наблюд ения за сообщениями яд ра. Д ля этого выполните tail -f /var/log/m essages

В д ругом окне терминала запустите комплект распред еления нагрузки:

/sbin/service pulse start След ите за процессом запуска pulse в окне сообщений яд ра. След ующая строка сообщает об успешном запуске:

gratuitous lvs arps finished Чтобы прекратить наблюд ение за /var/log/m essages, нажмите Ctrl+c.

Т еперь основной маршрутизатор LVS стал активным. Несмотря на то что распред еление нагрузки уже функционально, прежд е чем приступить к полноценной эксплуатации комплекта, рекоменд уется запустить резервный маршрутизатор. Д ля этого на нем над о повторить уже описанные д ействия.

После этого комплект распред еления нагрузки буд ет готов к работе.

Red Hat Enterprise Linux 6 Ад министрирование виртуаль ного сервера Комплект распределения нагрузки и комплект высокой готовности Комплект распред еления нагрузки в комбинации с комплектом высокой готовности позволяет созд ать высокод оступные сайты электронной коммерции с возможностями распред еления нагрузки, высокой степенью интеграции д анных и готовности приложений.

Привед енная схема (см. Рисунок A.1, «Совместное использование д вух комплектов») д емонстрирует структуру типичного сайта электронных прод аж. Запросы клиентов перед аются через межсетевой экран активному маршрутизатору LVS, который перенаправляет их вебсерверам. Высокая готовность д остигается за счет объед инения компьютеров, обслуживающих веб-серверы, в ед иный кластер, который возвращает д инамически сформированный ответ клиенту.

Рисунок A.1. Совместное использование д вух комплектов

Пред оставление д инамического сод ержимого в схеме с распред елением нагрузки д остигается за счет трехуровневой конфигурации (см. Рисунок A.1, «Совместное использование д вух комплектов»). Комплект высокой готовности может выполнять экземпляр од ной или нескольких баз д анных, к которым веб-серверы смогут обращаться по сети. В совокупности оба комплекта позволяют обеспечить бесперебойную работу сайта за счет избыточности.

Если веб-серверы пред оставляют лишь статические страницы, д вухуровневой структуры может быть д остаточно, но д ля пред оставления д инамического сод ержимого потребуется

–  –  –

трехуровневая конфигурация. Д инамические д анные могут включать каталоги прод укции, заказы на приобретение, базы д анных клиентов и д олжны быть ид ентичны на всех веб-серверах.

Функции уровней:

первый уровень — распред еление запросов маршрутизаторами LVS;

второй уровень — обслуживание запросов веб-серверами;

третий уровень — комплект высокой готовности пред оставляет д анные веб-серверам.

В привед енной схеме (см. Рисунок A.1, «Совместное использование д вух комплектов») запросы буд ут проход ить через межсетевой экран, в роли которого может выступать система Linux или отд ельно выд еленное устройство. Д ля над ежности можно д обавить запасное устройство. За межсетевым экраном расположены маршрутизаторы LVS, отвечающие за распред еление нагрузки. Активный маршрутизатор перед ает запросы набору веб-серверов.

Любой веб-сервер может самостоятельно обработать полученный HT T P-запрос и перед ать ответ клиенту. Комплект распред еления нагрузки позволяет увеличить пропускаемость сайта за счет д обавления д ополнительных веб-серверов и повысить над ежность, так как при сбое сервера он может быть безболезненно уд ален из кластера, а его нагрузка буд ет распред еляться межд у оставшимися серверами.

Red Hat Enterprise Linux 6 Ад министрирование виртуаль ного сервера

–  –  –

кластер

- комплект распред еления нагрузки с комплектом высокой готовности, Комплект распред еления нагрузки и комплект высокой готовности комплект высокой готовности

- и комплект распред еления нагрузки, Комплект распред еления нагрузки и комплект высокой готовности

- комплект распред еление нагрузки вместе с, Комплект распред еления нагрузки и комплект высокой готовности

–  –  –

- общие д анные, Репликация д анных и совместный д оступ реальных серверов к д анным

- первоначальная конфигурация, Первоначальная конфигурация

- перенаправление пакетов, Активация маршрутизации пакетов

- планирование зад ач, Обзор планирования распред еления нагрузки

- планирование, зад ачи, Обзор планирования распред еления нагрузки

- программа ipvsadm, ipvsadm

- программа send_arp, send_arp

- процесс nanny, nanny

- прямая маршрутизация

- и arptables_jf, Прямая маршрутизация и arptables_jf

- требования, оборуд ование, Прямая маршрутизация, Прямая маршрутизация

- требования, программное обеспечение, Прямая маршрутизация, Прямая маршрутизация

- требования, сеть, Прямая маршрутизация, Прямая маршрутизация

- репликация д анных, реальные серверы, Репликация д анных и совместный д оступ реальных серверов к д анным

- синхронизация файлов конфигурации, Синхронизация файлов конфигурации

- служба pulse, pulse

- совместное использование комплектов распред еления нагрузки и высокой готовности, Комплект распред еления нагрузки и комплект высокой готовности

- способы маршрутизации

- NAT, Способы маршрутизации

- требования маршрутизации, Настройка сетевых интерфейсов

- файл /etc/sysconfig/ha/lvs.cf, /etc/sysconfig/ha/lvs.cf компоненты

- комплекта распред еления нагрузки, Компоненты комплекта распред еления нагрузки маршрутизац ия

- требования д ля распред еления нагрузки, Настройка сетевых интерфейсов многопортовые службы, Службы, использующие несколько портов

- (см. также комплект распред еления нагрузки) Red Hat Enterprise Linux 6 Ад министрирование виртуаль ного сервера наименьшее число под ключений (см. планирование зад ач, комплект распред еления нагрузки) наименьшее число под ключений с весовым коэффиц иентом (см. планирование зад ач, комплект распред еления нагрузки) отзывы, Отзывы и пред ложения перенаправление пакетов, Активац ия маршрутизац ии пакетов

- (см. также комплект распред еления нагрузки) планирование зад ач, комплект распред еления нагрузки, Обзор планирования распред еления нагрузки планирование, зад ачи (комплект распред еления нагрузки), Обзор планирования распред еления нагрузки преобразование сетевых ад ресов (см. NAT ) программа ipvsadm, ipvsadm программа Piranha, Piranha программа send_arp, send_arp проц есс nanny, nanny прямая маршрутизац ия

- и arptables_jf, Прямая маршрутизация и arptables_jf реальные серверы

- настройка служб, Настройка служб на сервере синхронизац ия файлов конфигурац ии, Синхронизац ия файлов конфигурац ии служба lvs, lvs служба piranha-gui, Настройка служб на маршрутизаторах LVS служба pulse, pulse, Настройка служб на маршрутизаторах LVS служба sshd, Настройка служб на маршрутизаторах LVS файл /etc/sysconfig/ha/lvs.cf, /etc/sysconfig/ha/lvs.cf ц иклический перебор (см. планирование зад ач, комплект распред еления нагрузки) ц иклический перебор с весовым коэффиц иентом (см. планирование зад ач, комплект распред еления нагрузки) A arptables_jf, Прямая маршрутизац ия и arptables_jf C chkconfig, Настройка служб на маршрутизаторах LVS

–  –  –

piranha-passwd, Установка пароля д ля Piranha



Похожие работы:

«HP Photosmart C4200 All-in-One series Вводное руководство Уведомления компании Hewlett-Packard Сведения, содержащиеся в настоящем документе, могут быть изменены без предварительного уведомления. С сохранением всех прав. Воспроизведение, адаптация и перевод без предварительного письм...»

«Глава 7 Фактор Али Я всегда любил бокс. Однако лишь во взрослом возрасте по-настоящему понял, в чем состояла гениальность Мухаммеда Али. И когда это понял, полученное знание не могло не...»

«DIR-25680-1289484 Приложение к Приказу от 15.06.2016 №16.06/15.2-ОД Вступает в силу с 23 июня 2016 года. Старая редакция Новая редакция ДОГОВОР НА БРОКЕРСКОЕ ОБСЛУЖИВАНИЕ Приложение № 02 к Договору. Тарифы Вознаграждение пересчитывается в валюту конверта...»

«HP ENVY 5640 e-All-in-One series Содержание 1 Приемы работы 2 Начало работы Компоненты принтера Функции панели управления и индикаторы состояния Основные сведения о бумаге Загрузка бумаги Загрузка оригинала Откройте программное обеспечение принтера HP (Windows) Спящий режим Автоотключение...»

«Cовременные системы ООО "Лосев" отопления и вентиляции Санкт-Петербург Тел. (812) 9344439 объёмных помещений www.losevonline.ru Обзорный каталог оборудования 2015 Европейское качество по привлекательной цене! TM M A D E I N I TA LY Жизнь слишком коротка, чтобы не получать удовольствия от дела, которым занимаешься,...»

«Client Software-4000 (версия 2.0). Руководство пользователя Client Software-4000 (V2.00.02) Руководство пользователя Client Software-4000 (версия 2.0). Руководство пользователя Содержание Глава 1 Добро пожаловать в Client Software-4000 (версия 2.0)..1.1 Обзор...1.2 Системные требования..1.3 Условные обозначения.. Глава 2 Уста...»

«І.Жансгіров атындаы ЖМУ ХАБАРШЫСЫ № 4 / 2014 есепке алу. ызметкерлерді белгілі бір ресурс ретінде арастыра отырып апаратты жйені пайдалану ндіріс жоспарларын ызметкерлерді потенциалымен салыстыруа ммкіндік береді. Проекттер мен бадарламаларды басару. Бгінгі ксіпорын ызметі трлі ндірістік проекттер мен бадарламаларды жзеге...»

«МИНИСТЕРСТВО ОБРАЗОВАНИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ ПЕНЗЕНСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ Л.А.Брякин ОСНОВЫ СХЕМОТЕХНИКИ ЦИФРОВЫХ УСТРОЙСТВ Конспект лекций ПЕНЗА 2005 УДК 681.3 Первая часть конспекта лекций содержит описание принципов работ...»

«митцям вирішувати естетичні завдання сьогодення, але й становить підґрунтя майбутньої музично-художньої виразності. СПИСОК ВИКОРИСТАНИХ ДЖЕРЕЛ 1. Ланцута Л. В. Українська фортепіанна соната: теорія, історія, сучасні тенденції [Текст] : авторе...»

«7 декабря 2012 г. Eurasian Natural Resources Corporation PLC Приобретение оставшихся 49,5% акций компании Camrose Resources Limited и выпущенных в обращение акций меньшинства в определенных дочерних предприятиях Camrose Лондон Eurasian Natural Resources Corporation PLC (далее – "ENRC" или вместе с дочерними предприятиями – "Группа") сегодня...»

«JI.H. Борисова НОМЕНКЛАТУРА УМЕНИЙ РЕЦЕПТИВНОЙ ПЕРЕРАБОТКИ ИНФОРМАЦИИ В ПРОЦЕССЕ ЧТЕНИЯ Как известно, в основе процесса обучения речевой деятельности или ее отдельным видам лежит формирование умений. Любая деятельность будет протекать успешно, если она подготовлена, если...»

«HP DeskJet 3700 All-in-One series Содержание 1 Справка HP DeskJet 3700 series 2 Начало работы Компоненты принтера Функции панели управления Индикаторы панели управления и состояние значков на экране Загрузка бумаги Измените размер бумаги по умолча...»

«Научный журнал КубГАУ, №76(02), 2012 год 1 УДК 664.91/.94(470.55) UDC 664.91/.94(470.55) CONJUNCTURE OF THE OFFERS OF MEAT КОНЪЮНКТУРА ПРЕДЛОЖЕНИЯ МЯСНЫХ ПРОДУКТОВ "ХАЛЯЛЬ" НА ПРИМЕРЕ PRODUCTS "HALAL" ON THE EXAM...»

«РУКОВОДСТВО ПО ЭКСПЛУАТАЦИИ АВТОМОБИЛЬНЫЙ РЕСИВЕР МОДЕЛИ: RCR-203B и RCR-203G RCR-204B и RCR-204G Благодарим вас за приобретение нашего устройства. Внимательно прочитайте данное руководст...»

«Н.РУДКОВСКИЙ АНА И АНАНАС Диетическая комедия в четырех картинах Действующие лица: Ана Влад Павел Паша КАРТИНА ПЕРВАЯ Первая сцена в салоне Тогда Ана решила помыть волосы. АНА. У тебя такие мягкие руки. Приятные. Почему у мужчин такие нежные руки? ВЛАД. Они боятся причинить боль. Поэтому подушечки...»

«Гурвич И.Н., Русакова М.М., Яковлева А.А., Пышкина Т.В. Наркотизм в СанктПетербурге// Санкт-Петербург в зеркале социологии: сборник статей/ ред. В. В. Козловский. СПб: Социологическое общество им. М.М. Ковалевского, 2003. С.444-471. Нар...»

«IP-видеорегистраторы RVi-IPN4/2, RVi-IPN16/2, RVi-IPN16/8 Краткое руководство по эксплуатации www.rvi-cctv.ru Руководство по эксплуатации ООО "RVi групп" Спецификация. СПЕЦИФИКАЦИЯ МОДЕЛЕЙ Характеристика RVi-IPN4/2...»

«ИНТЕРЮНИС A-Line Stat Программа для автоматической кластеризации данных АЭ Оглавление 1. Краткое описание программы A-Line Stat.3 2. Описание работы с программой A-Line Stat.6 2.1 Расчёт корреляционной матрицы для OSC-файла (*.osc).8 2.2 Расчёт кластеризации сигналов....»

«Извещение о проведении аукциона в электронной форме для субъектов малого предпринимательства, социально ориентированных некоммерческих организаций Способ определения поставщика (подрядчика, Аукцион в электронной форме исполнителя) (элект...»

«Приложение 4 к приказу № 23 осн от 14 марта 2011 г. Рабочая программа дисциплины ООП Нелинейная акустика Лекторы: к.ф.-м.н., ст. науч. сотр. Гусев Владимир Андреевич, д.ф.-м.н., академик РАН, профессор Руденко Олег Владимирович (к...»








 
2017 www.lib.knigi-x.ru - «Бесплатная электронная библиотека - электронные матриалы»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.