МЕТОДИКА РАСЧЕТА ОПТИМАЛЬНОГО ЧИСЛА УЗЛОВ КЛАСТЕРА ВИРТУАЛИЗАЦИИ ЧАСТНОГО ОБЛАКА ВИРТУАЛЬНЫХ РАБОЧИХ СТОЛОВ ПО КРИТЕРИЮ ЭФФЕКТИВНОСТИ

УДК: 004.75

Аверьянихин А.Е., Котельницкий А.В., Муравьев К.А.

Московский государственный технический университет им.Н.Э.Баумана

МЕТОДИКА РАСЧЕТА ОПТИМАЛЬНОГО ЧИСЛА УЗЛОВ КЛАСТЕРА ВИРТУАЛИЗАЦИИ ЧАСТНОГО ОБЛАКА ВИРТУАЛЬНЫХ РАБОЧИХ СТОЛОВ ПО КРИТЕРИЮ ЭФФЕКТИВНОСТИ

Аннотация

В данной статье рассмотрены проблемы построения облачных центров обработки данных на основе инфраструктуры виртуальных рабочих столов (VDI). Основное внимание уделено вопросам оценки оптимального числа необходимых узлов кластера виртуализации по критерию эффективности. Внедрение облачных технологий обеспечивает равномерное использование ресурсов, упрощает администрирование парка технических средств и позволяет масштабировать виртуальные машины под текущие задачи. Однако, динамическое изменение количества потребляемых ресурсов в облаке затрудняет оценку необходимого оборудования. Объектом исследования являются алгоритмы размещения виртуальных машин на вычислительных серверах и разработка математического аппарата оценки требуемого числа узлов кластера виртуализации. В статье описываются формулы расчета нижней и верхней оценки требуемого количества ресурсов в кластере в зависимости от использования алгоритма размещения виртуальных машин на вычислительных серверах. Полученные формулы позволяют рассчитать необходимое количество узлов кластера при динамическом изменении уровня потребляемых ресурсов виртуальными машинами.

Ключевые слова: частное облако, VDI, виртуализация.

Averyanikhin A.E., Kotelnitsky A.V., Muraviev K.A.

Bauman MSTU

METHOD OF CALCULATION OF OPTIMUM NUMBER OF KNOTS OF THE CLUSTER OF VIRTUALIZATION OF THE PRIVATE CLOUD OF VIRTUAL DESKTOPS BY CRITERION OF EFFICIENCY

Abstract

In this article, problems of cloud data center creation based on virtual desktop infrastructure (VDI) are considered. The main attention is paid assessment of optimum number of necessary virtualization cluster nodes. Cloud technologies integration provides unified resource usage, simplifies IT infrastructure administration and allows scaling virtual computers under the current needs. However, dynamic change of consumed resources quantity in a cloud complicates an assessment of the necessary equipment. Algorithms of virtual machines placement on computing servers and development of mathematical apparatus of an assessment of demanded number of virtualization cluster nodes is an object of a research. Formulas of the bottom and top assessment of demanded quantity of resources in a cluster depending on use of virtual machine placement algorithm on computing servers are described. The received formulas allow researchers to calculate necessary number of cluster nodes at a dynamic change of consumed level of resources by virtual machines.

Keywords: private cloud, VDI, virtualization.

 

Введение

Облачные технологии - результат развития архитектур информационных систем (ИС). Под термином "облачные технологии" (ОТ) будем понимать модель, которая обеспечивает многопользовательский доступ к вычислительным ресурсам (ВР) посредством распределенной гетерогенной сетевой инфраструктуры. Управление загрузкой ВР осуществляется оперативно по запросу пользователя при минимальных эксплуатационных затратах. Принципиальной особенностью ОТ является акцент на преобладающем самообслуживании его пользователей. Как показывает анализ развития on-line сервисов, объем применения ОТ неуклонно растет [1].

Доступ к необходимым пользователю ВР обеспечивает облачный провайдер. Если он является сторонней организацией и ресурсы предоставляются посредством интернет - облако будет называться публичным (public cloud). При таком подходе полное техническое обслуживание затребованных ресурсов осуществляется сторонней организацией. При этом количество ресурсов в облаке является условно бесконечным – потребитель получает ровно столько ресурсов, сколько запрашивает.

Если облачным провайдером является ИТ отдел организации, а ресурсы предоставляются внутри ИС, то облако является частным (private cloud). Частное облако, это облако организации, которое для пользователей выглядит как публичное. Оно обладает всеми достоинствами частного облака, но функционирует на базе локального ЦОД. Такой подход получил наибольшее распространение в данное время. Он позволяет сохранить пользователям полный контроль над своими данными, которые не всегда возможно разместить в публичном облаке по требованиям безопасности и конфиденциальности [2].

При создании частного облака ИТ инфраструктура организации централизируется и виртуализируется. То есть все ВР собираются в один вычислительный кластер, затем делятся на логические разделы (виртуальные машины (ВМ)) и выдаются пользователям. Таким образом общие аппаратные ресурсы организации могут быть использованы для разных задач. Как показывает статистика, ВМ демонстрируют производительность на уровне аналогичных аппаратных платформ [3]. Внедрение частного облака уменьшает сложность ИТ инфраструктуры, повышает ее управляемость, а также позволяет оптимизировать использование имеющихся ресурсов. Экономия в облачной модели достигается за счет эффективного использования разделяемого пула ВР. Оптимизация возможна и за счет централизованного администрирования - качество управления повышается, число системных администраторов уменьшается [4].

Существуют также общественные облака (community cloud) для использования сообществами пользователей или организаций, а также гибридные облака (hybrid cloud). Гибридным облаком называется комбинация частного и публичного облака – организация использует свое частное облако, но при нехватке собственных ресурсов дополнительные мощности заказываются в публичных облаках.

Существуют три основные сервисные модели облака: SaaS (Software as a Service — «программное обеспечение как сервис»), IaaS (Infrastructure as a Service — «инфраструктура как сервис») и PaaS (Platform as a Service — «платформа как сервис») [5].

Программное обеспечение как услуга - Cloud Software as a Service (SaaS). В этом случае пользователю предоставляется программное обеспечение (ПО) - приложения провайдера, выполняемые на "облаке". ПО используется различными клиентами в гетерогенной среде. Потребитель не управляет и не контролирует саму облачную инфраструктуру, на которой выполняется приложение, будь то сети, серверы, операционные системы, системы хранения или даже некоторые специфичные для приложений возможности. В ряде случаев, потребителю может быть предоставлена возможность доступа к некоторым пользовательским конфигурационным настройкам.

Платформа как услуга - Cloud Platform as a Service (PaaS). Используется разработчиками и интеграторами ПО. Потребителю предоставляются средства для развертывания на облачной инфраструктуре создаваемых или приобретаемых приложений, разрабатываемых с использованием поддерживаемых провайдером инструментов и языков программирования.

Инфраструктура как услуга - Cloud Infrastructure as a Service (IaaS). Потребителю предоставляются средства обработки данных, хранения, сетей и других базовых ВР, на которых потребитель может развертывать и выполнять произвольное ПО, включая операционные системы и приложения. Потребитель не управляет и не контролирует саму облачную инфраструктуру, но может контролировать операционные системы, средства хранения, развертываемые приложения и, возможно, обладать ограниченным контролем над выбранными сетевыми компонентными (например, сетевой экран хоста, управляемого потребителем).

Каждая из перечисленных сервисных моделей может иметь свои подвиды, в зависимости от типа предоставляемых услуг. Одну из актуальных задач предприятий решает сервисная модель DaaS (Desktop as a Service) – рабочий стол как сервис.

DaaS является одним из видов частного облака сервисной модели IaaS. Если в классическом IaaS обычно предоставляются ресурсы для размещения серверных приложений, то DaaS предоставляет ресурсы для использования графического интерфейса пользователя операционных систем, размещенных на сервере. DaaS базируется на соответствующей ИТ инфраструктуре – инфраструктуре виртуальных рабочих мест или VDI (Virtual Desktop Infrastructure).

Традиционно каждое рабочее место представляет собой персональный компьютер и набор периферийных устройств. Такой подход имеет ряд недостатков [6-8]:

• устаревание парка персональных компьютеров и необходимость его замены каждые 4-5 лет;
• высокие затраты обслуживание, каждый персональный компьютер необходимо отдельно настраивать;
• простаивание ресурсов при отсутствии сотрудника на рабочем месте;
• отсутствие доступа к данным вне рабочего места.

На смену традиционному принципу организации рабочего пространства приходит концепция DaaS [9].

Виртуализация рабочего места — это разделение персонального компьютера на две части: серверную и клиентскую. Основная функциональная часть переносится на сторону сервера. На клиентской части остается только периферия. То есть, в наиболее распространенном варианте, перед конечным пользователем остается монитор, мышка, клавиатура и небольшое устройство для подключения вышеперечисленного к сети. При этом пользователь может подключиться к своему компьютеру не только со своего рабочего места, но и с любого устройства подключенного к сети интернет.

Такой подход обладает рядом преимуществ перед классическим использованием персональных компьютеров [10 - 12]:

• упрощение администрирования: каждое рабочее место является копией однократно настроенного виртуального компьютера;
• повышение мобильности сотрудников: архитектура виртуальных рабочих мест позволяет настроить удаленное подключение к любому виртуальному компьютеру в корпоративной сети;
• упрощение обновления оборудования: при замене серверного оборудования есть возможность сохранить все персональные виртуальные компьютеры всех сотрудников в неизменном виде;
• экономия ресурсов: за каждым виртуальным компьютером не закреплены определенные физические ресурсы, что позволяет использовать меньше вычислительных ресурсов, чем это необходимо для исходного количества персональных компьютеров.

Для создания DaaS облака необходимо создать соответствующую VDI инфраструктуру. Так как, вычислительные ресурсы в облаке выделяются пользователями самостоятельно, предсказывать потребляемую нагрузку затруднительно. Кроме того, каждая ВМ может потреблять разное количество ресурсов, в зависимости от ее нагрузки. Для определения потребляемых ВМ ресурсов применяют алгоритмы предсказания нагрузки [13].

Также в данном случае играет важную роль организация системы хранения данных (СХД) и алгоритм размещения виртуальных машин на вычислительных серверах – чем плотнее будут располагаться ВМ, тем меньше нужно серверов. Плотное расположение ВМ на серверах позволит также выключать ВС при низкой загрузке, что обеспечит режим энергоэффективности [14]. Основной проблемой является автоматическое выделение оптимального количества аппаратных ресурсов в комплексе виртуализации для обеспечения эффективной и бесперебойной работы облака.

 

1 Инфраструктура облака виртуальных рабочих мест

Первоочередной задачей при проектировании облака виртуальных рабочих мест (ВРМ) является оценка потребности в вычислительных ресурсах. Для выполнения заявленной задачи, на первом этапе, определим структуру проектируемого комплекса.

В составе облака можно выделить программную и аппаратную составляющие. Аппаратными компонентами являются: системы хранения данных, вычислительные сервера, сетевая инфраструктура и клиентские устройства. Программные компоненты: ПО управления СХД, монитор виртуальных машин, ПО управления монитором виртуальных машин, клиентское ПО удаленного доступа. Структура типового аппаратно-программного комплекса виртуализации изображена на рисунке 1.

Рис. 1 - Структура типового аппаратно-программного комплекса виртуализации рабочих мест

Для запуска приложений пользователи с клиентских устройств удаленно подключаются к виртуальным машинам, запущенным на вычислительных серверах. При этом файлы виртуальных машин (виртуальные жесткие диски) хранятся в системе хранения данных. Обмен данными между компонентами системы обеспечивается при помощи сетевой инфраструктуры, состоящей из коммутационного оборудования (коммутаторы или маршрутизаторы) и среды передачи(кабелей).

На клиентских местах должно быть установлено специальное ПО для удаленного доступа к виртуальным машинам. Работу виртуальных машин обеспечивает монитор ВМ, установленный на ВС. Отдельные компоненты монитора ВМ могут также обеспечивать балансировку нагрузки между ВС. Данные ВМ хранятся на системе хранения данных. Обращения к этим данным от монитора ВМ обрабатываются контроллерами СХД.

Для обеспечения отказоустойчивости применяют несколько ВС, которые заменяют друг друга в случае отказа. При этом, ВМ запущенные на одном сервере, мигрируют на другой без остановки (работа ВМ в этом случае приостанавливается на несколько секунд). СХД так же должна содержать несколько контроллеров, для бесперебойной обработки запросов от ВС. Данные в СХД хранятся в RAID массивах, что позволяет сохранить данные, даже если некоторые диски вышли из строя. На рисунке 2 видно, что структура комплекса обеспечивает отказоустойчивость всех элементов системы:

Рис. 2 – Обеспечение отказоустойчивости комплекса виртуализации

Особенностью частных облаков ориентированных на работу с виртуальными рабочими столами, является большой объем графической информации, передаваемый от ВС к клиентскому устройству. Таким образом, при проектировании частного облака с предоставлением рабочего стола, необходимо уделить отдельное внимание пропускной способности сетевой инфраструктуры.

2 Математическая модель частного облака виртуальных рабочих мест

Для оценки необходимых ресурсов для построения частного облака среды конструкторско-технологического проектирования [8, 10, 11] построим ее математическую модель. За основу, возьмем математическую модель представленную в работе [15], дополнив ее расчетом оптимального количества узлов кластера по критерию эффективности. При этом будем учитывать непредсказуемость развертывания и уничтожения виртуальных машин в частном облаке. Пример подобного поведения системы показан на рисунке 3. В течение некоторого периода времени развертываются виртуальные машины 2, 5 и 11. ВМ 1 и 5 останавливаются, а 6, 7 и 8 продолжают работу. При этом все эти действия происходят в разное время.

Рис. 3 – Поведение виртуальных машин в облаке

Будем считать, что аппаратно-программный комплекс состоит из M вычислительных серверов. Каждый сервер может быть описан с помощью R параметров (процессор, оперативная память и так далее). Каждый j сервер обладает известной емкостью C_jk, для каждого ресурса k, где  и . Обозначим k=1 за параметр процессора.

Каждая ВМ i требует некоторое минимальное количество ресурсов r_ik по каждому параметру k. Назовем это резервом ресурсов. В случае если на вычислительном сервере отсутствует минимальное количество ресурсов, виртуальная машина не будет развернута.

Если резерв, это статически определенный параметр, то запрос это динамически изменяющийся параметр определяющий реальную потребность в ресурсах.

В каждый момент времени активные ВМ можно условно разделить на уже размещенные ВМ, и те которые необходимо разместить. Запишем это в виде формулы:

(1)

где placed(t) это уже размещенные ВМ, removed(t) – выключенные ВМ, added(t) – ВМ, готовые к размещению.

Размещение ВМ облаке может быть описано двумя переменными: потребления процессорного ресурса и размещение на вычислительном сервере.

Первая переменная описывает сколько виртуальных процессоров было назначено виртуальной машине. Вторая переменная показывает связь между вычислительным сервером и ВМ. То есть бинарная переменная x_ij(t)=1 если в момент времени t виртуальная машина i находится на вычислительном сервере j.

Примем, что комплекс виртуализации достаточно велик для размещения всех запросов. В этом случае выполняется равенство:

(2)

Для каждого типа ресурсов должно быть гарантирована возможность их размещения. Сумма всех зарезервированных ресурсов не должна превышать емкость сервера по данному ресурсу.

(3)

Выражение для процессорного ресурса будет выглядеть:

(4)

Перейдем от оценки ресурсов сервера к оценке ресурсов всего облака. При построении частного облака мы можем прогнозировать будущую загрузку ВС, так как количество пользователей облака конечно и известно нам. Перспективным является использование нейросетевых технологий для реализации динамического предсказания загрузки ВС [16-20]. При построении публичного облака такая возможность отсутствует, так как количество пользователей заранее не известно. В этом случае возможно использовать статические методы прогнозной оценки, реализуемые на основе наполненных данных по эксплуатации комплекса.

Определим необходимое число ВС частного облака. При этом, примем, что количество ВМ и их потребление процессорного ресурса известно.

Пусть нам необходимо разместить N виртуальных машин на M вычислительных серверах. Суммарное количество ресурсов всех ВМ не должно превышать суммарного количества ресурсов вычислительных серверов:

(5)

Данное условие является необходимым, однако оно не гарантирует размещения всех ВМ на серверах. Например, может случится так, что даже при выполнении этого условия некоторым ВМ не хватит ресурсов: эти ресурсы будут в доступны в небольшом количестве на всех серверах, но не найдется ни одного сервера с достаточным количеством этого ресурса для размещения ВМ. Количество необходимых вычислительных серверов будет зависеть от оптимальности размещения ВМ в облаке.

Задача оптимального размещения ресурсов по сути является задачей об упаковке применимой к технологии виртуализации [21]. Данная задача известна также как «задача об упаковке в контейнеры» или «задача о рюкзаке». Доказано, что данная задача является NP-трудной [22], поэтому для ее решения применяют алгоритмы которые дают приблизительный результат [22, 23]. Для небольших объемов данных можно воспользоваться не полиномиальными алгоритмами [23]. Самым очевидным таким алгоритмом является перебор, имеющий экспоненциальную сложность. Если при размещении ресурсов нужно учесть один параметр, используются одномерные алгоритмы, если таких параметров много, используются многомерные алгоритмы.

Учитывая, что при размещении новой ВМ разрешены миграции уже размещенных ВМ, можно воспользоваться алгоритмами офлайн размещения. Такие алгоритмы дают наиболее близкий к оптимальному результат. Например, доказано, что алгоритм FFD дает результат не более чем  [22], где OPT – минимально возможное количество серверов. Однако, при применении офлайн алгоритмов, добавление каждого нового сервера может привести к большому количеству миграций уже существующих ВМ. Таким образом, применение данных алгоритмов возможно только в системах, где включение и выключение ВМ происходит не так часто, и допустима приостановка работы ВМ на несколько секунд (происходит во время переключения ВМ с сервера на сервер). Миграция ВМ также создает дополнительную нагрузку на локальную сеть, поскольку при миграции происходит перемещение данных оперативной памяти с сервера на сервер.

Применение офлайн алгоритмов допустимо в комплексах виртуализации рабочих мест в условиях ограниченных ресурсов. В этом случае, ВМ не выключаются по окончании работы пользователя, что обеспечивает низкое количество новых размещений и, соответственно, миграций. В том случае, если миграция осуществляется во время работы пользователя с ВМ, происходит замирание мыши на несколько секунд, что также не является критичным.

Для нахождения нижней границы оценки минимального количества вычислительных серверов, воспользуемся оценкой Мартелло-Тосса (Martello&Toth) [23]. При этом, добавим параметр времени, для динамической оценки емкости комплекса виртуализации. Примем, что все вычислительные сервера в нашем облаке одинаковые, то есть:

(6)

Учтем также, что потребление ресурсов виртуальных машин может меняться во времени. В момент времени t для произвольного  разобьем множество планируемых для развертывания виртуальных машин active(t) на подмножества a1(t), a2(t), a3(t), так что:

(7)

Таким образом, подмножество a1(t) будет состоять из больших ВМ, a2(t) из средних, а a3(t) из маленьких.

Нижней оценкой оптимального количества серверов будет являться:

(8)

Произвести нижняя оценка оптимального количества серверов необходимо также с учетом выбранного параметра α:

(9)

Полученные результаты округляются до целого в большую сторону. Итоговой нижней оценкой оптимального количества серверов будет являться:

(10)

В случае консервативной оценки необходимого количества серверов, предположим, что пиковые значения потребления ресурсов всех ВМ наступает одновременно. Будем считать также что в этот момент количество развернутых ВМ максимально. При таком подходе мы перестраховываемся от возможной нехватки ресурсов на серверах. Запишем формулы для данного подхода.

Пусть . То есть в множестве   количество ВМ максимально. В таком случае:

(11)

Нижняя оценка оптимального количества серверов:

	(12)
	(13)
	(14)

Более реалистичную оценку можно получить по формулам 8-10 в момент времени t` при условии:

(14)

То есть, общая загрузка серверов в момент времени t`максимальна. Такой подход к оценке необходимого количества вычислительных серверов является агрессивным и позволяет найти минимум необходимых ресурсов.

Очевидно, что верхнюю оценку оптимального количества серверов можно получить, умножив полученный по формуле 10 результат на коэффициент R, зависящий от используемого алгоритма размещения ВМ на серверах. Коэффициент R является гарантированной относительной точностью алгоритма и вычисляется по формуле:

(15)

где L – получившееся число серверов данным алгоритмом, OPT – оптимальное количество серверов. Максимальное значение коэффициента R рассчитано для большинства известных алгоритмов [23] и является табличным значением. В таблице 1 приведены значения коэффициента R для самых распространенных алгоритмов: «следующий подходящий» (NF), «первый подходящий» (FF), «наилучший подходящий» (BF), «первый подходящий с упорядочиванием» (FFD), «следующий подходящий с упорядочиванием» (NFD), «наилучший подходящий с упорядочиванием» (BFD).

Таблица 1 – Значение коэффициента R для различных алгоритмов оптимального размещения

	Онлайн алгоритмы			Офлайн алгоритмы
Алгоритм	NF	FF	BF	NFD	FFD	BFD
Значение R	2.000	1.700	1.700	1.691	1.222	1.222

При проведении подобной оценки необходимо учитывать динамическое изменение потребляемых ресурсов в облаке – пользователи самостоятельно запускают и останавливают ВМ в общем пуле ресурсов. В связи с этим для определения необходимого количества ресурсов нужно определить каким образом будет изменятся количество запущенных ВМ в облаке, а также как будет меняться их потребность в ресурсах.

Заключение

Внедрение облачных технологий в ИТ инфраструктуру предприятий позволяет значительно сократить расходы на ее сопровождение за счет оптимизации использования аппаратных ресурсов и упрощения администрирования. Облако виртуальных рабочих мест (DaaS) в данном случае не является исключением – его внедрение приведет к виртуализации рабочих мест и централизации ИТ инфраструктуры. При переходе организации от классических персональных компьютеров к виртуальным рабочим местам необходимо построить инфраструктуру виртуальных рабочих мест (VDI).

При проектировании VDI облака необходимо решить задачу оценки необходимого числа узлов кластера виртуализации на котором будут располагаться виртуальные машины пользователей. Другим фактором, от которого зависит необходимое количество узлов является алгоритм размещения виртуальных машин на ВС. Выбор оптимального алгоритма определяет наиболее плотное размещение ВМ, что приведет к уменьшению необходимого числа узлов.

Для того чтобы учесть вышеперечисленные условия в работе предложена модель оценки необходимого количества узлов кластера виртуализации, основанная на решении задачи об оптимальной упаковке. Использование такого аппарата становится жизненно важным при проектировании облачных платформ с большим объемом потребления. Данный алгоритм определения необходимого количества узлов универсален и может применяться при решении задач проектирования облачных платформ самого разного назначения [6-8, 10-12].

 

Литература

1. XaaS Check 2010 Status Quo und Trends im Cloud Computing. XaaS Check [Электронный ресурс]. Режим доступа: http://www.xaas-check.eu/download.php?cat=00_Willkommen&file=2010-XaaS-Check-Report.pdf, свободный. Яз. нем. (дата обращения 04.12.2013).
2. Беккер М.Я., Гатчин Ю.А., Кармановский Н.С., Терентьев А.О., Федоров Д.Ю. Информационная безопасность при облачных вычислениях: проблемы и перспективы - Научно-технический вестник Санкт-Петербургского университета информационных технологий, механики и оптики. 2011 №1(71) с.98.
3. Jamal M., Qadeer A., Waqar M., Waheed A., Ding J., Virtual Machine Scalability on Multi-Core Processors Based Servers for Cloud Computing Workloads - University of Engineering and Technology 2008, Lahore, Pakistan.
4. Prodan R., Ostermann S. A Survey and Taxonomy of Infrastructure as a Service and Web Hosting Cloud Providers - Institute of Computer Science, 2009 Innsbruck.
5. Cloud-based Desktop Services for Thin Clients [Электронный ресурс]. Режим доступа: https://biblio.ugent.be/input/download?func=downloadFile&recordOId=3234753&fileOId=3234767, свободный. Яз. англ. (дата обращения 08.05.2014).
6. Власов А.И., Журавлева Л.В., Шарипов Н.Р., Шарипова А.Ф. АРХИТЕКТУРА АДАПТИВНЫХ МУЛЬТИСЕРВИСНЫХ ИНФОРМАЦИОННО-ОБРАЗОВАТЕЛЬНЫХ СИСТЕМ // Научное обозрение. 2012. № 6. С. 152-154.
7. Власов А.И., Овчинников Е.М. БАНКОВСКИЕ И КОРПОРАТИВНЫЕ АВТОМАТИЗИРОВАННЫЕ ИНФОРМАЦИОННЫЕ СИСТЕМЫ. ПРИНЦИПЫ, СРЕДСТВА И СИСТЕМЫ ДОКУМЕНТООБОРОТА КОММЕРЧЕСКОГО БАНКА - Москва. УЦ "Газпром". 1999. 107 с.
8. Верейнов К.Д., Власов А.И., Дудко В.Г., Тимошкин А.Г. КОНЦЕПЦИЯ КОМПЛЕКСНОЙ АВТОМАТИЗАЦИИ СИСТЕМ УПРАВЛЕНИЯ ПРОИЗВОДСТВОМ И РАЗРАБОТКАМИ НА БАЗЕ СОВРЕМЕННОГО АППАРАТНОГО И ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ // Вопросы радиоэлектроники. Серия: Автоматизированные системы управления производством и разработками. 1994. № 2. С. 50-66.
9. Calcavecchia N., Biran O., Hadad E., Moatti Y. VM Placement Strategies for Cloud Scenarios - IBM Haifa Research Lab, 2011, Haifa, Israel.
10. Власов А.И., Михненко А.Е. ИНФОРМАЦИОННО-УПРАВЛЯЮЩИЕ СИСТЕМЫ ДЛЯ ПРОИЗВОДИТЕЛЕЙ ЭЛЕКТРОНИКИ // Производство электроники. 2006. № 3. С. 15-21.
11. Власов А.И., Михненко А.Е. ПРИНЦИПЫ ПОСТРОЕНИЯ И РАЗВЕРТЫВАНИЯ ИНФОРМАЦИОННОЙ СИСТЕМЫ ПРЕДПРИЯТИЯ ЭЛЕКТРОННОЙ ОТРАСЛИ // Производство электроники. 2006. № 4. С. 5-12.
12. Яковлев В.Л., Яковлева Г.Л., Власов А.И. МЕТОДОЛОГИЯ ПОСТРОЕНИЯ ИНТЕГРИРОВАННЫХ ФИНАНСОВО-ЭКОНОМИЧЕСКИХ ЭКСПЕРТНО-АНАЛИТИЧЕСКИХ СИСТЕМ // В сборнике: Молодые ученые - науке, технологиям и профобразованию для устойчивого развития: проблемы и новые решения Сборник тезисов докладов международной конференции СНГ. 1999. С. 81-85.
13. Prasad Saripalli, GVR Kiran, Ravi Shankar R, Harish Narware, Nitin Bindal Load Prediction and Hot Spot Detection Models for Autonomic Cloud Computing - Fourth IEEE International Conference on Utility and Cloud Computing 2011.
14. Pedram M., Hwang I., Power and Performance Modeling in a Virtualized Server System - University of Southern California, 2009 Los Angeles.
15. Bichler M., Speitkamp B. A Mathematical Programming Approach for Server Consolidation Problems in Virtualized Data Centers - IEEE TRANSACTIONS ON SERVICES COMPUTING. 2010 VOL.3 p.4.
16. Шахнов В.А., Власов А.И., Поляков Ю.А., Кузнецов А.С. НЕЙРОКОМПЬЮТЕРЫ: АРХИТЕКТУРА И СХЕМОТЕХНИКА - М.: Изд-во Машиностроение. 2000. Приложение к журналу "Информационные технологии". 64 с.
17. Власов А.И. АППАРАТНАЯ РЕАЛИЗАЦИЯ НЕЙРОВЫЧИСЛИТЕЛЬНЫХ УПРАВЛЯЮЩИХ СИСТЕМ // Приборы и системы. Управление, контроль, диагностика. 1999. № 2. С. 61-65.
18. Власов А.И., Колосков С.В., Пакилев А.Е. НЕЙРОСЕТЕВЫЕ МЕТОДЫ И СРЕДСТВА ОБНАРУЖЕНИЯ АТАК НА СЕТЕВОМ УРОВНЕ // В сборнике: Нейроинформатика-2000 2-я Всероссийская научно-техническая конференция: сборник научных трудов в 2 частях. Сер. "Научная сессия МИФИ-2000". 2000. С. 30-40.
19. Власов А.И., Цыганов И.Г. АРХИТЕКТУРА КОРПОРАТИВНОЙ МНОГОАГЕНТНОЙ АВТОМАТИЗИРОВАННОЙ СИСТЕМЫ ФИЛЬТРАЦИИ ИНФОРМАЦИОННЫХ ПОТОКОВ // Информационные технологии. 2005. № 1. С. 34-41.
20. Власов А.И., Иванов В.В., Косолапов И.А. МЕТОДЫ УПРЕЖДАЮЩЕГО ПРОГНОЗИРОВАНИЯ СОСТОЯНИЯ ШИРОКОПОЛОСНОЙ СЕТИ СВЯЗИ // Программные продукты и системы. 2011. № 1. С. 1.
21. Hochbaum D. Approximation Algorithms for NP-Hard Problems - PWS Publishing 1996, Boston, p. 46-93
22. Гимади Э.Х., Залюбовский В.В. Задача об упаковки в контейеры: асимптотически точный подход // Известия высших учебных заведений. 1997 №12(427), с.1.
23. Martello S., Toth P. Knapsack problems. Algorithms and Computer Implementations - John Wiley & Sons. 1990 Chichester p.32-36.

References

1. XaaS Check 2010 Status Quo und Trends im Cloud Computing. XaaS Check [Jelektronnyj resurs]. Rezhim dostupa: http://www.xaas-check.eu/download.php?cat=00_Willkommen&file=2010-XaaS-Check-Report.pdf, svobodnyj. Jaz. nem. (data obrashhenija 04.12.2013).
2. Bekker M.Ja., Gatchin Ju.A., Karmanovskij N.S., Terent'ev A.O., Fedorov D.Ju. Informacionnaja bezopasnost' pri oblachnyh vychislenijah: problemy i perspektivy - Nauchno-tehnicheskij vestnik Sankt-Peterburgskogo universiteta informacionnyh tehnologij, mehaniki i optiki. 2011 №1(71) s.98.
3. Jamal M., Qadeer A., Waqar M., Waheed A., Ding J., Virtual Machine Scalability on Multi-Core Processors Based Servers for Cloud Computing Workloads - University of Engineering and Technology 2008, Lahore, Pakistan.
4. Prodan R., Ostermann S. A Survey and Taxonomy of Infrastructure as a Service and Web Hosting Cloud Providers - Institute of Computer Science, 2009 Innsbruck.
5. Cloud-based Desktop Services for Thin Clients [Jelektronnyj resurs]. Rezhim dostupa: https://biblio.ugent.be/input/download?func=downloadFile&recordOId=3234753&fileOId=3234767, svobodnyj. Jaz. angl. (data obrashhenija 08.05.2014).
6. Vlasov A.I., Zhuravleva L.V., Sharipov N.R., Sharipova A.F. ARHITEKTURA ADAPTIVNYH MUL''TISERVISNYH INFORMACIONNO-OBRAZOVATEL''NYH SISTEM // Nauchnoe obozrenie. 2012. № 6. S. 152-154.
7. Vlasov A.I., Ovchinnikov E.M. BANKOVSKIE I KORPORATIVNYE AVTOMATIZIROVANNYE INFORMACIONNYE SISTEMY. PRINCIPY, SREDSTVA I SISTEMY DOKUMENTOOBOROTA KOMMERChESKOGO BANKA - Moskva. UC "Gazprom". 1999. 107 s.
8. Verejnov K.D., Vlasov A.I., Dudko V.G., Timoshkin A.G. KONCEPCIJa KOMPLEKSNOJ AVTOMATIZACII SISTEM UPRAVLENIJa PROIZVODSTVOM I RAZRABOTKAMI NA BAZE SOVREMENNOGO APPARATNOGO I PROGRAMMNOGO OBESPEChENIJa // Voprosy radiojelektroniki. Serija: Avtomatizirovannye sistemy upravlenija proizvodstvom i razrabotkami. 1994. № 2. S. 50-66.
9. Calcavecchia N., Biran O., Hadad E., Moatti Y. VM Placement Strategies for Cloud Scenarios - IBM Haifa Research Lab, 2011, Haifa, Israel.
10. Vlasov A.I., Mihnenko A.E. INFORMACIONNO-UPRAVLJaJuShhIE SISTEMY DLJa PROIZVODITELEJ JeLEKTRONIKI // Proizvodstvo jelektroniki. 2006. № 3. S. 15-21.
11. Vlasov A.I., Mihnenko A.E. PRINCIPY POSTROENIJa I RAZVERTYVANIJa INFORMACIONNOJ SISTEMY PREDPRIJaTIJa JeLEKTRONNOJ OTRASLI // Proizvodstvo jelektroniki. 2006. № 4. S. 5-12.
12. Jakovlev V.L., Jakovleva G.L., Vlasov A.I. METODOLOGIJa POSTROENIJa INTEGRIROVANNYH FINANSOVO-JeKONOMIChESKIH JeKSPERTNO-ANALITIChESKIH SISTEM // V sbornike: Molodye uchenye - nauke, tehnologijam i profobrazovaniju dlja ustojchivogo razvitija: problemy i novye reshenija Sbornik tezisov dokladov mezhdunarodnoj konferencii SNG. 1999. S. 81-85.
13. Prasad Saripalli, GVR Kiran, Ravi Shankar R, Harish Narware, Nitin Bindal Load Prediction and Hot Spot Detection Models for Autonomic Cloud Computing - Fourth IEEE International Conference on Utility and Cloud Computing 2011.
14. Pedram M., Hwang I., Power and Performance Modeling in a Virtualized Server System - University of Southern California, 2009 Los Angeles.
15. Bichler M., Speitkamp B. A Mathematical Programming Approach for Server Consolidation Problems in Virtualized Data Centers - IEEE TRANSACTIONS ON SERVICES COMPUTING. 2010 VOL.3 p.4.
16. Shahnov V.A., Vlasov A.I., Poljakov Ju.A., Kuznecov A.S. NEJROKOMP''JuTERY: ARHITEKTURA I SHEMOTEHNIKA - M.: Izd-vo Mashinostroenie. 2000. Prilozhenie k zhurnalu "Informacionnye tehnologii". 64 s.
17. Vlasov A.I. APPARATNAJa REALIZACIJa NEJROVYChISLITEL''NYH UPRAVLJaJuShhIH SISTEM // Pribory i sistemy. Upravlenie, kontrol', diagnostika. 1999. № 2. S. 61-65.
18. Vlasov A.I., Koloskov S.V., Pakilev A.E. NEJROSETEVYE METODY I SREDSTVA OBNARUZhENIJa ATAK NA SETEVOM UROVNE // V sbornike: Nejroinformatika-2000 2-ja Vserossijskaja nauchno-tehnicheskaja konferencija: sbornik nauchnyh trudov v 2 chastjah. Ser. "Nauchnaja sessija MIFI-2000". 2000. S. 30-40.
19. Vlasov A.I., Cyganov I.G. ARHITEKTURA KORPORATIVNOJ MNOGOAGENTNOJ AVTOMATIZIROVANNOJ SISTEMY FIL''TRACII INFORMACIONNYH POTOKOV // Informacionnye tehnologii. 2005. № 1. S. 34-41.
20. Vlasov A.I., Ivanov V.V., Kosolapov I.A. METODY UPREZhDAJuShhEGO PROGNOZIROVANIJa SOSTOJaNIJa ShIROKOPOLOSNOJ SETI SVJaZI // Programmnye produkty i sistemy. 2011. № 1. S. 1.
21. Hochbaum D. Approximation Algorithms for NP-Hard Problems - PWS Publishing 1996, Boston, p. 46-93
22. Gimadi Je.H., Zaljubovskij V.V. Zadacha ob upakovki v kontejery: asimptoticheski tochnyj podhod // Izvestija vysshih uchebnyh zavedenij. 1997 №12(427), s.1.
23. Martello S., Toth P. Knapsack problems. Algorithms and Computer Implementations - John Wiley & Sons. 1990 Chichester p.32-36.