Кластеры

Apache Hadoop - это платформа для распределенной обработки больших наборов данных на кластерах компьютеров с использованием простых моделей программирования. В этой книге вы познакомитесь с общей архитектурой платформы, компонентами стека, такими как HDFS и MapReduce, приложениями Hadoop.

Данная работа посвящена проблеме реализации эффективной параллельной программы, решающей поставленную задачу с использованием максимально доступного количества ресурсов вычислительного кластера, с целью получения соответствующего выигрыша в производительности по отношению к последовательной версии алгоритма. Основная цель работы заключалась в исследовании возможностей совместного использования технологий распараллеливания OpenMP и MPI с учетом характеристик и особенностей решаемых задач для повышения производительности выполнения параллельных алгоритмов и программ на вычислительном кластере. В статье проведен краткий обзор подходов к вычислению функции трудоемкости для последовательных программ. Для определения трудоемкости параллельных программ в работе был использован подход на основе пооперационного анализа. Описаны особенности технологий распараллеливания последовательных программ OpenMP и MPI. Приведены основные программно-аппаратные факторы, влияющие на скорость выполнения параллельных программ на узлах вычислительного кластера. Основное внимание в работе уделено исследованию влияния на производительность соотношения количества вычислительных и обменных операций в программе. Для реализации исследований были разработаны тестовые параллельные OpenMP- и MPI-программы, в которых задается общее количество операций и соотношение между вычислительными и обменными операциями; также в тестовых программах был предусмотрен замер времени их выполнения. В качестве программно-аппаратной платформы был использован вычислительный кластер, состоящий из нескольких узлов. Проведенные экспериментальные исследования позволили подтвердить эффективность гибридной модели параллельной программы в многоузловых системах с разнородной памятью с использованием OpenMP в подсистемах с общей памятью, а MPI – в подсистеме с распределенной памятью.

В представленной статье рассматриваются современные системы мониторинга серверов. Обозреваемая предметная область касается контроля и управления высокопроизводительными вычислительными комплексами (ВВК). Данные системы применяются в различных отраслях науки и промышленности для проведения моделирования систем и их поведения в различных условиях. Скорость проведения моделирования зависит от применяемых технических решений в составе вычислительного комплекса. К ним относят тип внутренней сети, количество и разновидности вычислительных узлов. Для вычислительных узлов рассматривают такие параметры, как архитектура и модель процессора, количество оперативной памяти. Особенности, связанные с реализацией конкретных математических моделей, влияющие на скорость расчетов, в данной статье не рассматриваются. В работе проведен анализ существующих рыночных решений и основных применяемых концепций для систем управления и мониторинга подобных комплексов. Рассматриваемые системы оцениваются с экономической и технической точек зрения. Для доступных систем проводится натурное исследование способностей по управлению кластером и мониторингу состояния. Фиксируемый системой мониторинга набор параметров берется исходя из общей архитектуры ВВК и подхода к администрированию серверных систем. Практическая часть описывает опыт проектирования и реализации перспективной системы управления. В создаваемой системе основное внимание сосредоточено на создании системы управления. Обоснование необходимости отдельного программного продукта приведено по тексту статьи. Вопросы реализации в конкретном программном коде и системной среде опущены как зависимые от конкретного исполнения системы. Задача создания собственной системы мониторинга принята ничтожной при условии наличия существующих решений.

В статье рассмотрен генезис формирования инструментария кластеризации в различных научных и практических областях и его прямое и опосредованное влияние на региональные, корпоративные и отраслевые социально-экономические системы.

Обработка больших массивов данных с помощью традиционных СУБД может оказаться трудным делом. Apache Hadoop – это каркас для разработки приложений, предназначенных для выполнения в распределенном кластере, без применения SQL. Такие приложения прекрасно масштабируются и могут обрабатывать гигантские массивы данных. Если вам требуется произвести анализ данных, то Hadoop – как раз то, что надо. Прочитав эту книгу, вы познакомитесь с предметом и научитесь писать программы в стиле MapReduce. После нескольких простых примеров автор быстро переходит к вопросу об использовании Hadoop для решения более сложных задач анализа данных. Описываются рекомендованные приемы и паттерны проектирования, полезные при программировании для MapReduce. Для чтения книги требуется знание основ языка Java. Некоторое знакомство с математической статистикой поможет разобраться в более сложных при-мерах.

В современном экономическом сообществе не прекращается дискуссия о преимуществах и недостатках, уровнях и формах реализации кластерного подхода теории повышения конкурентоспособности региона. Кластерная теория является в мире едва ли не самым модным инструментом государственной политики повышения конкурентоспособности. Впервые выдвинутая почти 20 лет назад профессором Майклом Портером, она уже активно используется многими странами на межгосударственном, государственном и региональном уровнях. Об успехах и возможности ее применения в России по просьбе редакции журнала рассказывает Алексей Праздничных – руководитель и участник различных программ по исследованию конкурентоспособности и экономическому развитию, один из экспертов, участвовавших в разработке первой «Концепции развития территориальных производственных кластеров», подготовленной Минэкономразвития (МЭРТ).

Целью данного доклада является анализ на основе международного опыта моделей организации региональных промышленных кластеров. Промышленные кластеры представляют собой одну из наиболее эффективных форм организации производства в регионах. Они позволяют выявить и реализовать экономический потенциал регионов на базе развития конкурентоспособных экспортных производств. Поэтому тема развития промышленных кластеров актуальна для современного этапа развития экономики российских регионов. Первая часть доклада содержит изложение теоретических основ промышленных кластеров: определение и критерии отнесения к промышленным кластерам, анализ взаимосвязей между фирмами внутри кластера, предпосылки создания кластеров и этапы их развития. Особое внимание уделяется тому, за счет каких факторов кластеры могут активно развиваться и достигать конкурентных преимуществ на мировом рынке. Во второй части доклада проводится выделение и анализ моделей организации промышленных кластеров на примере различных стран и отраслей. Рассматривается опыт США, Германии, Италии, Японии, Финляндии, Индии, Китая, Южной Кореи. В качестве отраслей для анализа используются автомобилестроение, фармацевтика, электротехническая промышленность, деревообработка, химическая промышленность, керамика. Для каждой выделенной модели организации промышленного кластера проводится оценка условий ее применимости. Особое внимание в докладе уделено международному опыту функционирования институтов развития в промышленных кластерах, а также мерам государственной кластерной политики. Выделяемые в докладе модели организации промышленных кластеров позволяют представить альтернативы для выбора пути развития промышленных кластеров в регионе, в частности, в Свердловской области.

Целью данного доклада является анализ на основе международного опыта моделей организации региональных промышленных кластеров. Промышленные кластеры представляют собой одну из наиболее эффективных форм организации производства в регионах. Они позволяют выявить и реализовать экономический потенциал регионов на базе развития конкурентоспособных экспортных производств. Поэтому тема развития промышленных кластеров актуальна для современного этапа развития экономики российских регионов. Первая часть доклада содержит изложение теоретических основ промышленных кластеров: определение и критерии отнесения к промышленным кластерам, анализ взаимосвязей между фирмами внутри кластера, предпосылки создания кластеров и этапы их развития. Особое внимание уделяется тому, за счет каких факторов кластеры могут активно развиваться и достигать конкурентных преимуществ на мировом рынке. Во второй части доклада проводится выделение и анализ моделей организации промышленных кластеров на примере различных стран и отраслей. Рассматривается опыт США, Германии, Италии, Японии, Финляндии, Индии, Китая, Южной Кореи. В качестве отраслей для анализа используются автомобилестроение, фармацевтика, электротехническая промышленность, деревообработка, химическая промышленность, керамика. Для каждой выделенной модели организации промышленного кластера проводится оценка условий её применимости. Особое внимание в докладе уделено международному опыту функционирования институтов развития в промышленных кластерах, а также мерам государственной кластерной политики. Выделяемые в докладе модели организации промышленных кластеров позволяют представить альтернативы для выбора пути развития промышленных кластеров в регионе, в частности, в Свердловской области.

Взаимоотношения между предприятиями внутри кластера раскрывают источники эффективности и конкурентоспособности этой формы территориальной организации производства. В данной статье на примере Италии проводится исследование опыта в сфере формирования кластеров малого и среднего бизнеса, где кластеризация стала дополнительным источником повышения конкурентоспособности малых фирм. Изучение такого международного опыта полезно для России, в которой значение малого и среднего предпринимательства для экономики пока недооценено.

В статье на широком теоретическом материале рассматривается проблема содержания и форм участия университетов в развитии кластерной экономики. Автор раскрывает направления участия вуза в повышении конкурентоспособности регионального кластера, описывает формы и модели трансферта технологий, способствующих созданию конкурентных и технологических преимуществ кластера промышленных предприятий региона.

В статье рассмотрено понятие конкурентоспособности туристского продукта, особенности формирования туристской дестинации. Конкурентоспособность кластера развлекательного туризма проанализирована на примере Сочинского региона. Представлено описание ресурсов, инфраструктуры и факторов, влияющих на развитие данного кластера в исследуемом регионе, даны выводы и рекомендации.

Статья посвящена анализу кластерных отношений как фактора конкурентоспособности предприятий применительно к российскому автомобилестроению. В рамках исследования проведен анализ пространственной структуры производства продукции автомобилестроения в России, выявлены крупнейшие региональные центры (потенциальные кластеры), исследованы особенности взаимодействия компаний с конкурентным окружением в двух регионах России. Результаты исследования позволяют сделать вывод о том, что в случае анализируемой отрасли географическая концентрация, являющаяся преимущественно наследием плановой экономики, не может служить основанием для идентификации региональных центров производства как кластеров из-за низкого уровня кооперации между участниками экономических отношений. Тем не менее существуют предпосылки для развития кластерных отношений в анализируемой отрасли и, более того, свидетельства о наличии положительной связи между открытостью компании к взаимодействию с окружением и ее инновационной активностью.

Журнал продолжает публикацию учебника доктора экономических наук Раиса Ахметовича Фатхутдинова «Управление конкурентоспособностью организации». Четвертая тема посвящена проблемам нахождения дополнительных синергетических резервов повышения конкурентоспособности фирм на основе формирования кластеров. Автор раскрывает принципы управления конкурентоспособностью в условиях глобализации, факторы повышения качества и эффективности решений по конкурентоспособности; исследует всеобщие, общие и специфические функции управления конкурентоспособностью – на основе системного подхода раскрывает структуру управления организацией, ориентированной на конкурентоспособность.

Статья посвящена возможности применения когнитивных моделей для обработки текста при решении задачи создания проблемно ориентированной базы данных. Приведена обобщенная схема когнитивного моделирования информационного обеспечения систем построения молекулярно-биологических баз знаний. Рассмотрено создание проблемно ориентированной базы данных с разделением элементов по кластерам.

В статье описана разработка информационной системы для автоматизации деятельности группы угольных предприятий, организованных в экономический производственно-энергетический кластер с целью повышения рентабельности и снижения себестоимости конечного продукта. Представлен примерный план организации экономического кластера угольной промышленности, детально рассмотрена необходимость наличия фабрик и цехов. В работе описана номенклатура выпускаемой продукции, получаемой при глубокой переработке углеродсодержащих материалов, и актуальные цены на них. Представлена метамодель объектной системы, используемой для описания классов, ассоциаций и атрибутов. Описана иерархия классов для представления валидационных правил. Описаны наиболее популярные методы (паттерны) объектно-реляционного отображения. В статье представлена базовая архитектура разрабатываемой корпоративной информационной системы, обеспечивающей эффективное функционирование звеньев в едином кластере.

В работе анализируются особенности программирования графических приложений с обработкой и визуализацией больших объемов данных на высокопроизводительных гибридных вычислительных кластерных системах. Рассмотрена гибридная архитектура вычислительного кластера, с помощью которой возможна реализация параллелизма с применением технологий CUDA и MPI на трех уровнях: узлы кластера, многоядерность и графические процессоры видеоплаты. Предложен подход к организации гибридного параллелизма и получена оценка его эффективности на примере реализации на гибридном кластере программного комплекса визуализации синоптических данных.

В статье предлагается параллельная версия одного из алгоритмов кластеризации, принцип работы которого основан на так называемом жадном подходе. Для решения задачи распараллеливания алгоритма была выбрана технология CUDA, разработанная компанией NVIDIA. Приводятся программный код и результаты вычислительных экспериментов для матриц схожести разного размера.

Представлен оригинальный подход к отысканию максимального независимого множества (максимальной клики) в нечетком графе. Подход базируется на представлении нечетких отношений формулами многозначных логик Я. Лукасевича и использованием их для интерпретации модальных отношений. Модальность типа «возможно» интерпретируется формулой трехзначного исчисления со значением истинности не ниже 0,5; модальность типа «необходимо» интерпретируется формулой трехзначного исчисления со значением истинности, равным 1. Введены правила исчисления выводов в нечетких модальных системах, позволяющие находить трехзначные эквиваленты произвольных модальных формул.

Рассматривается архитектура интерпретатора декларативного языка программирования серверной стороны. Представленный интерпретатор предназначен для работы в высоконагруженных облачных вычислительных комплексах. Исследуются инструменты разработки проекта. Предлагается серверная архитектура. В интерпретаторе выявляются наиболее уязвимые компоненты, требующие больших вычислительных мощностей, исследуются сторонние библиотеки на предмет эффективности. Результатом работы является производительный интерпретатор языка BML и проект его серверной архитектуры.

В работе рассматриваются два инструмента инновационной политики – технологические платформы и инновационные кластеры. Анализируется, в какой мере и как западные модели формирования таких инструментов развития были адаптированы в России. Зарубежный опыт свидетельствует о том, что эти инструменты взаимосвязаны, они могут усиливать действие друг друга, приводя к большему числу и разнообразию позитивных эффектов. В работе на примере изучения трех российских технологических платформ в разных отраслях показано, что возможности взаимного усиления инструментов в России пока не используются и фактически каждый из них существует сам по себе, в неразвитой форме. Определены те меры на уровне федерального правительства, которые помогли бы задействовать техплафтормы для развития кластеров.