Обработка данных

Предлагаемое учебное пособие содержит описание широкого спектра моделей баз данных: дореляционных, реляционных, постреляционных, в том числе моделей класса NoSQL. Несмотря на то что реляционная модель в настоящее время является доминирующей, каждая из этих моделей занимает свою нишу в области информационных технологий при решении задач обработки данных. Включенный в пособие материал входит в программы курсов лекций «Технологии баз данных» (02.03.03), «Базы данных и экспертные системы» (01.03.02), «Современные технологии баз данных» (02.04.03), читаемых студентам факультета прикладной математики и информатики. Учебное пособие может быть полезно также специалистам, занимающимся информационными технологиями и самостоятельно осваивающим вопросы разработки баз данных.

Рассмотрены способы обработки текстовой и графической информации. Уделено внимание вопросам сортировки текстовых данных, построения и сканирования графиков, поддержки диалогового режима работы, создания и систематизации графических файлов. Приведены примеры текстов программ на языке FORTRAN с подробными комментариями. Издание предназначено для научных работников и инженеров, занятых расчетами и обработкой экспериментальных данных, а также преподавателей, студентов и аспирантов технических вузов.

Рассматриваются статистические задачи и методы их решения в системах пассивной сейсмической локации (ПСЛ), эффективность которых в значительной мере определяется применяемыми методами обработки сигналов. Исследуются основные локационные задачи, такие как обнаружение сейсмически активных объектов, оценивание характеристик движения, определение типа объекта (классификация). Предложенные методы получили свое развитие при работе авторов над реальными проектами по созданию новых систем ПСЛ. Большая роль в развитии статистической теории ПСЛ принадлежит экспериментам, значительная часть которых выполнена на сейсмическом полигоне Новосибирского государственного технического университета.

Среди организаций, работающих с крупными объемами данных на регулярной основе, реляционная система управления базами данных MySQL стала популярным решением по обработке структурированных больших данных. В книге вы познакомитесь с тем, как администраторы баз данных могут использовать MySQL для обработки миллиардов записей и извлечения данных с производительностью, сравнимой или превосходящей коммерческие решения для СУБД с более высокими затратами. Показано, как реализовывать успешную стратегию больших данных с помощью таких технологий, как Apache Hadoop, MapReduce и MySQL Applier. Также книга включает в себя практические примеры использования Apache Sqoop для обработки событий в режиме реального времени. Издание будет полезно администраторам баз данных MySQL и специалистам по большим данным, которые хотят интегрировать MySQL и Hadoop с целью реализации высокопроизводительных решений.

Книга предоставит вам доступ в мир прогнозной аналитики и продемонстрирует, почему Python является одним из лидирующих языков науки о данных. Охватывая широкий круг мощных библиотек Python, в том числе scikit-learn, Theano и Keras, предлагая руководство и советы по всем вопросам, начиная с анализа мнений и заканчивая нейронными сетями, книга ответит на большинство ваших вопросов по машинному обучению. Издание предназначено для специалистов по анализу данных, находящихся в поисках более широкого и практического понимания принципов машинного обучения.

В монографии представлены актуальные методологические, организационно-методические и практические вопросы процесса измерений, вычислений; рассматриваются элементы тестирования человека, а также способы их математико-статистической обработки, встречающиеся в ходе педагогической и научной деятельности различного рода специалистов. Интегрируются и анализируются основные методы обработки данных, включая параметрический и непараметрический критерии, корреляционный, регрессионный, дисперсионный и факторный анализы, позволяющие дать объективную оценку всего процесса. Приведены необходимые теоретические сведения и формулы для расчета рейтинговых оценок, наиболее часто встречающихся в спортивно-педагогических исследованиях как одного человека, так и коллектива. Монография предназначена для студентов, магистрантов и аспирантов высших учебных заведений, специалистов в области физического воспитания и спорта, тренеров, а также исследователей из смежных областей науки, применяющих в своей работе математико-статистические методы в целях эффективного решения практических задач.

В пособии рассмотрены алгоритмы обработки текстовой информации (отдельных символов, слов и строк) средствами языка программирования Паскаль. В том числе рассмотрены принципы использования для обработки текстовых строк такого редко используемого типа данных как множества. Для школьников, учителей информатики и всех, самостоятельно изучающих программирование.

Главная задача книги – определить набор руководящих принципов и описать их применение в функциональных областях управления данными. Издание всесторонне описывает проблемы, возникающие в процессе управления данными, и предлагает способы их решения. В нем подробно описаны широко принятые практики, методы и приемы, функции, роли, результаты и метрики. «DAMA-DMBOK: Свод знаний по управлению данными. Второе издание» предоставляет специалистам по управлению данными, ИТ-специалистам, руководителям, преподавателям и исследователям обширный материал для совершенствования работы с информационными активами и корпоративными данными.

Книга посвящена науке о данных (Data Science) и предназначена для широкого круга читателей, особенно она будет полезной для обучающихся по направлению подготовки «Интеллектуальные системы в гуманитарной сфере». Кратко описана история появления новой науки, даны основные понятия, связанные с хранением информации, Большими данными, системами счисления, научными парадигмами. Показаны этапы становления кибернетики и моделирования в гуманитарных науках, рассмотрены подходы к кибернетическому моделированию в медицине. Дана базовая информация о суперкомпьютере и квантовом компьютере. Сформулировано определение науки о данных, представлен прогноз ее развития в будущем. Книга может служить учебным пособием для студентов высших учебных заведений и будет интересна обучающимся по разным техническим и гуманитарным направлениям подготовки. Также книга рекомендована аспирантам, молодым ученым, исследователям в области применения новых цифровых технологий, специалистам и руководителям организаций в рамках цифровой экономики.

Изложены вопросы, касающиеся применения теории вероятностей и математической статистики в таких областях, как научная работа, контроль качества продукции, управление действующим технологическим процессом. Приведены примеры, предложены варианты расчетных заданий, а также справочные данные для их выполнения. Предназначено для магистрантов направления 22.04.02 «Металлургия».

Даны основные сведения о структурах данных, рассмотрены алгоритмы работы с различными структурами данных. В пособии произведен подбор упражнений для отработки навыков по использованию алгоритмов. Оно адресовано студентам очного и заочного отделений высших учебных заведений, обучающихся по направлениям подготовки: 38.03.05 Бизнес-информатика; 09.03.03 Прикладная информатика; 44.03.05 Педагогическое образование (профиль программы Информатика и экономика). Может быть полезно всем изучающим основы алгоритмизации и программирования.

Рассматриваются основные функциональные возможности электронных таблиц для проведения первичной обработки, представления и анализа данных. Описывается технология работы со встроенными функциями, надстройкой «Пакет анализа», мастером диаграмм и мастером сводных таблиц. В пособии приведены основные способы обработки данных на примере табличного процессора Microsoft Excel, а также раскрыты не-которые существенные отличия и особенности работы в Open Office.org Calc. Все способы и приемы работы с электронными таблицами рассмотрены на примерах. Пособие содержит краткие теоретические сведения, полезные для правильной интерпретации полученных результатов. Данное пособие адресовано, прежде всего, студентам очной и заочной форм обучения, обучающимся по направлению подготовки «Социология» и будет полезно в ходе изучения дисциплин «информатика» и «анализ данных», а также в рамках проведения самостоятельных исследований с использованием электронных таблиц.

В данной работе авторы представили основные методы математической статистики, предназначенные для обработки данных, полученных при исследовании биологических и медицинских закономерностей. Кроме того, даны основы терминологии, указаны алгоритмы при работе с качественными и количественными значениями, представлены варианты тестирования выборки на нормальность распределения. В книге содержится информация о вычисляемых показателях, определяющих характеристики надежности любого диагностического метода. В приложениях представлены таблицы с критическими значениями статистических критериев, описаны возможности компьютерных программ для статистического анализа и дан перечень англоязычных терминов и устоявшихся аббревиатур, знание которых облегчит работу исследователя с непростыми англоязычными программами для статистического анализа. Книга предназначена для врачей, занимающихся научно-исследовательской работой, а также биологов и студентов медицинских вузов.

Изложен подход к использованию вычислительного вероятностного анализа для решения задач с неопределенными входными данными. Основное внимание уделено процессу обработки, представления, моделирования и анализа информации для разных типов неопределенности. Рассмотрены различные математические модели и численные методы их обработки, вопросы надежности результатов численного моделирования для разнообразных задач в условиях ограниченного и большого объемов информации. Даны примеры применения рассматриваемого подхода для практических задач цифровой экономики, надежности технических систем и оборудования. Разработанные алгоритмы могут быть использованы для исследования сложных систем с входными данными, обусловленными различными типами неопределенности. Предназначена для магистрантов, аспирантов и специалистов, занимающихся научными исследованиями и работающих в области решения задач с неточными входными данными.

Рассмотрены математические основы анализа вычислительной сложности алгоритмов, типовые структуры данных для представления множеств: массивы и динамические списковые структуры, стеки, очереди и деревья. Приведены методы решения комбинаторных задач и основные способы сокращения перебора, задачи поиска, сортировки и алгоритмы на графах. Соответствует современным требованиям Федерального государственного образовательного стандарта среднего профессионального образования и профессиональным квалификационным требованиям. Для обучающихся среднего профессионального образования по специальностям «Программирование в компьютерных системах», «Информационные системы и программирование», а также других специальностей, связанных с разработкой программного обеспечения.

Книга посвящена эффективному использованию инструментов приложения Excel для обработки и анализа многомерных данных, с целью их систематизации, выявления характера и структуры взаимосвязей. Пройдя путь от структурирования данных до создания простейшей базы данных, на основе которой можно строить различные сводные таблицы для нахождения ответов на поставленные вопросы, читатель научится извлекать необходимую информацию и знание из множества данных. Дополнительно к этому, в книге рассматривается одна из наиболее востребованных задач – статистическая обработка данных, полученных в результате случайного эксперимента. Особое внимание уделено визуализации данных с помощью диаграмм и дополнительных возможностей, предоставляемых в последних версиях Excel. Книга адресована студентам обучающимся в колледжах по образовательным программам среднего профессионального образования. Она может быть полезна всем, кто заинтересован в получении мощного и эффективного инструмента для выполнения всевозможных математических операций при помощи компьютера.

Учебник посвящен вопросам анализа и структурирования данных и знаний для разработки информационных и интеллектуальных систем. В нем детально рассматривается полный цикл разработки интеллектуальных систем – от извлечения и формализации знаний до программной реализации компонентов системы. Материал книги дает наиболее полное представление о современном состоянии развития инженерии знаний в России и мире. Учебник будет полезен студентам вузов, аспирантам, специалистам и разработчикам информационных систем, особенно интеллектуальных систем, а также бизнес-аналитикам и менеджерам, интересующимся данной проблематикой. Это первый учебник по инженерии знаний, полезный также при разработке корпоративных систем управления знаниями.

В руководстве изложены история создания теста Роршаха, этапы его развития и теоретические основы Интегративной системы психодиагностики методом Роршаха. Детально описаны все этапы процедуры исследования, техника кодирования и расчетов, алгоритмы и стратегии интерпретации полученных данных, адаптированные для русскоязычных пользователей. Технические приемы обработки и интерпретации результатов исследования демонстрируются на конкретных примерах. Приложения содержат все необходимые для проведения исследования рабочие таблицы. Подходы к оценке и интерпретации показателей методики Г. Роршаха трактуются с системных позиций, что позволяет на основе полученных данных построить модель функционирования личности испытуемого. Руководство предназначено для психологов, врачей и всех специалистов, интересующихся психологической диагностикой, а также для студентов и аспирантов психологических и медицинских факультетов.

Книга посвящена эффективному использованию инструментов приложения Excel для об-работки и анализа многомерных данных, с целью их систематизации, выявления характера и структуры взаимосвязей. Пройдя путь от структурирования данных до создания простейшей базы данных, на основе которой можно строить различные сводные таблицы для нахождения ответов на поставленные вопросы, читатель научится извлекать необходимую информацию и знание из множества данных. Дополнительно к этому, в книге рассматривается одна из наиболее востребованных задач – статистическая обработка данных, полученных в резуль-тате случайного эксперимента. Особое внимание уделено визуализации данных с помощью диаграмм и дополнительных возможностей, предоставляемых в последних версиях Excel. Книга адресована, прежде всего, студентам. Она может быть полезна также аспирантам, инженерам, научным сотрудникам и преподавателям – всем, кто заинтересован в получении мощного и эффективного инструмента для выполнения всевозможных математических опе-раций при помощи компьютера.

Эффективность управления приложениями промышленного Интернета вещей зависит от результативности работы киберфизических систем, отвечающих за сбор и обработку данных с входящих в их состав устройств, а также генерацию сигналов управления последними. Киберфизические системы также обеспечивают управляемость и информационную безопасность приложений промышленного Интернета вещей. В условиях роста объема передаваемых данных реакция исполнительных устройств на возмущающие воздействия в течение миллисекунды обусловливается повышенной скоростью передачи данных. В статье рассмотрены атрибуты уровней киберфизической системы, определяющие особенности процессов информационного обмена и управления. На основе анализа основных свойств и принципов парадигмы применения архитектуры Fog Computing предложена концепция киберфизической системы приложения промышленного Интернета вещей, которая позволяет обрабатывать генерируемые данные и прикладывать управляющее воздействие в местах возникновения проблем. Представлен результат разработки архитектуры киберфизической системы, построенной на принципах указанной парадигмы, а также обоснована перспективность ее практического применения. Результат базируется на архитектуре граничных и туманных вычислений OpenFog Reference Architecture, компьютерная сеть разрабатывалась программным путем в среде Cisco Application Centric Infrastructure. Предложенное решение характеризуется высоким уровнем информационной безопасности, который достигается за счет упразднения необходимости в передаче данных по сети, оперативного выявления атакованного узла и уничтожения вредоносного кода, а также применения средств предупреждения атак на программное обеспечение. Предложенное решение может быть использовано разработчиками систем промышленного Интернета вещей для эффективного запуска и реализации проектов.