Обработка данных

Книга позволяет изучить науку о данных (Data Science) и применить полученные знания на практике. Она содержит краткий курс языка Python, элементы линейной алгебры, статистики, теории вероятностей, методов обработки данных. Приведены основы машинного обучения. Описаны алгоритмы k ближайших соседей, наивной байесовой классификации, линейной и логистической регрессии, а также модели на основе деревьев принятия решений, нейронных сетей и кластеризации. Рассмотрены приемы обработки естественного языка, методы анализа социальных сетей, основы баз данных, SQL и MapReduce. Во втором издании примеры переписаны на Python 3.6, игрушечные наборы данных заменены на «реальные», добавлены материалы по глубокому обучению и этике данных, статистике и обработке естественного языка, рекуррентным нейронным сетям, векторным вложениям слов и разложению матриц. Для аналитиков данных.

Книга адресована специалистам по внедрению прикладных решений системы «1С:Предприятие 8», а также разработчикам, адаптирующим типовые прикладные решения к требованиям заказчика. Она рассказывает о новой технологии – расширениях конфигурации. Расширения конфигурации позволяют дорабатывать функциональность прикладных решений, не внося изменений в сами прикладные решения. В результате прикладное решение остается на полной поддержке поставщика, что значительно упрощает его дальнейшее сопровождение. Также при работе в модели сервиса, например, в 1С:Фреш (1cfresh.com), расширения конфигурации позволяют дорабатывать функциональность прикладного решения только для пользователей одной организации. При этом другие Книга описывает возможности расширений конфигурации, реализованные в платформе версии 8.3.13, в том числе расширение прикладных данных. В первой и второй главах рассматривается общая архитектура расширений, и на большом количестве простых примеров показываются возможности доработки тех или иных элементов прикладного решения. Например, добавление учета товаров по характеристикам или адаптация внешнего вида прикладного решения к корпоративному стилю. В третьей главе книги показан пример разработки расширения для ведения управленческого учета на предприятии. Это учебное расширение, демонстрирующее общий подход к доработке прикладной функциональности. В четвертой главе показан полный процесс разработки «настоящего» расширения для тарификации, которое можно использовать совместно с типовой конфигурацией «Зарплата и кадры государственного учреждения». Книга содержит большое количество рисунков и примеров кода на встроенном языке, снабженных подробными комментариями. Для создания демонстрационных примеров использована версия 8.3.13.1472 платформы «1С:Предприятие 8». Расширения, разрабатываемые в книге, опубликованы на портале 1С:ИТС" (ссылка для скачивания приведена в книге). После покупки предоставляется дополнительная возможность скачать книгу в формате epub, в двух вариантах, с разным визуальным оформлением программного кода.

Запросы – это один из базовых механизмов «1С:Предприятия» наряду со встроенным языком, который позволяет читать и обрабатывать данные, хранящиеся в базе. Для составления запросов «1С:Предприятие» использует собственный язык, основанный на SQL. Эта книга поможет начинающим разработчикам, не знакомым с SQL, освоить язык запросов «1С:Предприятия». Книга также будет полезна и тем, кто имеет опыт составления SQL-запросов в других средах разработки, поскольку язык запросов «1С:Предприятия» содержит значительное количество расширений, ориентированных на специфику финансово-экономических задач. В книге рассматривается значительное количество практических примеров. Для создания примеров использована версия 8.3.3.687 платформы «1С:Предприятие». К книге прилагаются демонстрационные конфигурации, иллюстрирующие эти примеры, и учебная версия платформы «1С:Предприятие 8» (ссылка для скачивания приведена в книге). Демонстрационные базы можно установить на коммерческую или учебную версию 1С:Предприятия. Данное 2-е издание является стереотипным, не отличается по содержанию от 1-го издания книги с тем же названием, выпущенного в 2013 году издательством «1С-Паблишинг» (ISBN 978-5-9677-1987-5, артикул «1С» 4601546108029). После покупки предоставляется дополнительная возможность скачать книгу в формате epub, в двух вариантах, с разным визуальным оформлением программного кода.

В учебном пособии рассмотрены и определены теоретические основы современной геоинформатики, методы и алгоритмы переработки пространственных данных, архитектура прикладных компьютерных геоинформационных систем. Цель пособия – дать общее представление о современном состоянии геоинформационных систем, средств, ресурсов и технологий, разнообразии разрабатываемых подходов к информатизации профессиональной деятельности на основе внедрения новых и традиционных геоинформационных технологий. Предназначено для обучающихся по экономическим направлениям подготовки. Может быть полезным для специалистов в области информатики, телематики и картографии.

Является справочной теоретической информацией по курсу «Аппаратные средства хранения и обработки данных. Технические средства хранения данных» для студентов технических вузов. Детально рассматривает основные технические аспекты информационных технологий со стороны полного цикла обработки данных, включая общие подходы к реализации серверных платформ и технологий хранения данных. Описывает техническую составляющую серверной платформы на примере Intel Xeon. Каждый раздел содержит контрольные вопросы. Предназначено для студентов, обучающихся по направлению подготовки 09.03.01 «Информатика и вычислительная техника», 02.04.02 «Фундаментальная информатика и информационные технологии».

В методических указаниях сформулированы требования к выполнению курсовой работы, рекомендации по оформлению, указаны критерии оценки, а также изложен процесс проектирования баз данных: от анализа предметной области до построения ER-диаграммы и запросов. Содержат в себе пример выполнения одного из вариантов курсовой работы. Предназначены для студентов и преподавателей дисциплины «Управление данными».

Эта насыщенная идеями книга научит вас думать об эффективном взаимодействии с быстрыми потоками данных. В ней выдержан идеальный баланс между широкой картиной и деталями реализации. На содержательных примерах и практических задачах вы узнаете о проектировании приложений, которые читают, анализируют, разделяют и сохраняют потоковые данные. Попутно вы поймете, какую роль играют такие технологии, как Spark, Storm, Kafka, Flink, RabbitMQ и другие. Издание ориентировано на разработчиков, знакомых с концепциями реляционных баз данных.

В статье рассматривается разработанная и внедренная в НИУ МЭИ программная система, автоматизирующая подготовку текста проекта приказа, последующее его согласование и утверждение. Представлена специфика документооборота приказов, затрудняющая использование типовых систем электронного документооборота, представленных на современном рынке. Описан функционал основных модулей системы, используемых для подготовки шаблонов приказов, маршрутов согласования и проектов приказов, позволяющих автоматически актуализировать данные в связанной информационной системе согласно тексту утверждаемого приказа.

Работа посвящена анализу современного рынка мобильных бизнес-приложений и разработке предложений по совершенствованию технологий создания мобильных бизнес-приложений. Проведен анализ динамики развития российского и мирового рынка мобильных бизнес-приложений, рассмотрены наиболее значимые разработки в данной области на сегодняшний день. Исследованы и предложены возможные направления разработки, подготовлен и обоснован подход к созданию мобильных бизнес-приложений, направленный на повышение эффективности и надежности процессов обработки и передачи данных и знаний в корпоративных информационных системах и сетях, а также оптимальной организации человеко-машинного интерфейса.

Представлены основы теории баз данных, методы и алгоритмы, применяемые при реализации систем управления базами данных, а также особенности этих методов и алгоритмов, реализованные в СУБД PostgreSQL. Материал книги составляет основу для базового учебного курса и содержит краткий обзор требований и критериев оценки СУБД и баз данных, теоретическую реляционную модель данных, основные конструкции языка запросов SQL, организацию доступа к базе данных PostgreSQL, вопросы проектирования приложений и основные расширения, доступные в системе PostgreSQL.

Если программирование напоминает волшебство, то веб-скрапинг – это очень сильное колдунство. Написав простую автоматизированную программу, можно отправлять запросы на веб-серверы, запрашивать с них данные, а затем анализировать их и извлекать необходимую информацию. Новое расширенное издание книги знакомит не только с веб-скрапингом, но и поможет собрать любого вида данные в современном Интернете. В части I основное внимание уделено механике веб-скрапинга: как с помощью Python запрашивать информацию с веб-сервера, производить базовую обработку серверного отклика и организовать автоматизированное взаимодействие с сайтами. В части II исследованы более специфичные инструменты и приложения, которые пригодятся при любом сценарии веб-скрапинга. После покупки предоставляется дополнительная возможность скачать книгу в формате epub.

Интригующие свойства динамического хаоса и связанных с ним бифуркационных явлений давно привлекают пристальное внимание исследователей. Достижения в области сложной динамики нелинейных систем позволили к началу 1990-х годов осознать потенциальное значение динамического хаоса как средства и идеологии обработки и передачи информации. В связи с этим в ИРЭ РАН было сформировано направление исследований «Информационные и коммуникационные технологии на основе динамического хаоса» – лаборатория «Информхаос». В книге рассматриваются основные разработки лаборатории и полученные результаты, включая нелинейные динамические системы для записи, хранения и ассоциативного извлечения информации, общие принципы формирования шумоподобных хаотических сигналов в электронных устройствах, применение хаотических сигналов для беспроводной передачи данных, самоорганизующиеся сенсорные и активные сети беспроводной связи на основе прямохаотических приемопередатчиков, применение приемопередатчиков с хаотическими сигналами для связи и управления в группировках мобильных объектов, разработка идеи искусственного радиоосвещения на основе миниатюрных источников шумоподобного хаотического излучения микроволнового диапазона.

В настоящем пособии рассмотрены две группы алгоритмов: алгоритмы сортировки и алгоритмы на строках. Среди алгоритмов сортировки выделены простые обменные методы, имеющие полиномиальную временную сложность, методы с линейно-логарифмической и линейной оценками времени. Представлено описание классических алгоритмов быстрого поиска образца в тексте с использованием вспомогательных структур, приведены алгоритмы их построения. Рассмотрены алгоритмы вычисления редакционного расстояния между строками.

Описывается подход на основе средств имитационного моделирования, позволяющий произвести оценку эффективности применения перспективной техники. Оценка производится на примере перспективного путеукладчика посредством статистического анализа данных, получаемых в ходе численных экспериментов с применением имитационного моделирования технологических процессов укладки верхнего строения пути.

Этот текст – сокращенная версия книги «Просто о больших данных» (Джудит Гурвиц, Алан Ньюджент, Ферн Халпер, Марсия Кауфман). Только самые ценные мысли, идеи, кейсы, примеры. Посты в социальных сетях, данные навигаторов, датчики на производстве, показания приборов – ежедневно мир генерирует колоссальные объемы информации – Big Data, или большие данные. Пока основная часть больших данных никак не монетизирована. Но развитие технологий на стороне предприимчивых. Саммари знакомит со стратегиями и инструментами, которые помогут повернуть бурный поток информации в нужное вашей компании русло и использовать возможности больших данных для повышения эффективности бизнеса. Читать, чтобы: • Понять ключевые принципы работы с большими данными. • Узнать, как превратить огромные объемы данных в понятную и полезную информацию. • Познакомиться с практическими инструментами работы с большими данными и оценить, как их можно использовать в своем бизнесе. Об авторах Джудит Гурвиц – президент, глава совета директоров и идеолог исследовательской и консалтинговой компании Hurwitz & Associates. Алан Ньюджент – главный консультант Hurwitz & Associates, специалист в области инновационных информационных технологий. Ферн Халпер – доктор наук, научный сотрудник Hurwitz & Associates, директор по исследованиям в области углубленной аналитики Института изучения вопросов хранения данных. Марсия Кауфман – партнер-основатель и главный операционный директор Hurwitz & Associates.

Информационный шум вокруг блокчейна не стихает уже несколько лет. Благодаря этой технологии участники криптовалютной золотой лихорадки обогатились феноменально быстро и вне регуляции законом. Но шумиха в СМИ сформировала не совсем корректное представление о блокчейне. Возможности технологии, которую многие эксперты сейчас называют «новым интернетом», гораздо глубже. Она продолжает развиваться и нашла применение уже в 25 отраслях. Государственные услуги, авторское право, финансовые рынки, медицина, страхование, образование – это лишь часть направлений, где применяется блокчейн. Зачем слушать Авторы делятся собственным видением эволюции блокчейна и подвергают сомнению распространенную классификацию поколений этой технологии. Вы узнаете, каких результатов уже удалось достичь благодаря блокчейну, какие есть проблемы в развитии этой прорывной технологии и о том, какие усовершенствования нужны для дальнейшего ее прогресса. Для кого Книга будет полезна не только специалистам, но и тем, кто хочет разобраться в реальных возможностях блокчейна и узнать о потенциале технологии. Об авторах Александр Табернакулов – Основатель и руководитель PR-агентства для технологических компаний Filigran. Колумнист Forbes. Подготовил более 200 статей о блокчейне и финансовых технологиях в должности главного редактора коммуникационного агентства при блокчейн-платформе Waves. Участник Экспертного совета по законодательному обеспечению развития финансовых технологий при Государственной думе РФ в 2017–2018 гг. Основатель и главный редактор периодического издания для топ-менеджеров банков «Дайджест мировых финансовых технологий». Автор онлайн-курса «Как писать о блокчейне». Ян Койфманн – Сооснователь и CEO блокчейн-платформы для управления электроэнергией NS, а также компании – производителя энергосберегающих устройств EnesFilter. В 2002 г. окончил МГГУ (Московский государственный горный университет) по специальности «инженер-системотехник». С 2002 по 2016 г. руководил развитием предприятий в сфере IT, а также занимал должность помощника министра природных ресурсов Виталия Артюхова. Объединив полученный опыт работы в сфере экологии, IT и бизнеса, создал проект Enes, ставший в 2017 г. резидентом Фонда «Сколково». © Storysidе

Цель данного пособия – ознакомить студентов с понятийными и теоретическими основами относительно хранения и защиты компьютерной информации; помочь получить навыки и умения применения методов хранения и защиты компьютерной информации в практической работе. Лабораторный практикум содержит восемь лабораторных работ по дисциплине «Хранение и защита компьютерной информации», включающих в себя основные способы формирования комплексной защиты информации, идентификации и аутентификации пользователей и применения математических основ криптографических методов. Лабораторный практикум охватывает все разделы учебного курса. Описание каждой лабораторной работы содержит цель работы, теоретическую часть, порядок проведения работы, требования к отчету и контрольные вопросы. Данный лабораторный практикум предназначен для магистров направления подготовки 15.04.04 «Автоматизация технологических процессов и производств».

Учебно-методическое пособие включает материалы для подготовки к практическим занятиям и самостоятельной работе по теме «Методы и технологии обработки больших данных». Представлены возможности методов и технологий больших данных в задачах обработки информации, дан список вопросов для самоконтроля. Для обучающихся по направлению подготовки 09.04.01 Информатика и вычислительная техника.

Человечество научилось собирать, обрабатывать и использовать в науке, бизнесе и повседневной жизни огромные массивы данных. Но что делать с данными, которых у нас нет? Допустимо ли игнорировать то, чего мы не замечаем? Британский статистик Дэвид Хэнд считает, что это по меньшей мере недальновидно, а порой – крайне опасно. В своей книге он выделяет 15 влияющих на наши решения и действия видов данных, которые остаются в тени. Например, речь идет об учете сигналов бедствия, которые могли бы подать жители бедных районов, если бы у них были смартфоны, результатах медицинского исследования, которые намеренно утаили или случайно исказили, или данных, ставших «темными» из-за плохого набора критериев для включения в выборку. Хэнд также рассказывает о том, какие меры могут сгладить эффект «темных данных» и как их можно обратить себе на пользу. Книга будет интересна широкому кругу читателей, интересующихся дата-сайенс, программированием и статистикой.

Рассматриваются основные подходы к построению центров обработки данных, в том числе те аспекты архитектурного исполнения, которые имеют важное значение с точки зрения реализации в нем структурированной кабельной системы. Выполнен обзор схем построения телекоммуникационной инфраструктуры этого технического объекта. Обсуждаются требования к информационной кабельной системе ЦОД, и приведены варианты их реализации. Подробно описаны принципы построения медножильной и оптической подсистем СКС. Приведены основные особенности и отличия электропроводной и волоконно-оптической элементной базы с анализом фокусных областей их использования. Представлена классификация по уровням эксплуатационной надежности, и описаны мероприятия по достижению требуемой величины этого параметра в части, относящейся к СКС. Отдельно затронуты вопросы тестирования и эксплуатационного обслуживания информационной кабельной системы. Для специалистов системных интеграторов и инсталляционных компаний, сотрудников проектных организаций и эксплуатационного персонала ЦОД.