Big data

Электронный учебник – сборник материалов, после изучения которого вы сможете получить краткое и емкое представление о работе с Большими Данными. – Что такое Большие Данные? – Откуда берутся Большие Данные и в чем их польза? – Из каких этапов состоит работа над Большими Данными? – Как собирать, хранить и анализировать Большие Данные? – Как понять, о чем говорят специалисты? На изучение вам потребуется 40 минут. В конце вас ждут вопросы для проверки усвоения материала. В формате PDF A4 сохранен издательский макет книги.

Наш телефон знает о нас больше, чем мы думаем. Он умеет собирать и анализировать информацию о том, как мы передвигаемся по городу, какие посты лайкаем и какими приложениями пользуемся. Он сообщит о пробках и поторопит на работу, чтобы мы не опоздали; подберет музыку под наше настроение и составит список персональных рекомендаций, чем можно занять себя в течение дня. Телефон – больше не устройство, по которому звонят, это уже средство управления окружающим нас миром. Незаметно мы окружили себя такими интерфейсами, которые создают невидимый барьер между человеком и окружающей средой. Планирование, управление, коммуникация, все теперь строится через эти программы и девайсы. Даже человеческие отношения. Но насколько глубока кроличья нора? Каждому предстоит разобраться в этом самому. Эта книга поможет донести основные принципы проектирования и создания таких интерфейсов управления бизнесом, обществом и окружающим нас миром посредством Больших данных. Читайте, наслаждайтесь и помните: сожжение книг противозаконно.

За последнее десятилетие ученые изучили гигантские наборы данных, чтобы найти новые подходы к решению самых важных жизненных вопросов. Исследователь данных Сет Стивенс-Давидовиц проанализировал множество научных исследований об удовольствии и счастье, чтобы понять, чего мы хотим от жизни на самом деле. В формате PDF A4 сохранен издательский макет книги.

Наш телефон знает о нас больше, чем мы думаем. Он умеет собирать и анализировать информацию о том, как мы передвигаемся по городу, какие посты лайкаем и какими приложениями пользуемся. Он сообщит о пробках и поторопит на работу, чтобы мы не опоздали; подберет музыку под наше настроение и составит список персональных рекомендаций, чем можно занять себя в течение дня. Телефон – больше не устройство, по которому звонят, это уже средство управления окружающим нас миром. Незаметно мы окружили себя такими интерфейсами, которые создают невидимый барьер между человеком и окружающей средой. Планирование, управление, коммуникация, все теперь строится через эти программы и девайсы. Даже человеческие отношения. Но насколько глубока кроличья нора? Каждому предстоит разобраться в этом самому. Эта книга поможет донести основные принципы проектирования и создания таких интерфейсов управления бизнесом, обществом и окружающим нас миром посредством Больших данных. Читайте, наслаждайтесь и помните: сожжение книг противозаконно.

Математические алгоритмы с каждым днем все сильнее подчиняют себе нашу жизнь. Более того: по мнению автора книги, профессора математики и финансового аналитика, эти алгоритмы уже превратились в опасное оружие в руках государства и корпораций – и это оружие нацелено в первую очередь на самые бедные и незащищенные слои населения. Новейшие математические приложения, с помощью которых банки и страховые компании отслеживают каждый наш шаг, претендуют на полную объективность, однако на самом деле в них заложены те же предрассудки и предубеждения, что свойственны их создателям – далеким от совершенства человеческим существам. При этом скрытые принципы работы математических моделей и их тайные критерии охраняются как величайшая коммерческая тайна, а их вердикты, подчас очевидно ошибочные и явно вредные, считаются окончательными и обжалованию не подлежат. Добро пожаловать в прекрасный новый мир – мир убийственных Больших данных!

Работа с неограниченными и быстрыми потоками данных всегда была сложной задачей. Но Kafka Streams и ksqlDB позволяют легко и просто создавать приложения потоковой обработки. Из книги специалисты по обработке данных узнают, как с помощью этих инструментов создавать масштабируемые приложения потоковой обработки, перемещающие, обогащающие и преобразующие большие объемы данных в режиме реального времени. Митч Сеймур, инженер службы обработки данных в Mailchimp, объясняет важные понятия потоковой обработки на примере нескольких любопытных бизнес-задач. Он рассказывает о достоинствах Kafka Streams и ksqlDB, чтобы помочь вам выбрать наиболее подходящий инструмент для каждого уникального проекта потоковой обработки. Для разработчиков, не пишущих код на Java, особенно ценным будет материал, посвященный ksqlDB. После покупки предоставляется дополнительная возможность скачать книгу в формате epub.

Этот текст – сокращенная версия книги «Просто о больших данных» (Джудит Гурвиц, Алан Ньюджент, Ферн Халпер, Марсия Кауфман). Только самые ценные мысли, идеи, кейсы, примеры. Посты в социальных сетях, данные навигаторов, датчики на производстве, показания приборов – ежедневно мир генерирует колоссальные объемы информации – Big Data, или большие данные. Пока основная часть больших данных никак не монетизирована. Но развитие технологий на стороне предприимчивых. Саммари знакомит со стратегиями и инструментами, которые помогут повернуть бурный поток информации в нужное вашей компании русло и использовать возможности больших данных для повышения эффективности бизнеса. Читать, чтобы: • Понять ключевые принципы работы с большими данными. • Узнать, как превратить огромные объемы данных в понятную и полезную информацию. • Познакомиться с практическими инструментами работы с большими данными и оценить, как их можно использовать в своем бизнесе. Об авторах Джудит Гурвиц – президент, глава совета директоров и идеолог исследовательской и консалтинговой компании Hurwitz & Associates. Алан Ньюджент – главный консультант Hurwitz & Associates, специалист в области инновационных информационных технологий. Ферн Халпер – доктор наук, научный сотрудник Hurwitz & Associates, директор по исследованиям в области углубленной аналитики Института изучения вопросов хранения данных. Марсия Кауфман – партнер-основатель и главный операционный директор Hurwitz & Associates.

Перед вами – первая исходно русскоязычная книга, в которой на реальных примерах рассматриваются секреты обработки больших данных (Big Data) в облаках. Основное внимание уделено решениям Microsoft Azure и AWS. Рассматриваются все этапы работы – получение данных, подготовленных для обработки в облаке, использование облачных хранилищ, облачных инструментов анализа данных. Особое внимание уделено службам SAAS, продемонстрированы преимущества облачных технологий по сравнению с решениями, развернутыми на выделенных серверах или в виртуальных машинах. Книга рассчитана на широкую аудиторию и послужит превосходным ресурсом для освоения Azure, Docker и других незаменимых технологий, без которых немыслим современный энтерпрайз.

Форма жизни № 4 – это люди, усиленные имплантами и искусственным интеллектом. Речь идет о недалеком будущем: уже сегодня машины могут безостановочно обучаться, ИИ становиться умнее и дешевле, а спектр его возможностей расширяется с каждым днем. Евгений Черешнев – визионер, первый российский ИТ-спикер TED New York, предприниматель и бионик – описывает ИИ как ступень в эволюции жизни на нашей планете. Автор проанализировал историю думающих машин и современных методов анализа данных, рассказал о влиянии автоматизации на социум, семью, экономику и геополитику, об инструментах защиты от трекинга и цифровых угроз. А главное – он показал, как может выглядеть мир ХХII века, где никто не сможет отключиться от глобальной сети, а нужда во многих сферах человеческой деятельности полностью отпадет. Чтобы не стать рабами в мире разумных роботов, нужно помнить о машинной этике, установить правила сбора и анализа данных и, что важнее всего, понять, как устроен и развивается искусственный разум. Об этих и многих других аспектах ИИ эта книга.

Что на самом деле думают люди о сексе, семье, политике и расовых меньшинствах? Специалист по Big Data из компании Google подтверждает, что данные поисковиков и их профессиональная интерпретация расскажут об обществе больше, чем социологические опросы. Послушайте краткую аудиоверсию книги, которая напоминает, что в эпоху интернета личная жизнь далеко не личная. Саммари книги «Все лгут» подготовлено совместно с проектом MakeRight. Слушайте ключевые идеи бестселлеров и выбирайте лучшее в мире книг!

Если вы хотите узнать, что думают люди на самом деле, то анализ поисковых запросов и грамотная интерпретация Big Data помогут больше, чем любой соцопрос. Специалист Google рассказывает, что могут, а чего не могут большие данные, почему их стоит опасаться, и приводит множество удивительных выводов о настоящем устройстве общества. Читайте главные умозаключения автора в саммари. Саммари книги «Все лгут» подготовлено совместно с проектом MakeRight. Выбирайте лучшее в мире книг!

Мировой бестселлер о формировании новой цифровой эпохи. о том, как бизнес и правительства будут работать в 21-м веке и как они будут конкурировать и какие возможности открываются для компаний. Томас Сибел – основатель и CEO компании C3.ai, которая обеспечивает технологическую платформу для компаний, осуществляющих цифровую трансформацию. Он несколько десятилетий занимается технологиями. Businessweek включил его в список 25 ведущих менеджеров в мировом бизнесе. Сибел три раза получал премию «Предприниматель года» от EY.

Эта книга для всех, кто работает с аналитикой и делает презентации на основе данных. Она демонстрирует, как выйти за рамки обычных инструментов, чтобы добраться до сути, и как использовать данные для создания увлекательной, информативной и убедительной истории. Уроки из этой книги помогут вам превратить ваши данные в яркие визуальные рассказы, которые будут поняты аудиторией. На русском языке публикуется впервые.

Harvard Business Review – ведущий мировой деловой журнал с многолетней историей. В новой книге серии «Harvard Business Review: 10 лучших статей» собраны самые полезные и востребованные материалы по инновациям в сфере HR. Вот некоторые темы, которые затронуты в этом сборнике: использование аджайл-подхода и больших данных в управлении персоналом, эффективные программы обеспечения равенства возможностей, изменение состава рабочей силы в эпоху старения населения, сотрудничество людей и интеллектуальных машин. В этих и других аспектах современных тенденций в сфере управления персоналом необходимо ориентироваться не только сотрудникам корпоративных HR-служб, но и руководителям всех уровней.

Человечество научилось собирать, обрабатывать и использовать в науке, бизнесе и повседневной жизни огромные массивы данных. Но что делать с данными, которых у нас нет? Допустимо ли игнорировать то, чего мы не замечаем? Британский статистик Дэвид Хэнд считает, что это по меньшей мере недальновидно, а порой крайне опасно. В своей книге он выделяет 15 влияющих на наши решения и действия видов данных, которые остаются в тени. Например, речь идет об учете сигналов бедствия, которые могли бы подать жители бедных районов, если бы у них были смартфоны, о результатах медицинского исследования, которые намеренно утаили или случайно исказили, или о данных, ставших темными из-за плохого набора критериев для включения в выборку. Хэнд также рассказывает о том, какие меры могут сгладить эффект темных данных и как их можно обратить себе на пользу.

Из этой книги вы узнаете, как система управления базами данных Cassandra справляется с обработкой сотен терабайтов данных, работая в нескольких ЦОДах и сохраняя высокую доступность. Во втором издании, дополненном и охватывающем версию Cassandra 3.0, вы найдете технические детали и практические примеры, которые помогут запустить эту систему в боевых условиях. Авторы демонстрируют достоинства нереляционного дизайна Cassandra, уделяя особое внимание моделированию данных. Издание предназначено для разработчиков, администраторов баз данных и архитекторов, работающих с «большими данными» и стремящихся решить проблему масштабирования.

Что такое информация? Как можно проанализировать данные, которые у вас есть? А если данных очень много и они требуют вычислительной мощи современных компьютеров? Какие выводы можно сделать из этого массива данных? Может – никаких, а может – это неиссякаемый источник, приносящий все новые возможности. Самое ценное, что есть у любого человека, это его знания, помноженные на опыт. Эта книга помогает занятому человеку быстро погрузиться в увлекательный мир интеллектуального анализа данных с целью извлечения полезной информации, которую можно использовать в дальнейшем, например, в бизнесе или в принятии решений. Эта деятельность по-английски называется Data mining и содержит методы, используемые самыми разными специалистами-аналитиками, исследующими медицинские, политические, экономические и другие всевозможные источники данных. Предполагается, что читатель более-менее знаком с Excel и пользуется им время от времени. Знания SQL-сервера не требуется, но полезно иметь.

В номере: Жизнь только начинается В мае наступает 60-я годовщина со времени изобретения корпорацией IBM цифровой магнитной ленты. О том, что лента отслужила свое, заявляли уже много раз, но похоже, что у нее впереди еще долгая жизнь. Во-первых, изменился рынок – потоковое мультимедиа, облака и Большие Данные заставили снова задуматься о цене хранения, параметре, по которому лентам нет равных до сих пор. На пике возможностей Как полагают в Panasonic, российский рынок DECT-телефонов достиг своего максимума, за которым последует плавное снижение объемов продаж, а вот продажи МФУ, в том числе снабженных факс-аппаратом, будут расти. AQ на уровне IBM предлагает измерять аналитический коэффициент бизнеса, показывающий, какую долю своего информационного потенциала организация реально использует, утверждая что у компаний с высоким AQ и результаты выше. Видео с доставкой на дом Компания CDNvidеo, построившая собственную сеть распространения видеоконтента, объявила о начале предоставления соответствующих услуг хранения, транскодирования и доставки видео. Электроника в оптоволокне В Университете штата Пенсильвания разработали метод встраивания электронного перехода непосредственно в оптоволокно. В будущем это позволит оптимизировать многие устройства передачи данных. Большой запрос Компания Google создает сервис BigQuery, с помощью которого заказчики смогут обрабатывать свои Большие Данные без самостоятельного создания соответствующей инфраструктуры.

Книга представляет собой доступно изложенное введение в статистическое обучение – незаменимый набор инструментов, позволяющих извлечь полезную информацию из больших и сложных наборов данных, которые начали возникать в последние 20 лет в таких областях, как биология, экономика, маркетинг, физика и др. В этой книге описаны одни из наиболее важных методов моделирования и прогнозирования, а также примеры их практического применения. Рассмотренные темы включают линейную регрессию, классификацию, создание повторных выборок, регуляризацию, деревья решений, машины опорных векторов, кластеризацию и др. Описание этих методов сопровождается многочисленными иллюстрациями и практическими примерами. Поскольку цель этого учебника заключается в продвижении методов статистического обучения среди практикующих академических исследователей и промышленных аналитиков, каждая глава включает примеры практической реализации соответствующих методов с помощью R – чрезвычайно популярной среды статистических вычислений с открытым кодом. Издание рассчитано на неспециалистов, которые хотели бы применять современные методы статистического обучения для анализа своих данных. Предполагается, что читатели ранее прослушали лишь курс по линейной регрессии и не обладают знаниями матричной алгебры.

Эта книга написана ведущими специалистами в области технологий баз данных и веба. Благодаря популярности интернет-торговли появилось много чрезвычайно объемных баз данных, для извлечения информации из которых нужно применять методы добычи данных (data mining). В книге описываются алгоритмы, которые реально использовались для решения важнейших задач добычи данных и могут быть с успехом применены даже к очень большим наборам данных. Изложение начинается с рассмотрения технологии MapReduce – важного средства распараллеливания алгоритмов. Излагаются алгоритмы хэширования с учетом близости и потоковой обработки данных, которые поступают слишком быстро для тщательного анализа. В последующих главах рассматривается идея показателя PageRank, нахождение частых предметных наборов и кластеризация. Во второе издание включен дополнительный материал о социальных сетях, машинном обучении и понижении размерности. Издание будет в равной мере полезна студентам и программистам-практикам.