Zwinna analiza danych. Apache Hadoop dla każdego

Zwinna analiza danych. Apache Hadoop dla każdego

by Russell Jurney
Released December 2014
Publisher(s): Helion
ISBN: 97888324699476

Read it now on the O’Reilly learning platform with a 10-day free trial.

O’Reilly members get unlimited access to books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers.

Start your free trial

Book description

Duże zbiory danych dla każdego!

W dobie Big Data klasyczne podejście do analizy danych nie przynosi już pożądanych wyników. Skuteczna analiza gigantycznych zbiorów informacji, wyciąganie interesujących wniosków i prezentowanie ich w przejrzystej formie użytkownikowi wymagają mnóstwa czasu i środków. Zastanawiasz się, jak podejść do tego problemu, by zminimalizować ryzyko niepowodzenia? Na to i wiele innych pytań odpowiada ta fantastyczna książka.

Dzięki niej dowiesz się, jak zaprząc platformę Hadoop do własnych celów. Skorzystasz z prostych narzędzi, takich jak język Python, biblioteka D3.js oraz Apache Pig, i zastosujesz zwinne podejście do problemu, by osiągnąć zaskakujące efekty. Ponadto przekonasz się, jak łatwo można publikować dane w MongoDB, stosować wyszukiwarkę ElasticSearch oraz wykorzystać potencjał chmur obliczeniowych. Nauczysz się także wizualizować dane na wykresach, prognozować oraz podejmować właściwe działania. Książka ta jest doskonałą lekturą dla wszystkich osób stojących przed problemem skutecznej pracy z ogromnymi zbiorami danych.

Dzięki tej książce:

  • poznasz najlepsze narzędzia do przetwarzania zbiorów danych
  • wykorzystasz możliwości języka Python
  • sprawdzisz możliwości chmur obliczeniowych
  • błyskawicznie wyszukasz dane za pomocą ElasticSearch
  • zwizualizujesz dane z użyciem D3.js

Zwinnie rozwiąż problemy z dużymi zbiorami danych!

„Przy tak dużej popularności zagadnień Big Data i Data Science, lektura praktycznego instruktażu budowy aplikacji analitycznych jest mocno odświeżająca. Russel Jurney wprowadza nas, małymi porcjami implementacji, w swoją filozofię zwinności w dziedzinie analizy i aplikacyjnego wykorzystywania danych.

Mat Kelcey, matpalm.com

Table of contents

  1. Zwinna analiza danych. Apache Hadoop dla każdego
  2. Wstęp
    1. Dla kogo jest ta książka
    2. Organizacja materiału
    3. Konwencje typograficzne
    4. Korzystanie z programów przykładowych
  3. I. Przygotowanie
    1. 1. Teoria
      1. Agile w Big Data
      2. Wielkie słowa
      3. Zespoły
        1. Rozpoznawanie problemów i szans
        2. Adaptowanie do zmian
          1. Ujarzmianie omnibusów
          2. Zwinność platformy
          3. Dzielenie się wynikami pośrednimi
      4. Proces wytwórczy w zwinnym Big Data
      5. Programowanie w parach i przegląd kodu
      6. Środowisko zwinnej pracy a produktywność
        1. Przestrzeń współpracy
        2. Przestrzeń prywatna
        3. Przestrzeń osobista
      7. Pomysły na wielkoformatowych wydrukach
    2. 2. Dane
      1. E-mail
      2. Praca z surowymi danymi
        1. Surowe wiadomości e-mail
        2. Dane ustrukturyzowane a dane na wpół ustrukturyzowane
        3. SQL
      3. NoSQL
        1. Serializacja
        2. Wyodrębnianie i ujawnianie cech w ewoluującym schemacie
        3. Potoki danych
      4. Perspektywy danych
        1. Sieci
        2. Szeregi czasowe
        3. Język naturalny
        4. Prawdopodobieństwo
      5. Podsumowanie
    3. 3. Narzędzia zwinności
      1. Skalowalność = prostota
      2. Zwinne przetwarzanie w Big Data
      3. Konfigurowanie wirtualnego środowiska dla języka Python
      4. Serializacja zdarzeń przez Avro
        1. Avro w Pythonie
          1. Instalacja
          2. Testowanie
      5. Zbieranie danych
      6. Przetwarzanie danych w Pigu
        1. Instalacja
      7. Publikowanie danych w MongoDB
        1. Instalacja
        2. Instalowanie sterownika MongoDB dla Javy
        3. Instalowanie łącznika mongo-hadoop
        4. Wypychanie danych z Piga do MongoDB
      8. Wyszukiwarka ElasticSearch
        1. Instalacja
        2. ElasticSearch i Pig — Wonderdog
          1. Instalacja
          2. Wonderdog i Pig
          3. Wyszukiwanie w danych
          4. Python i ElasticSearch — pyelasticsearch
      9. Refleksja o kształcie potoku przetwarzającego
      10. Lekkie aplikacje WWW
        1. Python i Flask
          1. Pierwszy program
          2. Python+Mongo — pymongo
          3. Wyświetlanie liczników sent_counts za pomocą serwera Flask
      11. Prezentacja danych
        1. Instalacja
        2. Bootstrap na start
        3. Wizualizacja danych: D3.js i nvd3.js
      12. Podsumowanie
    4. 4. Do chmury!
      1. Wprowadzenie
      2. GitHub
      3. DotCloud
        1. Pierwszy krok w dotCloud
        2. Procesy robocze w Pythonie
      4. Amazon Web Services
        1. Simple Storage Service
        2. Elastic MapReduce
        3. MongoDB w wydaniu usługowym
          1. Zapisywanie danych z Piga w MongoDB w dotCloud
      5. Monitorowanie
        1. Google Analytics
        2. Mortar Data
  4. II. W górę piramidy
    1. 5. Zbieranie i wyświetlanie rekordów
      1. Montaż końcowy
      2. Pobieranie i serializowanie zawartości skrzynki pocztowej
      3. Przetwarzanie i publikowanie wiadomości e-mail
      4. Prezentowanie wiadomości w przeglądarce
        1. Serwowanie wiadomości przez Flask i pymongo
        2. Renderowanie strony HTML5 z szablonów Jinja2
      5. Kontrola zwinności
      6. Listy wiadomości
        1. Generowanie list wiadomości w MongoDB
        2. Anatomia prezentacji
          1. Wyważanie otwartych drzwi?
          2. Prototyp w języku HTML
      7. Przeszukiwanie wiadomości e-mail
        1. Indeksowanie wiadomości — Pig, ElasticSearch i Wonderdog
        2. Wyszukiwanie wiadomości z poziomu aplikacji WWW
      8. Podsumowanie
    2. 6. Wizualizacja danych na wykresach
      1. Dobre wykresy
      2. Wyodrębnianie encji: adresy e-mail
        1. Wyodrębnianie adresów
      3. Wizualizacja w przekroju czasowym
      4. Podsumowanie
    3. 7. Eksplorowanie danych w raportach
      1. Budowanie raportów z wieloma wykresami
      2. Łączenie rekordów
      3. Ekstrakcja słów z wiadomości — TF-IDF
      4. Podsumowanie
    4. 8. Stawianie prognoz
      1. Przewidywanie współczynnika odpowiedzi na wiadomości
      2. Personalizacja
      3. Podsumowanie
    5. 9. Ukierunkowywanie działań
      1. Właściwości skutecznych wiadomości e-mail
      2. Lepsze przewidywanie — prosty predyktor bayesowski
      3. P(reply|from & to)
      4. P(reply|token)
      5. Predykcje w czasie rzeczywistym
      6. Rejestrowanie zdarzeń w aplikacji
      7. Podsumowanie
  5. A. O autorze
  6. Indeks
  7. Kolofon
  8. Copyright

Product information

  • Title: Zwinna analiza danych. Apache Hadoop dla każdego
  • Author(s): Russell Jurney
  • Release date: December 2014
  • Publisher(s): Helion
  • ISBN: 97888324699476