Ekstrakcję danych (ang. web scraping), zwaną też wydobywaniem danych z zasobów internetu, wiele osób postrzega jako wyższy stopień wtajemniczenia: przy niewielkim wysiłku można uzyskać imponujące wyniki i wykorzystać je w różnoraki sposób.
Nie dziwi więc, że wokół tej dziedziny narosło mnóstwo mitów. Wątpliwości jest wiele, począwszy od legalności tego rodzaju praktyk, skończywszy na właściwościach różnych narzędzi. W praktyce na ekstrakcję danych składa się cały szereg zróżnicowanych technik i technologii, takich jak analiza danych, analiza składniowa języka naturalnego, a także zabezpieczenie informacji. Aby w pełni wykorzystać ich zalety, konieczne jest zrozumienie sposobu, w jaki funkcjonują.
Ta książka jest znakomitym przewodnikiem po technikach pozyskiwania danych z internetu. Przedstawiono tu również zasady gromadzenia, przekształcania i wykorzystywania danych z różnych zasobów. W kontekście ekstrakcji danych omówiono zagadnienia związane z bazami danych, serwerami sieciowymi, protokołem HTTP, językiem HTML, bezpieczeństwem sieciowym, przetwarzaniem obrazów, analizą danych i wieloma innymi kwestiami. Zaprezentowane tu rozwiązania programistyczne zostały napisane w Pythonie. Nie zabrakło też omówienia bibliotek przydatnych w pracy osób tworzących roboty indeksujące.
Dzięki tej książce szybko zaczniesz pozyskiwać i w dowolny sposób wykorzystywać posiadane dane. Już dziś te rozwiązania są stosowane w prognozowaniu rynkowym, tłumaczeniu maszynowym, a nawet w diagnostyce medycznej!
Najważniejsze zagadnienia:
– korzystanie z platformy Scrapy do tworzenia robotów,
– metody odczytu, wydobywania i przechowywania pozyskiwanych danych,
– oczyszczanie i normalizacja danych,
– interfejsy API,
– przetwarzanie obrazów na tekst,
– testowanie witryn za pomocą robotów.
Wyszukuj dane, gromadź je i korzystaj z nich do woli!
Ryan Mitchell – jest starszą inżynier oprogramowania w firmie HedgeServ (Boston), gdzie zajmuje się tworzeniem interfejsu API przedsiębiorstwa i narzędzi do analizy danych. Ukończyła uczelnię Olin College of Engineering, a także Harvard University Extension School z tytułem magistra inżynierii oprogramowania oraz certyfikat studiów podyplomowych na kierunku analiza danych. Przed dołączeniem do firmy HedgeServ zajmowała się pisaniem robotów indeksujących i narzędzi automatyzacji w przedsiębiorstwie Abine. Zajmuje się również doradztwem na temat ekstrakcji danych w branży detalicznej, finansowej i farmaceutycznej, ponadto była konsultantką ds. programu nauczania i wykładowczynią kontraktową na Uniwersytecie Północnozachodnim i uczelni Olin College of Engineering.
Szczegóły
Tytuł: Ekstrakcja danych z językiem Python.Podtytuł: Pozyskiwanie danych z internetu.
Autor: Ryan Mitchell
Wydawnictwo: Helion
ISBN: 9788328356351
Języki: polski
Rok wydania: 2019
Ilość stron: 272
Oprawa: Miękka