ELK: Elasticsearch | Logstash | Kibana

ELK

Wraz z rozwojem aplikacji przychodzi moment, w którym zwiększa się zapotrzebowanie na dokładniejszą analizę tego, co nasz system w danej chwili robi, lub robił w przeszłości. Problem zaczyna się wtedy, gdy mamy do czynienia z architekturą rozproszoną. W takiej sytuacji, najczęściej poszczególne elementy naszego systemu znajdują się na różnych maszynach, co często utrudnia analizę występujących problemów.

Ponadto, gdy nasz system zyskuje na popularności musimy zacząć myśleć o efektywnym monitorowaniu poszczególnych jego elementów. Często, podpisujemy umowy SLA (Service Level Agreement), które wymuszają na nas pewien poziom dostępności naszych usług. Naruszenie tych umów wiąże się często z przykrymi konsekwencjami, często finansowymi. Niezapewnienie odpowiedniego poziomu dostępności nieraz doprowadzało do ruiny różne organizacje. Musimy szybko reagować na anomalie, przerwę w działaniu poszczególnych usług, kluczowe jest ustalenie przyczyny awarii i szybkie jej usunięcie.

Jednym ze sposobów monitorowania oraz ustalania przyczyn błędów w działaniu systemu jest analiza logów aplikacji i o tym opowiem w poniższym artykule.

Zastanówmy się przez chwilę, jak w prosty sposób możemy podejść do tematu organizacji logów naszego systemu. Jak wspomniałem wcześniej, istnieje duża szansa na to, że nasz system zostanie rozmieszczony na kilku (a nawet kilkuset) fizycznych maszynach. Co jeżeli, nie chcemy by zespół IT miał bezpośredni dostęp do poszczególnych maszyn? Możemy wtedy zorganizować sobie jedno miejsce, na które przekierujemy sobie nasze logi aplikacyjne, z danych serwerów i do niego dać dostęp zespołowi. Podejście to sprawdza się do pewnego momentu, niestety nie rozwiązuje ono problemu rozproszonych informacji, które dostarczają wartość przy ich całościowej analizie.

Z pomocą przychodzi ELK stack: Elasticsearch, Logstash, Kibana czyli zestaw narzędzi służący do przetwarzania logów aplikacyjnych oraz scentralizowanego zarządzania nimi. Na ELK składa się:

  • Elasticsearch – baza danych, w której zapisywane będą nasze logi, zapewnia ona szybki dostęp do interesujących nas informacji.
  • Logstash – narzędzie, do którego trafiają nasze logi z różnych maszyn w celu ich przetworzenia, wyciągnięcia z nich kluczowych dla nas informacji. Logstash komunikuje się z bazą danych w celu zapisu przetworzonych logów.
  • Kibana – narzędzie do wizualizacji danych pochodzących z bazy danych Elasticsearch

ELK jest wydawany pod jedną wspólną wersją, oznacza to, że np. używanie Elasticsearch w wersji 6.5 wymusza na nas by pozostałe narzędzia były oznaczone tym numerem wersji.

Przyjrzyjmy się najpierw narzędziu, które bezpośrednio będzie przetwarzać nasze logi, czyli Logstashowi. Logstash umożliwia stworzenie pewnego przepływu pracy, na podstawie którego logi, które do niego trafiają mogą być przetwarzane i transformowane w jednolity sposób. Udostępnia on zestaw funkcji oraz podstawowych instrukcji warunkowych przydatnych do rozpoznawania pewnych wzorców w naszych logach oraz wzbogacania ich o dodatkowe informacje.

Podstawowym plikiem konfiguracyjnym Logstasha jest plik logstash.conf. Zawiera on trzy podstawowe sekcje, które uzupełniamy interesującymi nas wyrażeniami.

input {}

filter {}

output {}

Sekcja input definiuje wejście do Logstasha. Udostępnia ona zestaw wtyczek, umożliwiających integrację z różnymi źródłami informacji, np

  • kafka – czyta zdarzenia z określonego topicu brokera komunikatów Kafka,
  • log4j – czyta dane bezpośrednio z aplikacji, w której skonfigurowane jest gniazdo TCP, przez które Log4J przesyła logi aplikacyjne,
  • file – służy do strumieniowania danych z pliku

Gdy mamy już skonfigurowany sposób wejścia danych, czas na ich przetworzenie. Podstawowe wtyczki dla tej sekcji filter to:

  • grok – bardzo przydatna wtyczka, służąca do parsowania logów i umieszczania ich w odpowiednie pola,
  • date – służy do parsowania dat, umieszczania ich w interesujących nas polach
  • mutate – przydatny do manipulowania polami, konwersją danych, usuwaniem zbędnych pól

Sekcja output, określa gdzie mają trafić nasze przetworzone dane, w naszym przypadku skorzystamy z wtyczki elasticsearch, w celu zapisu naszych danych w bazie.

Polecam zapoznanie się z poszczególnymi wtyczkami dla każdej z sekcji, ponieważ jest ich dużo i każda z nich jest bardzo interesująca:

Przykładowy plik konfiguracyjny może wyglądać w ten sposób:

input {

  file {

    path => “/var/log/application.log”

    start_position => "beginning"

  }

}

filter {

    grok {

    patterns_dir => ["./patterns"]

    match => { "message" => [

"%{TIMESTAMP_ISO8601:timestamp}%{SPACES}\[%{GREEDYDATA:thread}\]%{SPACES}%{WORD:level}%{SPACES}%{PACKAGE:package}%{SPACES}-%{SPACES}%{GREEDYDATA:log_message}"

         ]

}

    }

    date {

        match => [ "timestamp", "YYYY-MM-dd HH:mm:ss,SSS" ]

        target => "@timestamp"

        timezone => "Europe/Warsaw"

    }

    if [level] == "DEBUG" { drop{} }

    mutate {

remove_field => ["timestamp", "time", "host", "@version", "message", "thread"]

    }

}

output {

    elasticsearch {

        hosts => ["localhost:9200"]

    }

}

Powyższa konfiguracja powoduje czytanie z pliku application.log, opcja beginning oznacza, że chcemy czytać plik od początku. Następnie, plik jest filtrowany, funkcja match próbuje dopasować log do podanego wzorca (powyższa konfiguracja wskazuje poprzez parameter patterns_dir miejsce ze zdefiniowanymi, nazwanymi wzorcami), a następnie przekazuje wartości do odpowiednich pól (timestamp, thread, level, package itd). Chcemy, aby nasze logi trafiły do Elasticsearch z uzupełnioną data wystąpienia w aplikacji, służy do tego wtyczka date, której podajemy format daty oraz pole do którego ma zostać przekazana. Pole @timestamp jest domyślnie wykorzystywane przez Elasticsearch i Kibanę, w celu indeksowania i wyświetlania danych po czasie. Na końcu tej sekcji usuwamy niepotrzebne pola oraz wszystkie logi z poziomem DEBUG. W sekcji output, korzystamy z wtyczki elasticsearch, więc dane trafiają już bezpośrednio do bazy.

Ostatnią rzeczą jaką potrzebujemy jest uruchomienie Kibany oraz zdefiniowanie index pattern. Jeżeli poprawnie uruchomiliśmy wszystkie elementy ELK powinniśmy mieć do wyboru interesujące na indeksy Elasticsearch.

Wzorzec ustawiamy na logstash-*, przez co złapią się w niego wszystkie indeksy Elasticsearch, których nazwy rozpoczynają się od logstash-

Klikamy w przycisk Next step, następnie musimy wybrać pole, które będzie służyło do filtrowania naszych danych po czasie. W naszym przypadku jest to pole @timestamp

W tym momencie możemy rozpocząć przygodę z analizą naszych danych. W celu przeszukiwania logów po zdefiniowanych wcześniej polach, przechodzimy do zakładki Discover, w bocznym menu.

Zakładka ta pozwala na wyszukiwaniu danych, m.in poprzez definiowanie zakresu czasu, oraz wpisywaniu własnych zapytań.

Często zdarza się, że potrzebujemy skorzystać z przygotowanych wcześniej wizualizacji naszych danych. Aby przygotować takie wizualizacje, przechodzimy do zakładki Visualize. Mamy do wyboru szereg wykresów i narzędzi, które pomogą nam skorelować i zobrazować nasze dane. Do wyboru są między innymi wykresy typu line, heatmap, pie. Ciekawe jest narzędzie mapa, przydatne gdy mamy do czynienia z danymi typu IP, albo współrzędnymi geograficznymi.

Z gotowych wizualizacji możemy budować Dashboardy, zawierające interesujące nas informacje, co bardzo ułatwia analizę zachowania naszych usług.

Od wersji 6.4 Kibana dostarcza nam również narzędzi służących do uczenia maszynowego. Oferuje on wizualizatory pomagające zrozumienie istniejących danych oraz narzędzia analizujące nasze dane pod kątem występujących w nich anomalii. Narzędzie to przedstawimy w osobnym artykule.

Mateusz Morawski

SALESmanago o platforma Customer Engagement, zaprojektowana dla efektywnych i głodnych sukcesu zespołów marketingowych w eCommerce. Dla marketerów, którzy pragną być zaufanymi partnerami dla swoich CEO. Z naszego rozwiązania korzysta ponad 2000 biznesów online średniej wielkości w 50 krajach oraz liczne globalne marki takie jak Starbucks, Vodafone, Lacoste, New Balance czy Victoria's Secret.

SALESmanago zapewnia maksymalizację wzrostu przychodów oraz poprawy wskaźników KPI dla eCommerce wykorzystując trzy zasady: (1) Customer Intimacy, aby stworzyć autentyczne relacje z klientami w oparciu o dane Zero- i First-Party, (2) Precision Execution, aby zapewnić doskonałe omnichannelowe doświadczenie klienta dzięki hiper-personalizacji oraz (3) Growth Intelligence, która łączy wskazówki opracowane przez specjalistów oraz AI, umożliwiając pragmatyczne i szybkie podejmowanie decyzji w celu maksymalizacji efektu.

Czytaj więcej na: www.salesmanago.pl

Pracuj jak dziesięciu najlepszych marketerów naraz! Różnica między Workflow, który działa, a takim, który nie bardzo
Pracuj jak dziesięciu najlepszych marketerów naraz! Różnica między Workflow, który działa, a takim, który nie bardzo

    Lean Marketing wymaga skuteczności, ale taki tytuł może wydawać się przesadą. To nie jest jednak wygórowane oczekiwanie, a propozycja rozwiązania. Jest to wykonalne – jeśli masz odpowiedni Workflow. W tym artykule wyjaśnimy, czym jest Workflow, jak działa, kto odpowiada za jego efektywność, a ostatecznie – jak skorzystać z doświadczenia twórców szablonów. Utrata produktywności […]

[Nowa funkcjonalność] Szablony Workflow opracowane przez ekspertów eCommerce, dopasowane do twoich celów marketingowych
[Nowa funkcjonalność] Szablony Workflow opracowane przez ekspertów eCommerce, dopasowane do twoich celów marketingowych

    Zebraliśmy naszych czołowych ekspertów eCommerce, którzy na co dzień pracują z największymi światowymi markami, aby całkowicie przeprojektować szablony Workflow w naszej Bibliotece. Ludzie ci włożyli tysiące godzin swojego doświadczenia i unikatową wiedzę w stworzenie nowych, ulepszonych szablonów. Wszystko to, aby zaoszczędzić Twój czas. Ponadto, do Biblioteki dodaliśmy Generator Workflow — pierwszą taką funkcję […]

[Nowa Funkcjonalność] Zmaksymalizuj swój wpływ i kontrolę dzięki nowemu eCommerce Dashboard
[Nowa Funkcjonalność] Zmaksymalizuj swój wpływ i kontrolę dzięki nowemu eCommerce Dashboard

    Nasza najnowsza funkcjonalność, eCommerce Dashboard, agreguje dane z platform eCommerce oraz oprogramowania marketingowego i prezentuje je w jednym miejscu, w czasie rzeczywistym, 24 godziny na dobę, 7 dni w tygodniu. Jako, że umożliwia szybki przegląd wydajności sklepu internetowego, a także szczegółowe śledzenie różnych aspektów biznesu, stanowi niezwykle skuteczne, wielokanałowe narzędzie Growth Intelligence.   […]

SALESmanago przeprowadzi się do dedykowanego biurowca w Ocean Office Park na krakowskim Zabłociu
SALESmanago przeprowadzi się do dedykowanego biurowca w Ocean Office Park na krakowskim Zabłociu

    SALESmanago, największa w Polsce i najszybciej rosnąca firma tworząca rozwiązania technologiczne dla eCommerce, we wrześniu przyszłego roku przenosi swoją siedzibę do nowo powstającego Ocean Office Park na krakowskim zabłociu. Grupa Cavatina rozpoczęła już prace nad biurowcem, który zapewni dedykowaną, nowoczesną przestrzeń dla blisko 700 obecnych i przyszłych pracowników SALESmanago.    Charakterystyczny, okrągły Ocean […]

6 prognoz na Black Friday dla eCommerce. Czego oczekuje od Ciebie Internet i co z tym zrobić?
6 prognoz na Black Friday dla eCommerce. Czego oczekuje od Ciebie Internet i co z tym zrobić?

    Black Friday będzie rokiem 2022 w pigułce. Internet pęka w szwach od prognoz i strategii. W tym artykule przedstawiamy sześć najbardziej rozpowszechnionych, istotnych lub po prostu interesujących. Przedstawiamy również nasze podejście do nich. Ale przede wszystkim podpowiadamy, co z nimi zrobić. Na honorowe wyróżnienie zasługują prognozy: zabawki rozejdą się jak świeże bułeczki, ubrania […]

Jak zwiększyć Customer Lifetime Value dzięki platformie Customer Engagement
Jak zwiększyć Customer Lifetime Value dzięki platformie Customer Engagement

    Zwiększanie Customer Lifetime Value to jeden z najskuteczniejszych sposobów na podniesieniea przychodów. W końcu klient, którego już mamy, kosztuje nas znacznie mniej niż konwersja nowego użytkownika. W tym artykule pokażemy cztery scenariusze, w których możesz inteligentnie wykorzystać platformę Customer Engagement, aby zapewnić klientom większą wartość i zarobić więcej pieniędzy w tym procesie.   […]

Idealna strona docelowa – audyt Landing Page’a krok po kroku
Idealna strona docelowa – audyt Landing Page’a krok po kroku

    Wyobraź sobie, że masz niesamowicie efektowną stronę docelową, dzięki której dynamicznie przybywa Ci nowych leadów. Statystyki pną się w górę, a sprzedaż rośnie w oszałamiającym tempie. Jak stworzyć dobry landing page, który przyciągnie uwagę? Landing page, czyli strona docelowa, to miejsce, gdzie po kliknięciu w reklamę lub link w mailu trafia odbiorca. Od dobrze stworzonej […]

SALESmanago wzmacnia zespół C-Level Exec, szykując się na czterokrotny wzrost na terenie Europy, i doskonaląc swoje wsparcie marketerów eCommerce … z głową.
SALESmanago wzmacnia zespół C-Level Exec, szykując się na czterokrotny wzrost na terenie Europy, i doskonaląc swoje wsparcie marketerów eCommerce … z głową.

    26 września 2022, Kraków: Po dziewięciocyfrowej inwestycji ze strony Silver Tree i Perwyn, SALESmanago wzmacnia swój zespół wykonawczy C-Level. Celem jest zwiększyć przychody z 20 do 100 milionów Euro w ciągu najbliższych czterech lat i objąć pozycję europejskiego lidera customer engagement.   Nowi członkowie C-Level to doświadczeni liderzy z organizacji B2B, eCommerce i […]

Badanie firmy Forrester Consulting: 90% firm marketingowych rozpocznie pozyskiwanie Danych Zero-Party w ciągu roku
Badanie firmy Forrester Consulting: 90% firm marketingowych rozpocznie pozyskiwanie Danych Zero-Party w ciągu roku

    Prawie wszyscy przedsiębiorcy planują rozpocząć pozyskiwanie Danych Zero-Party w celu rozwiązania problemu deprecjacji informacji. Jednocześnie, jak pokazują badania Forrestera, mniej niż połowa z nich wie, jak z powodzeniem korzystać z takich zbiorów danych!   W lutym 2022 r. Forrester Consulting przeprowadził ankietę wśród 200 osób decyzyjnych różnych szczebli (manager+), skoncentrowanych na pozyskiwaniu klientów. […]

Czy Customer Engagement Platform to tylko chwytliwy buzzword na CDP?
Czy Customer Engagement Platform to tylko chwytliwy buzzword na CDP?

    Customer Engagement Platform to znacznie więcej niż platforma Customer Data, którą już znasz, być może nawet używasz. Jej funkcje znacznie wykraczają poza zbieranie i ujednolicanie danych, a umacniający wpływ na zespoły marketingowe jest ogromny. W tym artykule szczegółowo wyjaśnimy różnicę między tymi systemami. Aby stawić czoła wyzwaniom obecnej recesji, marketerzy muszą w dużym […]