Jak předávat protokoly do Grafana Loki pomocí Promtail

Grafana Loki je nástroj, který vám poskytuje panel pro indexování protokolů vašich systémů a jejich vizualizaci na palubní desce. Grafana Loki neindexuje obsah protokolů, ale indexuje pouze štítky protokolů. To snižuje úsilí spojené se zpracováním a ukládáním protokolů.

Promtail, stejně jako Prometheus, je sběrač protokolů pro Loki, který odesílá štítky protokolu do Grafana Loki pro indexování.

V tomto příspěvku pokryjeme následující:

Instalace Grafany
Jak nainstalovat Loki
Jak nainstalovat Promtail
Jak nakonfigurovat zdroj dat Loki a prozkoumat

Rychle začneme kroky instalace:

Krok 1 - Nainstalujte nástroj pro sledování Grafana

V této části se budeme zabývat instalací Grafany na Ubuntu. Použijte níže uvedené odkazy, které vás provedou instalací Grafany na různé systémy:

Jak nainstalovat Grafana 7 na CentOS 7

Jak nainstalovat Grafanu na CentOS 8 / RHEL 8

Nainstalujte Grafana na Kubernetes pro monitorování clusteru

Aktualizujte svůj systém Ubuntu a restartujte:

sudo apt-get update sudo apt-get upgrade sudo restart

Přidejte klíč Grafana GPG a poté nainstalujte úložiště Grafana APT:

## Přidat klíč gpg sudo apt-get install -y gnupg2 curl curl https: // balíčky.grafana.com / gpg.klíč | sudo apt-key add - ## Add Grafana APT repository sudo add-apt-repository "deb https: // balíčky.grafana.com / oss / deb stabilní hlavní "

Nainstalujte Grafanu

sudo apt-get update sudo apt-get -y nainstalovat grafanu

Spusťte službu Grafana

sudo systemctl start grafana-server sudo systemctl povolit grafana-server

Grafana je nyní nainstalována a je přístupná přes IP serveru a port 3000. (http: // server_IP: 3000)

Musíte povolit port 3000 přes bránu firewall.

Pro Ubuntu:

sudo ufw povolit proto tcp z libovolného na libovolný port 3000

Poté můžete přistupovat k webovému panelu Grafana,

Krok 2 - Nainstalujte agregační systém Grafana Loki Log

Nyní pokračujeme v instalaci Loki pomocí následujících kroků:

Přejděte na Lokiho stránku s vydáním a vyberte nejnovější verzi Lokiho
Navigovat do Aktiva a stáhněte si binární zip soubor Loki na svůj server. Během vydání tohoto článku, v2.0.0 je nejnovější.

curl -s https: // api.github.com / repos / grafana / loki / vydání / nejnovější | grep browser_download_url | cut -d '"' -f 4 | grep loki-linux-amd64.zip | wget -i -

Nainstalujte rozbalte

# Ubuntu / Debian $ sudo apt install unzip # CentOS / Fedora / RHEL $ sudo yum -y install unzip

3. Rozbalte binární soubor do / usr / local / bin

rozbalte loki-linux-amd64.zip sudo mv loki-linux-amd64 / usr / local / bin / loki

Potvrďte nainstalovanou verzi:

$ loki - verze loki, verze 2.0.0 (větev: HEAD, revize: 6978ee5d) uživatel sestavení: [chráněno e-mailem] datum sestavení: 2020-10-26T15: 54: 56Z verze go: go1.14.2 platforma: linux / amd64

4. Vytvořte soubor YAML pro Loki pod / usr / local / bin

Vytvořte požadované datové adresáře:

sudo mkdir -p / data / loki

Vytvořte nový konfigurační soubor.

sudo vim / etc / loki-local-config.yaml

Přidejte do souboru následující konfiguraci:

auth_enabled: false server: http_listen_port: 3100 ingester: lifecycler: adresa: 127.0.0.1 zazvonění: kvstore: store: inmemory replication_factor: 1 final_sleep: 0s chunk_idle_period: 5m chunk_retain_period: 30s max_transfer_retries: 0 schema_config: configs: - from: 2018-04-15 store: boltdb object_store: filesystem schema: v11 index period schema: v11 : 168h storage_config: boltdb: adresář: / data / loki / indexový souborový systém: adresář: / data / loki / chunks limits_config: enforce_metric_name: false reject_old_samples: true reject_old_samples_max_age: 168h chunk_store_config: max_look_back_period: 0_stable_en_období: 0

5. Vytvořit službu Loki:

Vytvořte následující soubor pod / etc / systemd / system daemonizovat službu Loki:

sudo tee / etc / systemd / system / loki.servis<

6. Znovu načtěte systémového démona a poté spusťte službu Loki:

sudo systemctl daemon-reload sudo systemctl start loki.servis

Můžete zkontrolovat a zjistit, zda byla služba úspěšně spuštěna:

$ sudo systemctl status loki ● loki.service - Loki service Loaded: loaded (/ etc / systemd / system / loki.servis; postižený; přednastavení dodavatele: povoleno) Aktivní: aktivní (běží) od pondělí 2020-12-21 11:49:49 UTC; Před 2 minutami před 37 s Hlavní PID: 15223 (loki) Úkoly: 7 (limit: 1137) Paměť: 13.6M CGroup: / system.plátek / loki.služba └─15223 / usr / local / bin / loki -config.soubor / etc / loki-local-config.yaml 21. prosince 11:49:49 ubuntu loki [15223]: level = informace ts = 2020-12-21T11: 49: 49.330959628Z caller = table_manager.go: 476 msg = "vytváření tabulky" table = index_2658 21. prosince 11:49:49 ubuntu loki [15223]: level = info ts = 2020-12-21T11: 49: 49.331092225Z caller = table_manager.go: 476 msg = "vytváření tabulky" table = index_2549 21. prosince 11:49:49 ubuntu loki [15223]: level = info ts = 2020-12-21T11: 49: 49.331220486Z caller = table_manager.go: 476 msg = "vytváření tabulky" table = index_2562 21. prosince 11:49:49 ubuntu loki [15223]: level = info ts = 2020-12-21T11: 49: 49.331347316Z caller = table_manager.go: 476 msg = "vytváření tabulky" table = index_2615 21. prosince 11:49:49 ubuntu loki [15223]: level = info ts = 2020-12-21T11: 49: 49.331471475Z caller = table_manager.go: 476 msg = "vytváření tabulky" table = index_2643 21. prosince 11:49:49 ubuntu loki [15223]: level = info ts = 2020-12-21T11: 49: 49.327278535Z volající = modul_služba.go: 58 msg = initializing module = ring 21. prosince 11:49:49 ubuntu loki [15223]: level = informace ts = 2020-12-21T11: 49: 49.331950866Z volající = modul_služba.go: 58 msg = initializing module = distributor 21. prosince 11:49:49 ubuntu loki [15223]: level = informace ts = 2020-12-21T11: 49: 49.332140208Z volající = modul_služba.go: 58 msg = initializing module = ingester-querier Dec 21 11:49:49 ubuntu loki [15223]: level = info ts = 2020-12-21T11: 49: 49.332342162Z volající = loki.go: 227 msg = "Loki spuštěno" 21. prosince 11:51:49 ubuntu loki [15223]: level = info ts = 2020-12-21T11: 51: 49.311922692Z caller = table_manager.go: 324 msg = "synchronizace tabulek" expect_tables = 141

Nyní můžete přistupovat k metrikám Loki prostřednictvím http: // server-IP: 3100 / metriky

`Krok 3 - Nainstalujte Promtail Agent`

Promtail je agent, který dodává obsah místních protokolů do soukromé instance Loki nebo Grafana Cloud.

Stáhněte si binární zip Promtail ze stránky vydání

curl -s https: // api.github.com / repos / grafana / loki / vydání / nejnovější | grep browser_download_url | cut -d '"' -f 4 | grep promtail-linux-amd64.zip | wget -i -

Jakmile je soubor stažen, rozbalte jej do / usr / local / bin

rozbalte promtail-linux-amd64.zip sudo mv promtail-linux-amd64 / usr / local / bin / promtail

Zkontrolujte verzi:

$ promtail - verze promtail, verze 2.0.0 (větev: HEAD, revize: 6978ee5d) uživatel sestavení: [chráněno e-mailem] datum sestavení: 2020-10-26T15: 54: 56Z verze go: go1.14.2 platforma: linux / amd64

2. Vytvořte konfigurační soubor YAML pro Promtail v / usr / local / bin adresář:

sudo vim / etc / promtail-local-config.yaml

3. Přidejte do souboru následující obsah:

server: http_listen_port: 9080 grpc_listen_port: 0 pozic: název souboru: / data / loki / pozice.yaml klienti: - url: http: // localhost: 3100 / loki / api / v1 / push scrape_configs: - job_name: system static_configs: - target: - localhost labels: job: varlogs __path__: / var / log / * log

4. Vytvořit službu pro Promtail:

sudo tee / etc / systemd / system / promtail.servis<

5. Znovu načtěte a spusťte službu Promtail

sudo systemctl daemon-reload sudo systemctl start promtail.servis

Potvrďte, zda je služba v provozním stavu:

$ systemctl status promtail.služba ● promtail.service - Promtail service Loaded: loaded (/ etc / systemd / system / promtail.servis; postižený; přednastavení dodavatele: povoleno) Aktivní: aktivní (běží) od pondělí 2020-12-21 11:57:41 UTC; Před 3 s Hlavní PID: 15381 (promtail) Úkoly: 6 (limit: 1137) Paměť: 8.8M CGroup: / system.plátek / promtail.služba └─15381 / usr / local / bin / promtail -config.soubor / etc / promtail-local-config.yaml 21. prosince 11:57:41 ubuntu systemd [1]: Spuštěna služba Promtail. 21. prosince 11:57:41 ubuntu promtail [15381]: level = informace ts = 2020-12-21T11: 57: 41.911186079Z volající = server.go: 225 http = [::]: 9080 grpc = [::]: 35499 msg = "server poslouchá> 21. prosince 11:57:41 ubuntu promtail [15381]: level = info ts = 2020-12-21T11: 57:41.911859429Z volající = hlavní.go: 108 msg = "Spuštění Promtail" version = "(verze = 2.0.0, větev = H>

V tomto okamžiku jsme nainstalovali Grafanu, Loki a Promtail.

Dalším krokem je konfigurace Grafana Dashboard a vizualizace protokolů pomocí Loki.

`Krok 4 - Nakonfigurujte zdroj dat Loki`

Přihlaste se do webového rozhraní Grafana a vyberte 'Prozkoumat'. Zobrazí se výzva k vytvoření zdroje dat.

2. Klikněte na Přidat zdroj dat poté vyberte Loki z dostupných možností:

4. Zadejte následující hodnoty pro Loki:

Název: Loki URL: http: // 127.0.0.1: 3100

Viz níže uvedený snímek obrazovky.

5. Klepněte na Uložit a otestovat. Mělo by se zobrazit oznámení, že zdroj dat byl úspěšně přidán.

`Krok 5 - Vizualizujte protokoly na Grafaně s Loki`

Nyní můžeme vizualizovat protokoly pomocí Loki.

Klikněte na Prozkoumat poté vyberte Loki ve zdroji dat

Nyní můžete snadno vizualizovat protokoly výběrem Štítky protokolu možnosti.

`Závěr`

Úspěšně jsme nainstalovali Grafana Loki s Promtail a byli jsme schopni vizualizovat protokoly na řídicím panelu Grafana.

Grafana Loki může používat mnohem více nástrojů pro předávání protokolů než Promtail, např.g FluentBit. Ke sledování svého klastru Kubernetes můžete také použít Grafana Loki. Užívat si!