Loki是 Grafana Labs 团队最新的开源项目,是一个水平可扩展,高可用性,多租户的日志聚合系统。它的设计非常经济高效且易于操作,因为它不会为日志内容编制索引,而是为每个日志流编制一组标签,为 Prometheus和 Kubernetes用户做了相关优化。项目受 Prometheus 启发,类似于 Prometheus 的日志系统。

简介

Loki初体验
与其他日志聚合系统相比, Loki具有下面的一些特性:

  • 不对日志进行全文索引。通过存储压缩非结构化日志和仅索引元数据,Loki 操作起来会更简单,更省成本。
  • 通过使用与 Prometheus 相同的标签记录流对日志进行索引和分组,这使得日志的扩展和操作效率更高。
  • 特别适合储存 Kubernetes Pod 日志; 诸如 Pod 标签之类的元数据会被自动删除和编入索引。
  • 受 Grafana 原生支持。

Loki 由以下3个部分组成:

  • loki是主服务器,负责存储日志和处理查询。
  • promtail是代理,负责收集日志并将其发送给 loki。
  • Grafana 用于 UI 展示。

环境说明

环境 版本
centos v7.4
docker v18.09.0
docker-compose v1.23.2
grafana v5.5.0
node-exporter v0.17.0
prometheus v2.5.0

部署

clone loki源码

1
2
3
4
[root@1-206 ~]# curl -L "https://github.com/docker/compose/releases/download/1.23.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
[root@1-206 ~]# yum install -y git
[root@1-206 ~]# git clone https://github.com/grafana/loki.git
[root@1-206 ~]# cd loki/production/

可以直接运行官方的docker-compose.yml文件,执行命令为:docker-compose -f docker-compose.yaml up -d
docker-compose.yml 文件如下,这里使用的 grafana 镜像为自己编译的,官方的镜像为:image: grafana/grafana:master

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
[root@1-206 production]# cat docker-compose.yaml
version: "3"
networks:
loki:
services:
loki:
image: grafana/loki:master
ports:
- "3100:3100"
command: -config.file=/etc/loki/local-config.yaml
networks:
- loki
promtail:
image: grafana/promtail:master
volumes:
- /var/log:/var/log
command:
-config.file=/etc/promtail/docker-config.yaml
networks:
- loki
grafana:
image: yfshare/grafana:5.5.0_beta1
ports:
- "3000:3000"
environment:
GF_EXPLORE_ENABLED: "true"
networks:
- loki
[root@1-206 production]#

1
2
3
4
5
6
7
8
[root@1-206 production]# docker-compose -f docker-compose.yaml up -d
[root@1-206 production]# docker-compose ps
Name Command State Ports
-----------------------------------------------------------------------------------------------
production_grafana_1 /docker-entrypoint.sh Up 22/tcp, 0.0.0.0:3000->3000/tcp
production_loki_1 /bin/loki -config.file=/et ... Up 0.0.0.0:3100->3100/tcp, 80/tcp
production_promtail_1 /usr/bin/promtail -config. ... Up
[root@1-206 production]#

体验

部署完成后,访问grafana:http://ip:3000,默认密码为`admin:admin`
Grafana v5.5.0+以上的版本才支持Loki
Grafana_Plugins
添加数据源Prometheus和Loki
Grafana_Add_Data_Sources
Grafana_Prometheus
Grafana_Loki
Grafana_Data_Sources
根据系统标签来查看Loki日志
测试发现当promtail定义读取的日志路径为/var/log时,即使日志路径为/var/log/grafana/grafana.log也不能读取。
Grafana_Loki_Log
Loki_Labels
这里的job varlogs是在promtail的配置文件里定义的,promtail配置文件如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
[root@1-206 production]# docker exec -it production_promtail_1 /bin/sh
/ # cat /etc/promtail/docker-config.yaml
server:
http_listen_port: 0
grpc_listen_port: 0
positions:
filename: /tmp/positions.yaml
client:
url: http://loki:3100/api/prom/push
scrape_configs:
- job_name: system
entry_parser: raw
static_configs:
- targets:
- localhost
labels:
job: varlogs
__path__: /var/log
/ #

Loki也可以查看Prometheus的item
Grafana_Prometheus_Item

参考:
Grafana 日志聚合工具 Loki
Loki官网
Deploy Loki to Kubernetes
Configuring the Loki Datasource in Grafana
Loki API


本作品采用知识共享署名 2.5 中国大陆许可协议进行许可,欢迎转载,但转载请注明来自Jack Wang Blog,并保持转载后文章内容的完整。本人保留所有版权相关权利。
打赏
本文出自”Jack Wang Blog”:http://www.yfshare.vip/2019/01/20/Grafana日志聚合工具Loki/