1.Filebeat安装
下载
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.3.0-linux-x86_64.tar.gz
解压
tar -zxvf filebeat-7.3.0-linux-x86_64.tar.gz
放到/usr/local/bin
mv filebeat-7.3.0-linux-x86_64 /usr/local/bin/filebeat
2.Filebeat配置Kafka
cd /usr/local/bin/filebeat
vim filebeat.yml
1>. inputs配置
#=========================== Filebeat inputs =============================
filebeat.inputs:
- type: log
paths:
#- /var/log/*.log // 可以配置收集多个日志文件
- /var/log/test.log
2>. outputs配置(除了Kafka其他outputs配置注释掉)
#================================ Outputs =====================================
#---------------------------- Kafka output -----------------------------------
output.kafka:
enabled: true
hosts: ["localhost:9092"] //kafka服务器IP和端口(如果不是本机填写对应服务器IP)
topic: test // kafka对应Topic名称
3.启动Filebeat
不挂断后台运行 将所有标准输出及标准错误输出到/dev/null空设备,即没有任何输出
nohup ./filebeat -e -c filebeat.yml >/dev/null 2>&1 &
不挂断后台运行 日志输出filebeat.log
nohup ./filebeat -e -c filebeat.yml > filebeat.log &
测试filebeat启动后,查看相关输出信息
./filebeat -e -c filebeat.yml -d "publish"