博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Logstash-5.0同步.json文件到ElasticSearch-5.0配置文件
阅读量:5216 次
发布时间:2019-06-14

本文共 1286 字,大约阅读时间需要 4 分钟。

logstash/conf/input-file.conf内容如下:

input {    file {        #监听文件的路径。        path => ["E:/data_json/*.json"]        #排除不想监听的文件        #exclude => "1.log"                #添加自定义的字段        #add_field => {
"test"=>"test"} #增加标签 #tags => "tag1" #设置新事件的标志 #delimiter => "\n" #设置多长时间扫描目录,发现新文件 discover_interval => 1 #设置多长时间检测文件是否修改 stat_interval => 1 #监听文件的起始位置,默认是end start_position => beginning #在logstash-5.0中,json_lines插件貌似不起作用? #codec => json_lines {charset => ["UTF-8"]} #监听文件读取信息记录的位置 #sincedb_path => "E:/logstash-5.0.0/sincedb_path.txt" #设置多长时间会写入读取的位置信息 #sincedb_write_interval => 15 }}filter { json { #add_field => ... # default: {} #add_tag => ... # array (optional), default: [] #remove_field => ... # array (optional), default: [] #remove_tag => ... # array (optional), default: [] source => "name" target => "user_name" }}output { elasticsearch { #ESIP地址与端口 hosts => "localhost:9200" #ES索引名称(自己定义的) index => "m8" #自增ID编号 #document_id => "%{id}" } stdout { #以JSON格式输出 #codec => json_lines }}

启动logstash命令:

bin/logstash -f ../config/input-file.conf

 

转载于:https://www.cnblogs.com/xuxy03/p/6044984.html

你可能感兴趣的文章
[大牛翻译系列]Hadoop(16)MapReduce 性能调优:优化数据序列化
查看>>
WEB_点击一百万次
查看>>
CodeForces - 878A Short Program(位运算)
查看>>
路冉的JavaScript学习笔记-2015年1月23日
查看>>
Mysql出现(10061)错误提示的暴力解决办法
查看>>
2018-2019-2 网络对抗技术 20165202 Exp3 免杀原理与实践
查看>>
NPM慢怎么办 - nrm切换资源镜像
查看>>
CoreData 从入门到精通(四)并发操作
查看>>
Swift - UIView的常用属性和常用方法总结
查看>>
Swift - 异步加载各网站的favicon图标,并在单元格中显示
查看>>
Java编程思想总结笔记Chapter 5
查看>>
[LeetCode]662. Maximum Width of Binary Tree判断树的宽度
查看>>
WinForm聊天室
查看>>
【Python学习笔记】1.基础知识
查看>>
梦断代码阅读笔记02
查看>>
selenium学习中遇到的问题
查看>>
大数据学习之一——了解简单概念
查看>>
Linux升级内核教程(CentOS7)
查看>>
Lintcode: Partition Array
查看>>
分享适合个人站长的5类型网站
查看>>