日志收集系統(tǒng)Flume調(diào)研筆記第2篇 - Flume配置及使用實(shí)例

上篇筆記對(duì)Flume的使用處景和系統(tǒng)架構(gòu)做了介紹，本篇筆記以實(shí)例說(shuō)明Flume的配置方法。下面開(kāi)始正文。

1. Flume使用實(shí)例
1.1 配置
Flume agent的3個(gè)組件及其拓?fù)潢P(guān)系是在配置文件中指定的，總的原則是必須列出source/channel/sink的name/type等重要的配置項(xiàng)，并通過(guò)channel將source(s)和sink(s)連接起來(lái)，另外，1個(gè)source可以指定多個(gè)channel，而1個(gè)sink只能接收來(lái)自1個(gè)channel的數(shù)據(jù)。
這里給出的是部署1套含1個(gè)source、1個(gè)channel、1個(gè)sink的Flume agent的配置示例，更多的配置規(guī)則可以參考Flume User Guide的Configuration部份。
假定外部數(shù)據(jù)源是nginx的access_log，為保證數(shù)據(jù)不丟失（通過(guò)ExecSource履行tail

生活不易，碼農(nóng)辛苦
如果您覺(jué)得本網(wǎng)站對(duì)您的學(xué)習(xí)有所幫助,可以手機(jī)掃描二維碼進(jìn)行捐贈(zèng)