openfalcon吧 关注:7贴子:20
  • 4回复贴,共1

openfalcon存储对于监控系统来讲,历史数据的存储和高

只看楼主收藏回复

openfalcon存储
对于监控系统来讲,历史数据的存储和高效率查询,永远是个很难的问题!
数据量大:目前我们的监控系统,每个周期,大概有2000万次数据上报(上报周期为1分钟和5分钟两种,各占50%),一天24小时里,从来不会有业务低峰,不管是白天和黑夜,每个周期,总会有那么多的数据要更新。
写操作多:一般的业务系统,通常都是读多写少,可以方便的使用各种缓存技术,再者各类数据库,对于查询操作的处理效率远远高于写操作。而监控系统恰恰相反,写操作远远高于读。每个周期几千万次的更新操作,对于常用数据库(MySQL、postgresql、mongodb)都是无法完成的。
高效率的查:我们说监控系统读操作少,是说相对写入来讲。监控系统本身对于读的要求很高,用户经常会有查询上百个meitric,在过去一天、一周、一月、一年的数据。如何在1秒内返回给用户并绘图,这是一个不小的挑战。
open-falcon在这块,投入了较大的精力。我们把数据按照用途分成两类,一类是用来绘图的,一类是用户做数据挖掘的。
对于绘图的数据来讲,查询要快是关键,同时不能丢失信息量。对于用户要查询100个metric,在过去一年里的数据时,数据量本身就在那里了,很难1秒之类能返回,另外就算返回了,前端也无法渲染这么多的数据,还得采样,造成很多无谓的消耗和浪费。我们参考rrdtool的理念,在数据每次存入的时候,会自动进行采样、归档。我们的归档策略如下,历史数据保存5年。同时为了不丢失信息量,数据归档的时候,会按照平均值采样、最大值采样、最小值采样存三份。
在下一小节,我将简单介绍一下open-falcon的安装和使用


IP属地:湖北来自iPhone客户端1楼2020-11-12 09:25回复
    学习方法就是这样简单


    IP属地:湖北来自iPhone客户端2楼2020-11-28 10:04
    回复
      每天打卡


      IP属地:湖北来自iPhone客户端3楼2020-12-10 10:02
      回复
        打卡学习


        IP属地:湖北来自iPhone客户端4楼2021-01-05 08:41
        回复
          打卡学习


          IP属地:湖北5楼2021-02-04 13:32
          回复