“目前,数据驱动精细化运营已成为企业实现成功的最佳路径,数据智能决策平台不该仅止于数据的采集和分析,而应从多个角度进一步“帮助用户实现业务增长。”春节前夕,诸葛io创始人&CEO孔淼接受了数据猿记者的专访,在狗年开工的第一天,我们整理了专访内容,恭祝开工大吉,增长无极限。https://t.cn/RE7jtho
#思创车载gps定位器软件平台#思创GPS车辆监控系统数据缓存
1、数据缓存
在我们的系统中,采用了Redis作为数据的缓存技术,主要方案如下:
(1)由于智能设备都是定时上传数据,所以数据非常的离散,如果业务处理服务器单条的处理这些数据,将会很容易到达硬件设备的IO瓶颈,系统的性能将大大降低,大量的数据无法正常入库。
(2)在我们的方案中,采用Redis内存数据库缓存收到的数据,然后,采用另外的线程将以5000条数据一个批次,批量刷入到数据库中。
2、数据库(SQLServer)
基础业务数据的数据都保存在系统的关系型数据库(SQLServer)中,对于GPS这种大量的离散型数据,我们的SQLServer数据库保存最近1年的数据,方便用户的实时在线查询,数据的保存采用分表的方式记性,主要算法:
(1)将一年的时间,分成54个周,按照周做第一次的分表
(2)将设备的尾号进行二次的分表,将尾数对20取模,尾数进行分表,
所以,正常情况下,分表数量为: 54 * 20 = 1080
3、分布式数据库(MongDB)
大量离线型的历史数据,存放到MongDB中,采用MongDB为解决方案来存放历史数据,主要是出于两个方面的原因:
(1)MongDB是分布式文件系统,适合大数据的存储,而且相对来说,成本比较低。
(2)采用MongDB数据存储后,并采用自身的索引机制,便于后期的大数据查询、统计、分析。
1、数据缓存
在我们的系统中,采用了Redis作为数据的缓存技术,主要方案如下:
(1)由于智能设备都是定时上传数据,所以数据非常的离散,如果业务处理服务器单条的处理这些数据,将会很容易到达硬件设备的IO瓶颈,系统的性能将大大降低,大量的数据无法正常入库。
(2)在我们的方案中,采用Redis内存数据库缓存收到的数据,然后,采用另外的线程将以5000条数据一个批次,批量刷入到数据库中。
2、数据库(SQLServer)
基础业务数据的数据都保存在系统的关系型数据库(SQLServer)中,对于GPS这种大量的离散型数据,我们的SQLServer数据库保存最近1年的数据,方便用户的实时在线查询,数据的保存采用分表的方式记性,主要算法:
(1)将一年的时间,分成54个周,按照周做第一次的分表
(2)将设备的尾号进行二次的分表,将尾数对20取模,尾数进行分表,
所以,正常情况下,分表数量为: 54 * 20 = 1080
3、分布式数据库(MongDB)
大量离线型的历史数据,存放到MongDB中,采用MongDB为解决方案来存放历史数据,主要是出于两个方面的原因:
(1)MongDB是分布式文件系统,适合大数据的存储,而且相对来说,成本比较低。
(2)采用MongDB数据存储后,并采用自身的索引机制,便于后期的大数据查询、统计、分析。
数据分析平台不是数据仓库,更不是程序猿炫技的舞台,而是能够快速发现并切实解决业务问题的工具,提高效率节约成本是数据分析平台的核心价值,作为诸葛io的教育培训行业的客户——腰果公考已使用诸葛io平台近8个月,上周六腰果公考产品总监Tony受邀出席了诸葛君的沙龙活动,并在活动中分享了腰果公考团队如何借助诸葛io指导产品迭代,辅助运营决策的。https://t.cn/RQiFB7q
✋热门推荐