1. 首页
  2. IT资讯

企业数据管理落地篇

一:企业内部数据现状

1、数据不通&管理不通

这几年在BI领域经历了大大小小的项目上十个,有医疗、制造、零售、地产、酒店行业,最早是在医院做绩效管理,医院为什么要做绩效管理,它是为了解决医患关系和医护分配不平衡而产生的;而医院本身没有自己的IT技术人员,只有少量几个IT设备维护人员,所有的信息系统都是从不同的医疗软件公司采购的。在这样的情况下如何准确的获取各个医学性质不一样的病区数据,仅仅依靠医院自身的财务科和信息科是无法完成这样的工作。即使医院管理层采取工作量的分配如:20:80分配或30:70分配,也无法平衡护士和医生的分配,这里的不平衡主要来自护士和行政后勤人员,因为医生是有医药公司给开药品20%以上的提成,所以医生对绩效核算一点都不在乎。这里只是用医院来举例一下,而制造业、零售等其他行业都存在数据统计口径混乱,各个部门与高层管理看到的数据都不一致,每天都忙碌的让数据达成一致。

2、系统多不协调

系统多不协调是90%以上企业的通病,造成这样的原因有3点:1、前期企业快速发展只注重打市场。2、企业出现问题后想上一套系统来解决缺少从客户、组织、IT统一性的顶层设计。3、市场出现一种新的信息系统而且有成功的案例被忽悠的也上了一套,结果要死不活的在企业中存在因为花了钱的不好用也得给领导面子去使用它。系统多其实是好事,但是出现不协调就变成管理不通。例如:有些软件公司对外宣传ERP能解决所有的问题,结果成功的做成了进销存管理,财务处理还需要企业另外买系统,结果是要从ERP中把销售订单、库存数据通过接口传给财务系统做拆单、原始凭证、会计凭证、总账等工作,接口不仅不太稳定出现问题而且当组织架构调整人员变动后ERP要改一遍组织架构、人员,财务系统也要去改一遍组织架构、人员;这种能让人去统一改的还算好一点,有一些两个系统信息指的是同一个部门但他们分别叫不同的名称。这时就出现了一种新系统叫 主数据系统。

二:数据生命周期

通常认为数据进入数据库中之后就是静态的,以后会查询它们。但是在许多环境中,数据实际上更像是组装线上的产品,会从一种环境转移到另一种环境,并在沿途进行各种转换。

企业数据管理落地篇

1、联机事物处理(OLTP)

数据首先进入联机事务处理(OLTP)系统。OLTP系统的重点是数据输入,而不是生成报表,主要处理的事务包括插入、更新和删除数据。关系模型的目标主要定位于OLTP系统,一个规范化的模型可以为数据输入和数据一致性提供更好的性能。在规范化的环境中,每个数据表用于表示一个实体,并将数据冗余保持在最低限度。当要修改一个实体事实时,只要在一个地方进行修改,使修改操作得以优化,同时也减少了发生错误的机会。

但OLTP环境不适合生成报表的使用目的,因为规范化的数据模型通常涉及许多表,表之间的关系也非常复杂。而即便是简单的报表也须在多个表之间进行联接运算,导致生成的查询复杂、性能低下,往往很多企业为了增加软件系统的卖点而加上报表模块。

2、数据仓库(DW)

数据仓库是专门针对数据检索和生成报表而设计的环境。当这样的环境服务于整个企业时,就称之为数据仓库;而只服务于企业的一部分是就称之为数据集市。主要为了支持数据检索,而对数据仓库中的数据模型进行设计和优化。模型有意保持了一定的冗余,允许通过更少的表和更简单的关系,最终得到比OLTP环境更加简单和有效的查询。数据仓库最简单的设计是所谓的星型模式,它包括多个维度表和一个事实表。每个维度代表一个如何分析的主题。例如,在销售系统中,可能要按照客户、产品、销售员、门店、时间等不同的维度对数据进行分析。事实表存储运营感兴趣的事实和度量,比如与维度主键的每个组合相关的数量和值。

3、联机分析处理(OLAP)

联机分析处理系统支持对聚合后的数据进行动态的在线分析。考虑将一个数据仓库以SQL Server 中的关系数据库来实现。任何时候用户请求聚合数据时,应用程序就将查询提交到数据库,通常会扫描和聚合大量的基础数据。即使在关系数据仓库中处理这样的请求比在OLTP环境中更有效,但这种方法可能还不能达到足够的高效。对聚合后的数据进行在线动态的分析,通常须涉及频繁地请求不同级别的聚合,而后者又须对数据进行切片和切块。如果对于每个这样的请求都要扫描和聚合大量的数据,那么最终的代价将非常昂贵,很可能响应时间也不能令人满意。为了处理这样的需求,可以预先计算好不同级别的聚合,例如,可以按时间维:年、半年、季、月、日来预先计算,也可以按产品维:品牌、类别、子类、产品等来计算。当预先计算好聚合数据后,对聚合数据的请求就可以更快速地满足了。

4、数据挖掘(DM)

OLAP系统为用户提供了回答所有可能问题的答案,用户的任务是要问正确的问题从数据中筛选出一些异常、趋势及其他有用的信息。在动态分析处理中,为了找到有用的信息,用户须不断从一种聚合视图定位到另一种视图。接下来要做的就是数据挖掘;不是让用户自己在数据中查找有用的信息,数据挖掘模型可以为用户做这些。也就是说,由数据挖掘算法梳理数据,从中筛选出有用的信息。数据挖掘对于企业具有巨大的商业价值,可以帮助识别趋势、判断哪种产品可能同时购买、基于给定的参数来预测客户选择。SSAS支持用数据挖掘算法(包括聚类分析、决策树等)来解决这些需求。用于管理和查询数据挖掘模型的语言是数据挖掘扩展插件(DMX)语句。

三:为什么需要数据管理

现代管理学之父彼得德鲁克的名言“如果不能衡量它,就不能有效增长它”。衡量一个业务的标准最有效的方式就是数据;有了数据我们才知道这个业务的增长能力如何、产品受欢迎的程度、竞争对手的策略等。我们被竞争对手打的措手不及、市场被侵占导致业绩持续下滑,极有可能是竞争对手掌握了比我们更加精准的客户行为、经销商、产品走向、销售技巧、市场策略数据。数据和信息是21世纪的经济命脉,在DT时代,数据被认为是一项重要的企业资产,有些演讲中把数据看做是企业的第二生命。

四:为什么需要数据分析

数据分析能力是一种在深度理解业务的前提下,利用数据来指导业务增长的思维;深度理解业务后也是最容易产生创意和创新的时候。数据是信息、知识、才智和行动的基础,信息有助于产生知识;知识管理是一门学科,它促进了企业学习,并将知识产权作为企业资源来管理;所以必须做好数据分析才能有高质量的知识产出和知识管理。数据分析可以为我们找到周期规律,了解历史是为了更好的预测未来;找到各个分类的特征,了解特征我们可以总结一些相同分类的事务可能也具备这一特征;找到异常、极值,了解异常和极值我们就可以深入分析,找到产生它的原因去规避或采取措施发扬这个极值。

五:如何做数据分析

1、数据应用

这些年我一直关注BI的发展,也参过多次数据分析的沙龙和峰会活动,演讲嘉宾和企业推广人员都是业内高手和专家,在他们演讲的内容当中基本都是演示自己的产品,展示复杂的数据架构、精美的管理驾驶舱;他们很少提到商业智能场景,如何让不懂IT,不知道商业智能的圈外人通俗易懂的知道什么是BI;商业智能发展至今有160年的历史,肯定有许多前辈思考过这个问题。

我对商业智能也不太专业,但我尝试去找通俗易懂的方式展现什么是商业智能,如果我表达的不专业有错误的地方请给我指出来,对于我来说通往专业的路上还很长。

这里我已一种三层结构的立体图形来展示商业智能场景,分别是:业务人员、中层管理、高层人员,也有的企业层次会复杂一些;业务人员是公司奋斗在一线的人员,也是决策的执行落地者,高层下达的决策到中层进行转化由一线人员执行落地;典型的场景:工厂、客户、供应商、合作伙伴,工厂对应的是工人是产品生产的场地也是公司固定资产最多的地方,客户对应的是销售人员是企业生命的源泉,合作伙伴对应的是研发人员是完成重大项目或产品或品牌传播的支持者,供应商对应的是采购人员是企业运作能量的补给站。

企业数据管理落地篇

不管是工厂、客户、供应商、合作伙伴还是其他的业务单元都会源源不断的产生大量数据,这些数据也许会已存放在电子表格或word文档中、也许会已数据库的形式存在如ERP、CRM、工单系统、财务系统等;工厂会产生:排产、原材料消耗、成品库存、发货数据;客户会产生:销售订单、订单变更数据;供应商会产生:采购订单、原材料库存、供应商资质数据等;每个行业产生的数据种类权重不一样。虽然一线业务人员产生了大量数据但是他们使用的也是明细数据关注的是每一行每一个产品是否完成是否达标能拿到业绩,在给企业实施商业智能过程中一线人员提的最多的就是监控类需求。

企业数据管理落地篇

中层管理是高层决策的中转站,他们必须考虑到每一个动作会为公司带来成本和支出,他们不像一线人员一样只关心个人利益,要为公司开源节流、创造价值;所以他们要的数据不是单纯某个系统能满足的,他们关心的不是某个产品或某个订单,而是整个产品系列或某个大区的销量或是整个部门的收入、支出、预算情况距离年月目标还有多少,他们需要的是月、季度、环比、绩效考核末尾淘汰、2080原则等变相裁员,中层管理需要的是跨数据源的统计性指标数据。

企业数据管理落地篇

高层人员代表着公司的生死存亡,他们是巡航在海洋中航母的掌托者,公司的任何决策都从这里发出,他们需要更多有效准确的数据做分析来支持决策;他们不仅仅是关心关键指标,更关心企业未来的发展,例如:工厂需要增加一台几十万的生产设备、三甲医院需要新开设一个科室、公司需要在华南成立一个分公司、公司准备培育一个新品牌等,这里的每一个决策需要大量的现金流来支撑运作,决策如果失败会影响整个公司的运营,怎样才能让决策更有把握,整合内部各个系统产生的数据、爬虫爬取相关的互联网数据集成一个企业级信息工厂,为企业决策提供支持。

为企业一线人员提供运营数据支持、中层管理人员提供跨系统统计数据支持、高层人员提供整合数据决策支持这就是商业智能场景。

企业数据管理落地篇

2、指标体系

深入理解业务搭建一套完整的指标体系,才能全面衡量业务发展情况,促进业务有序增长,单一数据指标衡量可能片面化。搭建一套完整的指标体系是数据分析的重要手段,完整的指标体系能够帮助我们明确经济型指标和行为型指标的关系。搭建指标体系的原则是目标管理,每一个指标必须深入思考是否是明确的、可量化的、可实现的、相互关联的和时效性。

企业数据管理落地篇

3、简单案例

1、门店销售

以门店销售管理为例如下图,客户的行为指标有 进店量、查看商品、体验使用;经济指标有转化率、销售额、转介绍;有了指标体系作为衡量标准,我们才能找到问题节点,是我们引流不够还是我们销售技巧不管用还是我们的产品不适用了需要更新等等,有效的管理好行为指标才能提高进店转化率、提高销售额、让客户主动介绍新客户。经济指标指导行为指标改进,行为指标指导流程优化。

企业数据管理落地篇

2、产品生命周期

以产品生命周期为例如下图,通过深入思考产品的生命周期,可以大概分为:研发期、推出期、成长期、成熟期、衰退期五个时期,初步确定这个五个时期的策略是:投入、稳步、刺激、延长、缓慢。确定了时期和对应的策略我们可以继续往下思考如何衡量每个时期的成功标准、撤出标准。可能推出期、成长期、成熟期、衰退期都会有同样的一个指标销售额,但是每个时期销售额需要达到的目标是不一样的。也许在推出新产品的时候会投入一些广告销售额在慢慢增长,但是利润还是负的。当产品达到盈亏平衡时也到了成长期可以采取刺激策略如促销、提升附加价值、了解对手的同店铺货量和售价及上架量等。总之每个时期都有不一样的指标侧重点。

企业数据管理落地篇

六:数据分析工具

在数据行业好几年我依然还是个小螺螺,接触了各种各样的数据分析工具,最终还是觉得Excel最好用,Excel不仅可以很好的控制权限、做数据展示、定时刷新数据,企业的员工基本都会使用Excel。在企业数据管理落地时先用Excel对员工洗脑后再上专业的工具。

1、透视表

透视表很强大,它能处理大量静态在sheet中的数据,还能连接各种数据库动态的更新数据,而且还能连接多维分析模型,它不仅能自己实现总计百分比、(父)列汇总百分比、(父)行汇总百分比、差异、差异百分比、排序编号、20/80分析、各种TOP10及top10中的top10,还能生成出来各种过滤器切片让用户自由过滤;强大无比的透视表就是无法Web化。

2、透视图

Excel图表非常丰富,它包括:柱形图、折线图、饼图、条形图、面积图、XY散点图、股价图、曲面图、雷达图、树状图、旭日图、直方图、箱型图、瀑布图、组合图。特别是组合图给我们非常方便的展示多个量值进行对比。有了这些图,足够能满足我们日常工作的数据展示。

3、管理看板

管理看板就是多种测量指标和分析维度展示在同一个页面上,Excel也能做出一些类似大屏看板的页面来,如下图第一张是某个企业的测试数据,第二张是某集团的真实数据不方便展示更多。

企业数据管理落地篇
企业数据管理落地篇
企业数据管理落地篇

七:数据分析结论

任何分析必须要有结论才能是一个完整的数据分析过程。数据工程师们应该有这样的意识,不管是谁拿数都应该跟需求人员讨论业务及分析数据的结果给予反馈,这样才能成长。

1、比率结论

没有对比就没有伤害,比率是企业最常用的分析手段;不管是占比、同比、环比你都会时不时的发现一些异常,前提是你要非常了解当前的状态和发生的事情。

2、策略结论

策略结论是建立在比率基础上得出来的,例如:今年和去年在某个季度销售额都是一样,为什么销售量下降了,那为什么下降了?原因是我们的单价提升了,为什么要提升单价?因为这个今年的这个季度做了广告,产生的广告费用平均分摊到单品价格上…………….

八:数据生态系统

一般企业没有数据化管理的企业文化氛围,各个部门应该尽快建立起业务范围内的指标体系,可以先把重要的而且紧急的指标建立起来,建议信息部有人全程参与指标梳理过程,为获取提供有效数据做准备。在未来各个部门把指标体系建设成熟后可以整合为一个企业级的指标体系,各个部门之间可以共享指标体系这样就能形成一套属于企业内部的数据生态系统,通过数据生态系统做到一线业务员有权限范围内的明细数据报表、部门有管理看板、领导层有管理驾驶舱,最终达到数据驱动管理的作用。这是我对未来职业的一个走向

企业数据管理落地篇

九:总结

整篇文章一直都没有写数据管理如何落地,就来讲讲我目前在实验的落地方案:数据仓库+多维模型+Excel;为什么我选择这样的方式来实验,我是公司唯一一位做BI的,领导让我自由发挥, 公司也是招我来做实验的,我想这也是大部分公司的想法,前期不想投入太多招个人来做试验比较稳妥。当公司有这样的想法时我也不好要求公司买工具,只好选择免费的、能快速实现的方案。 我并没有数据驱动业务、精准营销策略、数据分析体系的高档理论基础,也不是什么数据专家、全能数据人才的全部技能;我只是一名数据搬运工,也没有高大上的学历和专业我只是一名不值得一提的高中生。

在整个数据管理方案落地的过程中我把工作分为三个节点:一、前期需求,2、数据整理,3、最终展示和应用。前期需求我集中于沟通收集指标和对ERP系统的熟悉程度;数据整理我依赖于我自己开发的《Focus数据管理》系统不想发太多时间在数据整理上面,有兴趣可以看我写的这两篇文章;最终展示和应用集中于业务部门沟通和目前紧急的需求用excel实现。走完这三步基本能让一个部门看到效果,当一个部门看到效果后可以一步一步的往其他部门推广。

企业数据管理落地篇
企业数据管理落地篇
关注FocusBI微信公众号

FocusBI:《FOCUS数据管理》之ETL监控zhuanlan.zhihu.com企业数据管理落地篇FocusBI:《FOCUS数据管理》年终总结zhuanlan.zhihu.com企业数据管理落地篇FocusBI:企业数据管理战略zhuanlan.zhihu.com企业数据管理落地篇FocusBI:FocusBI:商业智能场景(原创)zhuanlan.zhihu.com企业数据管理落地篇FocusBI:FocusBI: 数据仓库(原创)zhuanlan.zhihu.com企业数据管理落地篇FocusBI:FocusBI: 总线矩阵(原创)zhuanlan.zhihu.com企业数据管理落地篇FocusBI:FocusBI: SQL Server内核(原创)zhuanlan.zhihu.com企业数据管理落地篇FocusBI:FocusBI:SSIS体系结构(原创)zhuanlan.zhihu.com企业数据管理落地篇FocusBI:FocusBI:使用Python爬虫为BI准备数据源(一)zhuanlan.zhihu.com企业数据管理落地篇FocusBI:FocusBI:使用Python爬虫为BI准备数据源(二)zhuanlan.zhihu.com企业数据管理落地篇FocusBI:FocusBI:SSIS 开发案例(原创)zhuanlan.zhihu.com企业数据管理落地篇FocusBI:FocusBI:SSAS体系结构zhuanlan.zhihu.com企业数据管理落地篇FocusBI:FocusBI:租房分析&星型模型zhuanlan.zhihu.com企业数据管理落地篇FocusBI:FocusBI:地产分析&雪花模型zhuanlan.zhihu.com企业数据管理落地篇

原文始发于:企业数据管理落地篇

主题测试文章,只做测试使用。发布者:酒颂,转转请注明出处:http://www.cxybcw.com/24417.html

联系我们

13687733322

在线咨询:点击这里给我发消息

邮件:1877088071@qq.com

工作时间:周一至周五,9:30-18:30,节假日休息

QR code