请选择 进入手机版 | 继续访问电脑版

12360技术网 - 专业IT技术发表平台

 立即注册  找回密码
查看: 368|回复: 6

数仓模型构建流程

[复制链接]

13

主题

19

帖子

175

积分

注册会员

Rank: 2

积分
175
发表于 2020-1-25 08:35:54 | 显示全部楼层 |阅读模式
数据仓库的发展大致经历了这样的三个过程:
  1. 1. 简单报表阶段:这个阶段,系统的主要目标是解决一些日常的工作中业务人员需要的报表,以及生成一些简单的能够帮助领导进行决策所   需要的汇总数据。大部分表现形式为数据库和前端报表工具。3. 数据集市阶段:这个阶段,主要是根据某个业务部门的需要,进行一定的数据的采集,整理,按照业务人员的需要,进行多维报表的展现,   能够提供对特定业务指导的数据,并且能够提供特定的领导决策数据。4. 数据仓库阶段:这个阶段,主要是按照一定的数据模型,对整个企业的数据进行采集,整理,并且能够按照各个业务部门的需要,提供   跨部门的,完全一致的业务报表数据,能够通过数据仓库生成对对业务具有指导性的数据,同时,为领导决策提供全面的数据支持。
复制代码
通过数据仓库建设的发展阶段,我们能够看出,数据仓库的建设和数据集市的建设的重要区别就在于数据模型的支持。因此,数据模型的建设,对于我们数据仓库的建设,有着决定性的意义。
一般来说,数据模型的建设主要能够帮助我们解决以下的一些问题:


  • 进行全面的业务梳理,改进业务流程。
    1.在业务模型建设的阶段,能够帮助我们的企业或者是管理机关对本单位的业务进行全面的梳理。
    2.通过业务模型的建设,我们应该能够全面了解该单位的业务架构图和整个业务的运行情况,能够将业务按照特定的规律进行分门别类和程序化。
    3.同时,帮助我们进一步的改进业务的流程,提高业务效率,指导我们的业务部门的生产。
  • 建立全方位的数据视角,消灭信息孤岛和数据差异。
    1.通过数据仓库的模型建设,能够为企业提供一个整体的数据视角,不再是各个部门只是关注自己的数据。
    2.而且通过模型的建设,勾勒出了部门之间内在的联系,帮助消灭各个部门之间的信息孤岛的问题。
    3.更为重要的是,通过数据模型的建设,能够保证整个企业的数据的一致性,各个部门之间数据的差异将会得到有效解决。
  • 解决业务的变动和数据仓库的灵活性。
    通过数据模型的建设,能够很好的分离出底层技术的实现和上层业务的展现。
    当上层业务发生变化时,通过数据模型,底层的技术实现可以非常轻松的完成业务的变动,从而达到整个数据仓库系统的灵活性。
  • 帮助数据仓库系统本身的建设。
    1.通过数据仓库的模型建设,开发人员和业务人员能够很容易的达成系统建设范围的界定,以及长期目标的规划,从而能够使整个项目组明确当前的任务,
    2.加快整个系统建设的速度。
建模大致分为四个阶段:


  • 业务建模,这部分建模工作,主要包含以下几个部分:
    1.划分整个单位的业务,一般按照业务部门的划分,进行各个部分之间业务工作的界定,理清各业务部门之间的关系。
    2.深入了解各个业务部门的内具体业务流程并将其程序化。
    3.提出修改和改进业务部门工作流程的方法并程序化。
    4.数据建模的范围界定,整个数据仓库项目的目标和阶段划分。
  • 领域概念建模,这部分建模工作,主要包含以下几个部分:
    1.抽取关键业务概念,并将之抽象化。
    2.将业务概念分组,按照业务主线聚合类似的分组概念。
    3.细化分组概念,理清分组概念内的业务流程并抽象化。
    4.理清分组概念之间的关联,形成完整的领域概念模型。
    概念模型具体要求如下:

  • 逻辑建模,这部分的建模工作,主要包含以下几个部分:
    1.业务概念实体化,并考虑其具体的属性。
    2.事件实体化,也就是所谓的事实,并考虑其属性内容。
    3.说明实体化,也就是所谓的维度,并考虑其属性内容。
    逻辑模型具体要求如下:

  • 物理建模,这部分的建模工作,主要包含以下几个部分:
    1.针对特定物理化平台,做出相应的技术调整。
    2.针对模型的性能考虑,对特定平台作出相应的调整。
    3.针对管理的需要,结合特定的平台,做出相应的调整。
    4.生成最后的执行脚本,并完善之。
    物理模型具体要求如下:

    其实简单点说,上面的模型设计流程大部分应用于DWD层,也就是事实维度层。通过建模,捋清逻辑,把业务落实到一张张表,并梳理表于表之间的关系。
                                                                                                                                       
                                                    
  • 点赞                        3                        
  • 收藏                        
  • 分享                                                                                                                        
  •                                                         
                                      
    • 文章举报                           
                                                
                                                                        
                                            
                                                        一个吉他手                                                                发布了74 篇原创文章 · 获赞 42 · 访问量 6万+                                                                                            私信                                                            关注
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x




上一篇:lerna管理前端packages的最佳实践
下一篇:mac-macOS常用软件命令行安装,慢慢整理中
回复

使用道具 举报

0

主题

14

帖子

304

积分

中级会员

Rank: 3Rank: 3

积分
304
发表于 2020-1-25 17:51:04 | 显示全部楼层
既然你诚信诚意的推荐了,那我就勉为其难的看看吧![www.12360.co]
回复

使用道具 举报

0

主题

11

帖子

241

积分

中级会员

Rank: 3Rank: 3

积分
241
发表于 2020-2-1 08:16:30 | 显示全部楼层
楼主,我太崇拜你了![www.12360.co]
社区不能没有像楼主这样的人才啊!
回复

使用道具 举报

0

主题

15

帖子

325

积分

中级会员

Rank: 3Rank: 3

积分
325
发表于 2020-2-6 12:03:07 | 显示全部楼层
楼主太厉害了!楼主,I*老*虎*U![www.12360.co]
回复

使用道具 举报

0

主题

5

帖子

115

积分

注册会员

Rank: 2

积分
115
发表于 2020-2-7 04:22:36 | 显示全部楼层
感谢楼主的无私分享![www.12360.co]
回复

使用道具 举报

0

主题

5

帖子

115

积分

注册会员

Rank: 2

积分
115
发表于 2020-2-8 01:30:55 | 显示全部楼层
其实我一直觉得楼主的品味不错!呵呵![www.12360.co]
回复

使用道具 举报

0

主题

14

帖子

304

积分

中级会员

Rank: 3Rank: 3

积分
304
发表于 2020-2-9 03:21:27 | 显示全部楼层
这个帖子不回对不起自己![www.12360.co]
回复

使用道具 举报

懒得打字嘛,点击右侧快捷回复 【右侧内容,后台自定义】
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

12360技术网

GMT+8, 2020-2-18 07:24 , Processed in 0.110379 second(s), 25 queries .

本网站内容收集于互联网,Www.12360.Co不承担任何由于内容的合法性及健康性所引起的争议和法律责任。 欢迎大家对网站内容侵犯版权等不合法和不健康行为进行监督和举报。

© 2019-2020 Www.12360.Co

快速回复 返回顶部 返回列表