http://tech.it168.com/a2013/0420/1474/000001474694.shtml

  2013年4月18-20日,第四届中国数据库技术大会(DTCC 2013)在北京福朋喜来登酒店拉开序幕。在为期三天的会议中,大会将围绕大数据应用、数据架构、数据管理(数据治理)、传统数据库软件等技术领域展开深入探讨,并将邀请一批国内顶尖的技术专家来进行分享。本届大会将在保留数据库软件应用实践这一传统主题的基础上,向大数据、数据结构、数据治理与分析、商业智能等领域进行拓展,以满足于广大从业人士和行业用户的迫切需要。
  自2010年以来,国内领先的IT专业网站IT168联合旗下ITPUB、ChinaUnix技术社区已经连续举办了三届数据库技术大会,每届大会超过千人规模,云集了国内技术水平最高的数据架构师、DBA、数据库开发工程师、研发总监、IT经理等,是目前国内最受欢迎的数据库技术盛会。
在4月20日(大会第三天)下午的主题演讲中,来自平安集团DBA上海分组经理侯松先生,为我们分享了关于《数据质量管理——金融行业实践》的相关话题,其中主要提到了数据架构设计、优化成本控制以及规范审计实现等内容。


▲平安集团DBA上海分组经理侯松
  设计为始
  数据库建模是大家经常讨论的一个话题,在本次演讲中,侯松先生也特别提到了数据库建模。其中主要谈到了六点,包括(1)核心数据库建模;(2)元数据、在线业务数据、历史数据分隔表空间;(3)业务元数据抽取;(4)在线业务数据分类;(5)在线业务数据和历史数据赋,予生命戳保证细粒度数据质量;(6)子系统库参照核心库建模。


▲规范审计实现
  同时,侯松先生也提到了数据迁移相关的话题。侯松先生表示,核心库和子系统库通过GoldenGate完成数据交互替代原始ETL方式,而数据剥离则要注意以下几点,包括助归档管理平台感知应用模型、建立数据归档模型、制定剥离策略、监控剥离过程并控制负载、将剥离信息写入归档元数据库,以及封装包完成在线回收空间。
  历史数据归档
  借助归档管理平台分离历史数据;
  历史数据表空间离线;
  迁移到归档数据库;
  将归档信息写入归档元数据库。
  规范审计
  数据接触可以归总为三个维度:DBA日常维护、程序代码开发、数据结构变更。而数据质量的审计维度可以接触跟踪为主线,进行必要的审计和控制。


▲数据库建模
  我们制定一套有行业和企业特色的数据治理规范,并工具化保证严格执行。治理规范从三个维度控制,特别是反映DDL的建模规范、反映DML的开发规范。
  文档化建模规范,根据规范文档生成相关规则集,并注入到DBAUDIT工具。DBAUDIT工具贯彻开发、测试、上线三个阶段。开发测试阶段,违规项和整改建议将返回再次开发或者申请例外处理;上线阶段,生成当月绩效报告,分析讨论后反馈KPI绩效报告。


▲层级部署
  优点
  1.自主研发,个性化定制,直接反映现实情况;
  2.适用性强,每个规则和建议都是经验的沉淀;
  3.避免第三方工具的个性差异的尴尬;
  4.实现了数据生命周期为主线的数据质量管理。
  缺点
  1.工具开发和维护的长期人力成本较高;
  2.严格的流程控制可能引起开发周期的延长。

Trackback

no comment untill now

Add your comment now

切换到手机版