1.书籍介绍
《Web 3.0时代数据资产管理》陈晓华、邹智广,电子工业出本社。
2.学习笔记
2.1.基本概念
数字经济:由信息技术革新驱动的经济增长,包括内涵和外延两个部分。从内涵上讲,电信、计算机、通信设备等信息技术相关的行业本身就是数字经济的一部分。从外延上讲,由信息技术革新催生的新商业模式、新生活方式,以及人们所获得的更多效用,也都属于数字经济的范畴。
数字经济类型:基础性数字经济、让那个和型数字经济、效率型数字经济、新生型数字经济、福利性数字经济。
数字共生:从企业层面看,“数字共生”就是企业数字化转型。从文化、客户、智能、运营、工作五大方面打造以业务应用场景为核心的数字化转型路线图。
数字产业化:被称为数字经济的基础部分,主要指的是信息产业,包括电子信息制造业、信息通信业、软件和信息技术服务业等具体生态。
产业数字化:只通过数字技术的应用,促进传统产业生产数量和生产效率的提升,进而实现产出的增肌和效率的优化。产业数字化被称为数字经济的融合部分。
2.2.数据要素
数据技术发展:关系数据库-》数据仓库-》数据挖掘-》Hadoop
数据要素:1)数据成为生产要素;2)发挥数据要素生产力作用;
数据资源:具有明确的来源,可以被有效地采集获取,是一种可被量化的客观存在。
数据资产:企业交易或者事项形成的,由企业拥有或者控制的,预期会给企业带来经济利益的数据资源。
数据资本:将数据资产的价值和使用价值折算成股份或者出资比例,在通过数据交易和数据流动变为资本。
Web3.0概念:是一个去中心化的互联网,建立在开放的区块链网络之上,不由大型实体和控制。web1.0是指发布信息给大家看;web2.0是值用户交互(动态网络);web3.0是指数据资产化和去中心化(数据资产、身份认证)。
数字资产:以电子数据形式存在,由个人或企业所拥有或控制的资产。
数据管理(DMBOK2.0):数据治理、数据架构、数据模型与设计、数据存储与操作、数据安全、数据集成与互操作、文件和内容管理、参考数据和主数据管理、数据仓库和商务智能、元数据管理、数据质量管理。
IBM数据治理分级(能力成熟度模型):
初始级=》数据要求在项目中体现;
管理级=》有专门的制度、流程和人员;
稳健级=》数据被作为绩效目标;
量化级=》数据效能分析和监控;
优化级=》数据时组织生存和发展的基础,数据管理流程能实时优化。
数据资产管理架构:接口、权限、统计分析、变更、审计、注册;
数据资产全生命管理周期:规划、注册入库、运营维护、注销报废。
2.3.数据治理理论
数据治理(GB/T):数据治理就是数据资源及其应用过程中相关管控活动的集合。
数据治理内容:包括数据管理和数据价值“变现”,具体包括数据架构、主数据、数据指标、时序数据、数据质量、数据安全等一系列数据活动计划。
数据治理战略:根据选择和决策的结果、构建一个高层次的行动方案,以实现特定的目标。即这是一个数据管理计划。
战略:愿景和规划,目标与原则;
机制:组织架构(组织、权限、职责)、制度建设(管理办法、实施细则、参考规范、模板文档)
专题:数据架构、数据模型、数据标准、数据质量、元数据管理、数据安全和分类分级、主数据和参考数据管理、数据的生命周期、数据需求、数据应用。
实现:数据管控平台、需求管理平台、数据建模工具。
数据治理干什么:数据管理体系建设、数据价值体系建设。
数据治理分类标准:元数据标准、主数据标准、交易数据标准、数据指标标准、数据分类标准、数据集成标准。
数据治理标准:
DCMM=》告诉你应该有什么,现在你已经有什么,但是没有告诉你要怎么做。
GB/T 34960=》从高层的角度告诉你要怎么做,但是没有落地细节。
DMMA=》很全很细,但是很难落地。
《数据资产管理实践白皮书》=》理论知道很弱,时间案例丰富。
2.4.数据管理
数据仓库定义:是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。数据仓库是一种特殊的数据库。
数据仓库分层结构:
ODS=》全部来自于业务数据库,包括结构化和非结构化,即把业务数据库的表重新建一次。
OWD=》覆盖所有系统的、完整的、干净的、具有一致性的数据层。即把ODS做一次数据清洗。
OWM=》中间数据层,属于专题库,中间层以上都要采用Kimball维度建模。
OWS=》公共汇总层,进行轻度汇总,粒度比明细数据稍粗,一般满足试图类与指标统计类需求。
DM=》按照数据集市层、专题应用层做规划设计。已经不包含明细数据,是粗粒度的数据汇总。具体用户产看DM层生成的报表。
DIM=》公共维度层,基于维度建模理念,依据主题层主题域抽取出来一个跨领域的基础维度数据层,建立企业一致性数据分析维度表。
数据交换(ETL):数据抽取、转换和加载(Extract-Transform-Load)。
企业架构:应用架构(IT系统架构)+业务架构(业务领域)+技术架构(底层技术)+数据架构(数据对象)
架构(ISO/EEC/IEEE):某些事物的基本组织,体现其组成部分,他们彼此的关系、他们和环境的关系,以及他们的设计原则和演进记录。
数据架构:数据组件、数据组件之间的关系,数据组件和环境的关系,以及数据组件的设计原则和演进记录。
数据架构的组成:数据资产目录、数据标准、数据模型、数据分布管理。
数据资产目录:L1(业务域)-》L2(主题域)-》L3(业务对象)-》L4(逻辑数据实体)-》L5(属性)
数据模型:主题域模型-》概念模型-》逻辑数据模型-》物理数据模型;
数据分布管理:信息链、数据流、数据源管理;
数据资产:数据资产是经过数据治理后形成的有价值的数据资源,是数据资源的重要组成部分。
元数据:描述数据的数据,包括技术元数据、业务元数据、操作元数据。举个只管的例子,数据字典就是元数据的一种。
参考数据:定义其他数据字段使用的一组允许值的数据,包括了符合的文本描述。例如“项目类型”、“性别”、“支付方式”等。
数据集成:讲若干个分散的数据源中的数据在逻辑或物理层面集成到数据集合中。包括传统数据集成、跨界数据集成和智能化数据集成。
2.5.数据标准
业务术语表:是在组织内部共享词汇的一种方式,包括以下内容:1)业务数据名词、定义、缩写和简称;2)管理业务术语相关数据的部门和系统;3)维护人员和更新日期;4)分类或分类之间的关系;5)冲突解决定义。
业务规则:指导企业看展业务的一组指令、指南和法规,可以用来确定在何种情况下应该采取什么行动,也可以用来防止某些行为的发生。包括全局规则、交互规则、内禀规则。
指标数据:企业衡量某一个目标或事物的数据。
指标数据管理:对指标数据统一规范化定义、采集和应用,用于提升统计分析的数据质量。
指标数据分类:基础指标、符合指标、派生指标;
指标数据模型:业务属性(定义)、技术属性(类型、格式)、管理属性(编码、部门)
数据标签:一种用来描述业务实体特征的表示形式;
数据质量:数据精确性、数据完整性、数据一致性、数据时效性、实体统一性。
缺失值填充:重新采集或者默认生成;
数据生命周期:采集、传输、存储、使用和共享等。
2.6.数据资产估值
数据资产估值方法分类:货币度量估值方法,非货币度量估值方法;
货币度量估值方法:成本法、收益法、市场法、WVI(数据质量低下导致的损失值)、RVI(某些数据缺失导致的损失值);
非货币度量估值方法:IVI(正确率、完整程度)、BVI(业务相关性、及时性),PVI(数据应用前后的KPI变化),综合法;