解决方案

综合分析系统

随着移动通信用户、业务种类的不断增多,移动通信网络规模不断扩大,网络资源种类、数量不断增加,终端客户对网络质量要求不断提高,网络运维面临前所未有的挑战和压力。为适应日趋激烈的市场竞争环境,全面增强网管运维支撑水平和网络服务能力,全面提高客户满意度,进而提升企业核心竞争力,在“质量领先、运行高效、支撑有力”战略指导下,综合分析系统应运而生。

综合分析系统充分利用现有业务系统产生的海量数据资源,通过提取、整合专业网管、综合网管、业务管理、运维管理、市场支撑在内的各层面系统的信息资源,利用先进科学技术手段,实现对信息深加工和智能化分析挖掘,为企业运营决策和维护优化提供完整、及时、准确、科学的信息支撑,提高跨专业、综合的网络分析水平,为网络决策、数据统计提供可靠的数据支撑,最终实现网络运营分析的面向管理与生产、面向主题、统一数据口径、标准化、信息化、自动化。

综合分析系统的主要目标为:

  • 1) 实现不同专业网管的统计类数据的统一存储,达到集中的、有序的组织、管理和利用。
  • 2) 统一数据模型规范,解决专业网管间数据独立分散问题,达到OSS体系的数据集成与共享,清洗转换不一致数据,最终向用户提供一致的数据。
  • 3) 建立元数据管理体系,规范业务元数据、技术元数据,统一业务指标意义。
  • 4) 建立统一信息数据模型,实现跨专业灵活自定义报表和自定义分析,发挥用户自主的数据消费能力。
  • 5) 建立面向主题、面向分析的灵活数据模型,与在线事务系统分离,减轻在线事务系统压力。
  • 6) 结合统计学分析方法,实现历史数据统计分析、同比分析、环比分析、分布分析、趋势分析。
  • 7) 实现数据质量管理功能。

功能架构

本系统包括的功能有:应用功能、数据采集、元数据管理、数据质量管理、数据共享服务、系统管理等,功能的分布情况如下:

综合分析系统-功能架构

核心功能

  • 数据采集功能

    东信软件自主开发的ETL工具STOPE是统一的企业数据集成平台,可以从多种业务系统中发现、访问和集成任意格式的数据,并可将这些数据按照要求快速转换格式,高效加载到企业引用中。平台采用集中管理、分布部署的架构,可以在多台设备上同时进行一个或者多个作业;具有智能负载均衡、集中管理的功能,是一个易管理和易扩展的多层体系架构。STOPE能够满足在企业层次上、跨越多个项目和部门对数据集成进行标准化的机构的需求。

  • 元数据管理

    综合分析系统通过引入元数据管理来实现数据管控体系(DMA),数据要透明和可管理,同时为建立数据质量考评体系和数据质量可评估提供支持。

    元数据管理按其描述对象的不同可以分两大类:技术元数据和业务元数据:

    • 技术元数据主要用是用来描述数据实体和数据处理过程中的技术细节和处理规则;
    • 业务元数据主要是对系统的数据实体和数据处理的业务化描述
    综合分析系统-核心功能1

    元数据统一管理是一个根据使用这些资产的方式来管理组织的数据资产的流程。此流程能集成、链接和集中管理多个来源的元数据,便于在整个组织内妥善维护、分析、消费和解释数据。当从业务元数据和技术元数据中得出数据的含义时,可以更有效地汇总和集成数据。简言之,当有效管理元数据时,数据变得更有价值。

  • 数据质量管理

    面对大量的采集性能数据,如何有效、客观诊断数据源、数据等问题,又不影响正常采集业务流程,为用户提供一套准确、完备的性能数据?系统提供了数据质量管理平台,对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题,进行识别、度量、监控、预警等一系列管理活动。针对数据的改善和管理,主要包括数据分析、数据评估、数据清洗、数据监控、错误预警等内容。使业务人员能够分担数据质量和数据治理的职责。在具体数据质量问题解决过程中,数据质量问题的定位和解决过程往往依赖具体人员的经验,问题处理效率和正确性难以保证,因此数据质量的保障需要基于元数据的相关功能。

    数据质量管理平台基于元数据进行管理,按照体系结构划分为源系统层、存储层、功能层和应用层。平台目标:可监控、可溯源的数据质量管理:

    • 通过监控及时发现数据质量问题
    • 通过溯源分析定位数据质量问题根源
  • 数据处理和建模
    • 数据处理:

      由于综合分析系统的统计数据也是一个很大数量级,直接实时进行查询和汇总响应速度慢,对性能消耗也很高,需要针对关系型数据库中的数据,建立面向部门和主题的数据集市,针对具体的应用需求进行业务建模和数据处理,以提高系统性能。在进行这步处理中,遵循如下原则:

      •   分类分析原则,充分覆盖和明析用户需求
      •   分层分析原则,减少系统IO资源开销
      •   分析引擎内置强大计算能力
      •   并行处理,分析和查询速度提高很多
      •   任务驱动,及时完成分析工作
      •   增加监控机制,及时发现数据问题,及时补采
    • 数据建模:

      本系统根据网络运行分析需求和特点,将建立多维度的分析信息模型,为平台提供通用的分析框架提供基础。系统将对分析设计的基础指标、分析维度、指标数据源、指标管理方法、指标计算方法、预警策略、指标呈现方式等进行分析建模;根据需要对专题、热点的业务模型进行建模;对元数据管理进行建模;对信息共享模型进行建模等。通过建立网络运营分析信息模型体系,将达到如下效果:

      •   各个外部系统共享通用的服务定义和组织结构。
      •   模型图能够直观反映网络分析的设计雏形,便于和用户交流,有助于更准确地理解用户需求,快速调整和完善设计方案。
      •   网络分析需求不断地发展和变化,通过模型迭代的过程,可以使得平台能够更加快速地适应上层应用的变化。

    综合分析系统的模型分层如下:

    • ODS层:

      功能定义:作为综合分析系统的数据缓冲区,依据数据源构建数据表,存储源系统数据。源系统主要包括专业网管、业务平台、OMC、经营分析、拨测、DPI等系统。

      建模依据:根据源系统的数据模型进行建模。

      数据粒度:存储源系统提供的明细数据。

    • ODM-DB层:

      功能定义:综合分析系统的基础数据层,该层主要是对ODS层的数据进行转换处理(代码转换等,如地市代码、业务类型等)和脏数据处理(不符合数据要求的数据,如属性值超出值域范围,日期错误等),形成稳定和统一的基础数据集,为综合分析系统提供数据和分析支撑。

      建模依据:以SID模型进行主题域划分;以ER模型进行数据组织和设计;设计遵循第三范式。

      数据粒度:存储经过处理的明细数据,与ODS层数据粒度保持一致。

    • DW层:

      功能定义:DW层主要是为支撑上层OLAP分析和报表应用,根据业务需求对事实数据和维度数据进行有效的组织和规范,提高数据的访问效率。

      建模依据:根据数据仓库的维度建模方法进行设计,以星形或雪花型模型进行数据组织和存储。

      数据粒度:根据业务需求存储ODM-DB层的汇总数据。

    • ADS层:

      功能定义:ADS的数据直接面向应用,以业务需求应用为单位对ODM-DB层和DW层的数据进一步组织和存储。

      建模依据:根据数据仓库的维度建模方法进行设计,以星形或雪花型模型进行数据组织和存储。

      数据粒度:根据业务需求的数据粒度要求进行存储,一般为汇总类数据。

体系架构

综合分析系统-体系架构

采集层:采集层主要是完成对各数据源中的数据进行采集工作,采集工作主要包括对采集的调度,采集的执行,数据的核查,补采,补差,日志记录等相关工作。同时还具有采集管理功能。系统采用FTP、DB方式、或者其他方式采集各数据源数据。本层采用东信自主开发的采集平台STOPE作为本系统ETL的集成平台。

存储处理层:对采集数据进行初步分析处理。集成ORACLE BIEE+的BI Server提供商务智能分析引擎能力。对于特定专题的应用,可以在原基础模型之上通过建立数据集市的方式,将数据预先进行处理和存储。而对于海量的数据分析和统计等,则利用基于Hadoop的分布式大数据处理平台,对大数据进行预处理。提供本地化分析的数据处理,对本地个性化需求进行单独分析和处理。

应用服务层:本层采用自主平台INAS以及通过集成ORACLE BIEE应用组件,为前台的应用提供平台支持。提供数据共享服务,为外部接口访问本系统性能数据,提供访问接口。

WEB展现层:重点实现指标的展现和分析功能实现,包括集团规范的主题和专题分析功能,本地新增的专题分析需求以及原有系统中已经实现的功能的继承。本层提供portal功能,用户可以建立基于角色的个人门户。

另外提供一个公共服务层,包括安全管理、系统自管理、数据质量管理、元数据管理等。

管理能力

  •   性能数据集中管理:

    采集话务、数据、传输等系统性能数据,实现数据集中管理和分析。

  •   构建性能分析平台:

    各专业的性能分析功能,移植到平台中,建立交互式的、自定义的、安全分析平台。

  •   构建面向主题的分析信息模型,为应用性能分析提供模型支撑:

    基于Oracle Biee+建设面向主题的多维分析的框架;

    为外部系统提供一个统一的性能分析数据的访问平台。

  •   实现应用功能满足网络运维集中化的支撑需求:

    各专业KPI指标集中呈现和分析,实现生产分析报表和KPI日报;

    提供灵活的报表分析工具,支持用户自定义报表,提供多样化分析方法;

    实现丰富的展现方式;实现专题、热点分析能力。

成功案例

  • √  河南移动综合分析
  • √  江苏移动集中性能门户
  • √  安徽移动集中性能应用
  • √  广东移动价值小区
  • √  广东移动NOC系统

目标客户与应用场景

主要适用于电信行业,也可扩展为互联网、金融、电力、政府等行业的数据建模、大数据综合分析解决方案。

杭州hangzhou

地址:杭州市文三路398号东方通信大厦9楼

电话:0571-88865150

传真:0571-88865120

邮编:310013

上海shanghai

地址:上海市徐汇区肇嘉浜路798号坤阳大厦402.403室

电话:021-52588282

传真:021-52580933

邮编:200030

广州guangzhou

地址:广州市天河区海安路13号财富世纪广场A1-1802.1803室

电话:020-87526467

传真:020-87526467-131

邮编:510627

郑州zhengzhou

地址:郑州市郑东新区寿丰街50号凯利国际中心A座1911室

电话:0371-53385545

传真:0371-53385675

邮编:450000

扫码分享至好友和朋友圈