大数据调度平台助力数据运营降本增效

　　随着移动互联网技术的高速发展，运营商的数据量呈指数级增长。如何利用海量数据资源进行价值和商业变现，成为运营商提高核心竞争力、抢占市场先机的关键。ETL(数据仓库技术)作为数据信息转换的一种主要技术手段，是将业务系统的数据经过抽取、清洗转换之后加载到数据中心的重要工具。随着数据量的增长及业务场景的变化，取数和计算范围不断扩充，整个ETL过程的调度也日益复杂，这不仅带来运维成本的增加，也让数据生产质量难于保障。为此，运营商迫切需要寻求新的技术手段。

　　中兴软创结合多年的项目运营服务支撑经验，提出构建全程调度平台解决方案。方案包含进度自动预测、异常监控告警、数据血缘分析等功能，实现从数据汇聚、数据处理到数据服务的全流程调度能力，有效协助运营商提升数据处理效率，满足其处理海量数据和复杂业务场景的需求。
 

　　

　　图1 全程调度平台架构图
 

　　

　　图2 全程调度平台功能图
 

　　全程调度平台解决方案构建了三层立体式调度体系：
 

　　第一层端到端调度，从业务角度出发，提供松耦合、端到端的调度和监控功能。以数据为中心，通过数据节点组织数据、数据依赖关系、生产流程任务，实现调度信息一点化管理。通过构建360度调度运行视图，洞悉整个数据中心的调度运行情况，提供可视化实时监控。
 

　　第二层流程级调度，通过流程引擎控制任务之间的依赖关系，允许任务并行或串行执行。支持任务同步或异步执行，缩短整个流程执行时间，提升运行效率。
 

　　第三层任务调度，通过正式发布的任务，进行任务执行策略和调度策略，实现任务程序的周期性、临时性或实时不间断运行。任务调度实现数据中心多计算集群任务的统一配置和协同运行，优化系统资源调配。
 

　　2017年，中兴软创全程调度平台在湖南电信率先上线。目前已承接了湖南电信数据中心的10000+数据加工处理任务，问题查证率提高50%。同时数据质量覆盖度提升至98%，人员培训周期由1个月缩短到7天，节省了60%的人力成本。该平台逐步成为湖南电信数据中心的连接器，以高质量、高效、敏捷、安全的手段支撑湖南电信内外数据需求。

      转自：中国网建设

　　版权及免责声明：凡本网所属版权作品，转载时须获得授权并注明来源“中国产业经济信息网”，违者本网将保留追究其相关法律责任的权力。凡转载文章，不代表本网观点和立场。版权事宜请联系：010-65363056。

延伸阅读