【专栏】以用户为中心的大数据应用体系建设战略

许多企业正建设大数据分析平台，以有效利用日益多样的数据。从建立数据湖存储企业数据开始，采集多种格式并进行高级分析，为决策者提供高质量洞察。

然而许多组织仍对已建平台持怀疑态度，或面临运营困难。常见问题包括投资回报、与现有信息和分析系统的区别，以及资源利用提升。这些问题需要在平台设计及运营中认真考虑。

<如何保障已建数据平台的投资回报 >

数据存储需求激增推高信息系统运营成本，企业正通过生命周期管理、数据压缩等措施应对。

昂贵的一体机带来预算限制。将存储按热、冷数据水平划分，可释放资源并降低存储及扩容成本：Hadoop 负责大规模、长期保留的冷数据，信息系统分析近期热数据。

<如何区别于现有信息及分析系统 >

大数据从业者普遍认识到差异化的必要性。传统分析主要使用旧系统结构化数据，而大数据平台还能接纳非结构化及半结构化数据，并通过 Kafka、Flink、Spark Streaming 建立实时采集流水线。

还能对日常工作参考的多种文档、图像提供统一检索，通过文本转换及 OCR 提取、预处理、采集和存储文本，扩大数据应用。

<如何提升大数据资源及平台利用 >

平台需提升用户和分析师的可用性与便利性。基础服务包括数据分类、血缘、所有权及管理责任、元数据、结构化及非结构化搜索和资源管理，帮助有效发现和应用数据。

传统结构化数据元数据工具不足以满足需求。许多企业仅着重采集平台建设，缺乏对实际应用及支持环境的投入，导致可用性低于原有系统。因此必须完善支持服务；具备良好基础环境后，才能实现自助分析。

<如何保护大数据环境中的数据及服务 >

提高访问便利性的同时必须保障安全。传统系统通过 ITSM 按数据及服务类别授权；如今需要扩展分类体系，为 Hadoop 数据访问建立新的安全和审计控制。

Cloudera CDP 等平台通过 Atlas 和 Ranger，利用 Web 界面及 API 管理 Hadoop 分类与权限。关键是让分析师和用户便捷申请访问权限，合理分类敏感数据，并通过脱敏及访问控制保障安全。

相关文章： 电子新闻