技术论道,数说故事Elastic Meetup顺利举行

发布时间:2019-04-02

近日,数说故事联合Elastic中文社区、欢聚时代(YY)举办技术沙龙。此次沙龙围绕Elastic的开源产品与周边技术,探讨其在搜索、数据实时分析、日志分析、安全等领域的实践与应用。



现场,数说故事技术经理王树辰、平台总监苏淦、全栈工程师王大豪,欢聚时代技术负责人赖鸿智、慧算账研发中心技术总监曾子文、腾讯云Elasticsearch负责人张彬讲述在企业业务场景下运用Elasticsearch的经验,引起听众热烈反响。


数说故事三位技术专家分别从大数据采集-处理-分析三个环节讲述Elasticsearch(以下简称“ES”)的使用。数说故事技术经理王树辰提到,数说故事自主研发的分布式数据采集系统,本质是以ES作为Hbase的二级索引,通过进行一系列优化措施:索引拆分、入库、搜索性能优化等,成功打造了一个系统化、体系化的数据仓库。由此,企业可实现历史数据的随取随用,降低采集成本。目前,数说故事的数据仓库已涵盖包括新闻、论坛、电商、社交媒体等90%公开的互联网数据,近半年更将采集范围扩展到直播、移动App等领域,总数据量已达百亿级别。


王树辰介绍ES对数据采集的作用


据数说故事平台总监苏淦介绍,ES集群弹性可线性扩展、支持高实时响应、支持全文检索和多种聚合操作等特性能够很好地匹配数据可视化的功能需求。在此基础上,数说故事打造大数据智能应用开发平台「数说方舟」,让企业在不同商业应用的场景下实现综合性地数据“可视化+分析+编程”。企业能够通过「数说方舟」体验数据源接入与集成、多种数据分析与交互方式、多种数据可视化方案、分析结果一键发布API/页面、大数据门户自主搭建、自定义ELK监控与告警机制等简单易操作的数据可视化分析操作。

苏淦介绍ES在可视化分析中的应用


在大数据商业应用层面,全栈工程师王大豪分享ES集群在大数据智能营销应用「数说雷达」中的演进。他提到,ES在数据应用中既作为数据库存储数据,也用于业务统计分析。最终,「数说雷达」可以在企业内外数据的融会贯通基础上,综合语义分析、图像识别、知识图谱、标签识别等技术,驱动企业品牌管理、产品创新、营销评估等数字化决策。


王大豪介绍商业应用中ES集群的演进

微信扫描二维码

微博扫描二维码