技术架构

技术架构

云平台 FusionSphere
数据采集 分布式网络爬虫、API网关、Flume
数据预处理 Spark
数据存储 HDFS、SQL数据库、NoSQL数据库
数据计算 Hadoop、Storm
大数据分析 深度学习、自然语言处理、推荐引擎、数据可视化
平台管理 集群管理、负载均衡、灾备恢复、数据加密、权限管理

日新增数据 >200,000,000
计算平台处理 PB
实时数据处理 Millisecond
信息准确率 >95%
新闻资讯类 >40,000
社区论坛类 >1,5000
新媒体类 >100,000
信息轮询 Minute

行政易,技术架构由六部分组成:操作系统、数据源、数据采集、数据管理、应用接口和应用层。操作系统,选用Linux,提供稳定与可靠的底层支撑环境。数据源,包括关系型及非关系型数据库及专业第三方数据。数据采集,包括网络爬虫集群以及加密数据传输系统,保障数据采集过程中的效率与稳定性。数据管理,包括数据预处理、计算、分析以及可视化。可以根据业务要求进行离线计算和实时计算,保证高效性。离线计算采用Hadoop计算框架,由Zookeeper集群提供协调服务。应用接口,采用Rest API方式对提供数据服务。应用层,建立在Nginx与Tomcat组成的应用集群之上,为用户提供稳定的服务。应用层的主要功能包括:个人征信、单位征信、舆情预警、舆情报告、信息检索、产品分析、人事分析、行政助手、成果管理等等。

现在注册行政易,享30天免费试用

马上体验