云舆情-舆情监测预警平台服务

快页云舆情管理平台介绍

1.1 背景介绍

互联网已演化为虚拟社会，成为加速膨胀的思想阵地，越来越多的人们愿意通过这类渠道表达真实想法。在加强互联网管理的同时，通过先进技术手段开展互联网信息的汇集整理和分析研判，从海量网络信息中发掘对政府有价值的内容，对于全面了解社情民意、为决策提供支持依据、提升政务工作质效具有重要意义。

面对海量信息，当前各政府机关、企事业单位的互联网信息监控多采用人工手动搜索模式，需通过各类搜索工具逐个输入关键词进行甄别分析，效率低下。因此，亟需一套互联网舆情监控分析系统，开展互联网信息的汇集整理与深度分析，精准把握网上舆论动向，及时掌握并研判舆论态势，全面洞察社情民意，提供专业舆情信息服务，维护各单位组织在互联网虚拟社会的话语权。

1.2 产品概述

快页作为国内搜索技术产品化的开创者，始终秉持先进理念，拥有成熟的技术体系，在信息检索、数据抽取识别及文本挖掘领域具备核心优势。快页大数据分析管理产品已在多个互联网运营项目中成功应用，积累了丰富的行业实践经验。

结合互联网垂直领域业务应用需求，快页依托自身核心搜索引擎产品与中文信息处理技术，推出全面的互联网云舆情管理平台。该平台面向政企客户、公关传媒企业、云计算运营商，提供互联网信息搜索、分析监控、痕迹留存、来源追踪等核心功能，可有效助力各类合作伙伴搭建专属云舆情服务平台，赋能其客户相关部门精准掌握互联网信息与舆论动向。平台具备热点新闻自动发现能力，通过预警机制预设敏感词汇，发现可疑内容时可自动通过邮件或短信及时通知相关人员。

快页云舆情管理平台通过信息化手段，强化各单位组织互联网舆情信息的有效管理，实现对本单位信息发布及互联网上涉本地相关信息的全面掌控，重点覆盖敏感内容、违规内容及突发事件等关键信息。平台可完成对新闻、论坛、博客、微博等多渠道互联网信息的实时监测、采集、内容提取、排重及排序；支持对获取信息进行全面检索、主题检测、专题聚焦、主题演化分析及话题传播分析；可根据业务需求定制信息分类规则与排序标准；为用户提供信息预警、自动生成网络信息报告、追踪信息焦点等辅助编辑服务，助力及时发现不良信息，实现早发现、早报告、早处理，有效引导网上舆论、疏导热点诉求，减少本地相关不良舆情传播，净化网络环境，维护网络正常秩序与用户互联网话语权。

1.3 技术架构

软件系统采用J2EE体系架构，以B/S架构为核心，控制端与浏览终端均无需安装客户端软件，部署便捷。系统各功能模块可灵活以服务形式部署于不同主机，模块间通过MOM（面向消息的中间件）实现高效通信。该架构具备平台无关性，便于合理分配现有资源，精准开展系统性能调优。

（1）业务数据层

互联网数据为舆情管理平台的核心数据输入源，涵盖结构化数据、非结构化数据及实时流数据等多种类型，为舆情分析提供全面数据支撑。

（2）数据采集层

该层通过多种采集方式获取互联网数据，并完成数据上传至核心处理层的全流程。在数据采集阶段，同步开展事件解析、去噪等预处理工作，保障数据质量。核心采集方式包括直接定向采集、第三方搜索引擎间接采集、抓包采集、AGENT采集及通过原网站API接口获取数据等。

（3）核心处理层

作为云舆情管理平台的核心枢纽，核心处理层承担舆情数据的核心处理工作，包含业务支持子系统与自身管理子系统两大模块。其中，业务支持子系统为管理平台的业务处理与业务展示提供全方位支撑；自身管理子系统负责系统运行状态监控、级联管理、状态维护等综合性管理工作。

（4）应用展示层

平台采用图形化仪表、多视角态势展示等可视化形式呈现舆情事件，将统计分析结果、事件告警信息、关联分析结论等核心内容在统一管理界面集中展示。用户通过浏览器以B/S模式访问统一界面，操作便捷、直观高效。

1.4 功能介绍

云舆情管理平台核心涵盖六大子系统，分别为舆情采集子系统、舆情分析子系统、舆情存储子系统、舆情应用子系统、舆情导控子系统、舆情展示子系统，各子系统协同联动，构建全流程舆情管理体系。

1.5 平台特色

一、抓取技术

互联网数据海量多元，各类平台对爬虫技术普遍具备较强应对策略，普通网站内容爬取方案难以适配全场景需求。针对这一痛点，平台采用快页Personify-based抓取技术，通过模拟自然人访问行为实现精准抓取，适配各类复杂网络环境。

1) 不规则代理IP采集：自然人不会在持续时间内高频访问同一平台，即便随机点击也不会持续过长时间。平台通过大量不规则代理IP模拟自然人访问节奏，保障采集过程的隐蔽性与稳定性。

2) 多账号随机按需采集：自然人不会24小时持续访问同一数据接口，平台依托数万正常账号资源，严格遵循普通人在社交网站的正常操作习惯，实现随机按需采集，有效规避平台反爬机制。

3) 多核多版本浏览器模拟：系统访问目标平台时，自动模拟多种不同内核、不同版本的浏览器环境，进一步提升采集行为的真实性，保障采集任务顺利推进。

二、弹性框架

1) 高性能计算：结合舆情采集与分析的业务特性，平台选用Redis与ES相结合的开源大数据平台，构建分布式计算与分布式存储支撑体系，打造实时分析分布式搜索引擎。该体系可灵活扩展至百台级服务器规模，具备处理PB级结构化与非结构化数据的能力，支持每日采集并入库1亿条文章信息，峰值可处理百亿级数据，满足海量舆情数据处理需求。

2) 分布式存储：系统采用分布式存储设计，数据均匀分布于多台存储节点。存储分布策略采用一致性hash算法，针对存储节点较少时可能出现的分布集中、负载不均问题，通过将每个存储节点映射为多个虚拟节点并部署至hash环的方式，增加环上节点分布密度，实现存储负载均衡，提升数据存储的稳定性与可靠性。

三、使用灵活

平台支持根据不同行业、不同规模单位的业务需求，灵活定制舆情监测范围、关键词体系、预警规则等核心参数；各功能模块可按需组合调用，适配政企客户、公关传媒等不同类型用户的个性化舆情管理需求，降低使用门槛，提升应用效率。