快知舆情监测系统
1.系统优势
舆情监测系统本着“全面覆盖、精细分析、精准定位、趋势预测、及时推送”的产品理念,结合当前自然语言处理及数据挖掘方面的前沿技术,构建了一个全方位的互联网舆情监测平台,全覆盖、实时采集互联网中各种信息,并在网络信息深度解析的基础上,充分应用现代大数据分析处理技术,帮助用户开展各类舆情监测工作,确保用户能够全面、及时、准确地掌握互联网相关舆情的发展态势,以便及时引导和应对。系统主要优势可归纳为以下五个方面:
全面:全时段、全覆盖抓取互联网上与我相关的各种信息
及时:7*24小时在线保证信息第一时间抓取,无人值守的预警模块保证关键信息第一时间送达关联人员
精准:充分利用自然语言处理技术,最大程度的向用户呈现最关心的信息
自我学习:通过数据挖掘和机器学习技术,持续优化系统语言处理算法及语料库
2系统架构
2.1系统物理架构
图
1 舆情监测系统物理架构图
2.2系统运行环境要求
最低配置:1台服务器(CPU:四核2.0G
HZ、内存: 8G);
推荐配置:1台采集服务器(用于采集和数据处理)+1台WEB服务器(用于web服务和数据库支持)(CPU:四核2.3G或以上、内存:
16G或以上);
硬盘:根据实际需求而定,存储短期数据至少保证200G以上,推荐1T以上。
方案1:通过运营商介入互联网
1.需专门的数据采集设备,硬件成本高;
2.需要在所有的运营商采集数据才可覆盖当
地所有信息;
3.不能检测该区域外信息;
4.可检测当地不同数据,如短信。
方案2:直接接入互联网
1.只需网络接入,硬件成本低;
2.可全网覆盖;
3.不可监测短信。
3技术优势
系统通过“搜索引擎+网络爬虫模式+微博”采集网络信息,监测覆盖新闻、论坛、贴吧、微信、人民网、行业网站、
微博等主流网络媒体,既满足了抓取的全面性,又能针对用户关注的重点网站精细分析。
搜索引擎:实现信息的全面覆盖,自动过滤无效或极低关联性的信息。
自有爬虫:实现重点网站的精准定位、即时捕获。
微博:
鉴于微博的封闭性,开发了微博模块以抓取相应信息,当前已全面覆盖国内两大主流模块。
4技术特点
系统采用多种技术手段来保证信息抓取的全面性、信息分析的准确性、预警的及时性。
1.发现采集:
自有的爬虫技术,基于自主爬虫的精准抓取;
支持新闻、博客、微博、交互网站、多媒体网站等多种类型;
7*24全时段信息采集、支持封闭网站信息采集。
2.数据处理:
重复数据去重
自动将不同主题分类汇总;
自动形成文本,自动提取内容摘要;
语料热度研判、信息情感倾向。
3.预警报告
实时监测负面信息,并将重要相关信息第一时间通过(邮箱/短信);
舆情周报自动生成和发送;
支持自定义舆情报表。
4.人工处理
模块名称 |
功能说明 |
行业信息 |
展示行业信息,基于对行业信息的时效性和准确性进行展示 |
公司形象 |
根据设置的行业关键字,展示与关键字相关度较高的信息细节 |
企业聚焦 |
根据用户设置的竞争对手公司,展示与竞争对手相关的信息细节 |
政策信息 |
根据用户设置的信息,展示与其行业相关的政策信息细节 |
项目信息 |
根据用户设置的信息,展示与其行业相关的项目信息细节 |
领导动态 |
根据用户设置的领导人关键字,展示与领导人关键字相关的信息细节 |
推送信息 |
根据用户设置,推送相应的信息给用户 |
专题设置 |
根据用户专题设置信息,对关键词进行信息采集分析推送用户需求内容 |
舆情报告 |
统计信息概况,生成舆情月报,周报,日报,也可以自定义生成报表 |
快知商情监测系统
“快知商情监测系统”能够实时推送企业感兴趣的商业情报信息,如行业信息、政策信息、项目信息等,帮助企业做到早知快知,及时掌握市场商机。
快知商情,以互联网海量的数据为依据,通过科学的、专业的方法论及精准的模型体系,助力企业把握市场的竞争环境、竞争态势、竞争策略,最大化帮助企业了解上下游产业链需求。目前,我们已能帮助18大行业(公安局、渔业、畜牧业、林业、农业、天然气、体育、旅游、教育、文化、医疗健康、白酒、金融、电子技术、通信、汽车、军事、计算机软件)的企业打开互联网应用新通路,为企业提供一站式的信息化服务。
一、行业信息
对行业内市场发展、市场营销、行业趋势等情况进行监测和分析;
帮助企业全面认识生存环境和市场行情、判断商业形势、制定合理的发展规划等
二、政策信息
对国家政府主管机构围绕行业出现的新政策、法律法规等信息进行准确监测和推送有利于企业及早发现商业机会、市场公关宣传与应对等
三、项目信息
根据用户设置的信息,展示与其行业相关的招标中标项目信息细节,包括项目名称、标题、来源网站、发布时间及区域等,以便用户进行更进一步的分析处理。
帮助企业实时了解商业市场行情,做好实际招投标工作
行业信息推送
根据用户企业所属行业类别,精准的向用户推送行业最新市场动态信息。
企业网站信息化推送服务,自动将最新的行业资讯推送到企业网站,避免企业网站成为僵尸网站,提升企业网站活力,增加企业网站流量
招标信息推送
根据用户设置的行业类别信息,自动筛选行业招标标书信息,通过邮件、微信公众号等多种形式及时的、准确的推送给用户
极速智能反垃圾过滤
随着互联网媒体网站的迅速发展,新闻、微博、博客、论坛、贴吧的内容及评论中充斥着色情、暴力、政治敏感的信息,这些信息严重阻碍了用户之间正常的交流讨论。
根据快知数据中心中已拦截以及页面未被拦截的无用信息,划定垃圾文本信息的范围:超出项目推送信息搜索范围,包括国家法律法规所禁止发布的不良信息在内,与广告营销有关的信息均称为垃圾文本信息。
极速智能反垃圾过滤
高效识别
净化环境
广告过滤:基于反垃圾智能过滤技术及亿级广告特征库,精准过滤
智能鉴黄:基于智能识别及海量样本库,高效识别文本色情内容
专门鉴赌:基于机器学习及特定特征库,有效识别文本赌博信息
专门鉴毒:基于机器学习及特定特征库,有效识别文本毒品信息
敏感排查:基于样本库及专业运营经验,快速排查敏感类有害信息
专业经验
值得信赖
海量特征库:依托快知文本处理技术及特征数据沉淀,海量垃圾特征实时更新,快速过滤各种有害信息
技术领先:拥有文本分类、深度学习、自然语言处理、大数据分析等领域的先进技术,智能甄别新类型的垃圾信息