网络内容过滤技术
什么是网络内容过滤技术
网络内容过滤技术指采取适当的技术措施,对互联网不良信息进行过滤,既可阻止不良信息对人们的侵害,适应社会对意识形态方面的要求,同时,通过规范用户的上网行为,提高工作效率,合理利用网络资源,减少病毒对网络的侵害,这就是内容过滤技术的根本内涵。
内容过滤技术的过程
随着互联网的迅速普及,网络内容“垃圾”已经开始侵入人们的生活,像现在互联网上大量的不良信息,以及垃圾邮件、病毒邮件、泄密邮件和网络聊天等问题,已经逐渐侵袭到人们的灵魂。对互联网取其精华、去其糟粕,从而保护自己以及抵御力极差的青少年,一种新的技术——内容过滤因此孕育而生,引起人们的关注。
个人电脑内容过滤 每个人都或多或少有一些使用IE的经验,通过“工具Internet选项内容分级审查允许”开启这项功能。
内容分级审查是根据互联网内容分级联盟(ICRA)提供的内容分级标准,来允许或禁止访问某些不良的网站。内容分级审查功能本来可以让家长很好地控制孩子的上网,但是非常遗憾,并不是所有的网站都遵守ICRA规范,也就是说这个分级标准并不是放之四海皆准的,它从一开始就成了IE的摆设。
除了IE自带的内容过滤功能,市场上还有一些需要安装在上网电脑终端的内容过滤软件,常见的有SurfControlCyberPatrol、国内的蓝眼睛、过滤王等等。这些软件可以在一定程度上控制孩子访问色情、游戏等不良网站,比较适合家庭单机使用。
企业网络内容过滤
在每一个互联网访问的网络边缘(企业/学校网络边缘、网吧网络出口),都可以部署内容过滤工具。这些工具一般是分析网络数据流中包含的HTTP数据包,对数据包头中的IP地址、URL、文件名、HTTPmethods进行访问控制。
在网络边缘的内容过滤产品有两种表现方式:旁路式(Passby)和穿透式(Passthrough)。旁路式内容过滤产品是独立的,它监听网络上所有信息,并有选择的对基于TCP的连接(如HTTP/HTTPS/FTP/TELNET/POP3/SMTP等)进行阻断。旁路式过滤的原理基于TCP的连接性:跟踪所有TCP连接,阻断时以服务器身份向客户端发送HTTPFINPUSHACK,同时以客户端身份向服务器发送HTTPRST。一般情况下,旁路式内容过滤产品可以快速部署,对网络运行不存在影响和风险。穿透式内容过滤产品依赖于其他网络边缘处的基础平台,如MicrosoftISA、CiscoCacheEngine、BlueCoatProxySG、NetscreenFirewall等。穿透式内容过滤产品根据这些网络边缘接入基础平台的访问请求,作出允许或禁止的判断,然后由这些平台执行过滤的动作。
那么,内容过滤产品如何作出允许或禁止的判断呢?不同的厂商有着不同的解决方案。从理论上来讲,最理想的产品能够实时对网页内容进行分析,然后判断是否允许用户访问。例如,用户访问一个色情网站,内容过滤产品分析这个网站中页面的内容,发现其中包含了大量的色情词汇和图片信息,从而判断这是一个不良网站,需要进行过滤。这是一个理想的状态。但是,在具体的生产应用环境当中,实时分析网页内容并进行过滤是不现实的,这个问题主要体现在:对网页内容实时分析给用户浏览体验带来的延时是不可以接受的。对文字内容进行比较分析需要大量的计算资源,更不用说图片信息。试想一下每一个用户每点击一个链接都要等待数十秒钟,这还是比较好的情况。一般的企业网络内每秒钟都会有数个到数十个HTTP连接建立,这对实时的内容分析来说是不可完成的任务。
所以,绝大部分厂商采取了一个折衷的办法。他们事先对访问量较大、名气较大的网站和网页的内容做分类的工作,然后把URL、IP地址和内容分类对应起来,。当用户访问这些网站上的页面时,内容过滤产品就可以根据事先的分类进行过滤,达到按内容过滤的目的。
因此,内容分类数据库的数量和质量是评价一个内容过滤产品的重要指标。有些厂商组建了专门的内容分析部门,他们专职监控每天新出现的网站,然后将这些网站分类更新到数据库当中。还有些厂商使用人工智能技术,自动进行分析。内容安全产品的市场爆炸证明,这种办法是可行的,也是经济的。
互联网骨干内容过滤
内容过滤除了在个人电脑和企业网络中的应用,在互联网骨干上也可以实现相同的功能。互联网骨干的主要任务是在保证可连通性的同时,尽可能快速地提供数据交换通道,这就要求网络结构和配置尽可能简单。属于网络高层应用的内容过滤本来不应该在互联网骨干上部署实施。但是,出于国家安全的需要,对一些网站还是需要进行屏蔽。电信运营商在互联网骨干上使用的内容过滤技术主要是DNS过滤和IP地址过滤:互联网骨干DNS服务器拒绝解析指定URL列表;通过ACL拒绝到指定IP地址的连接。这些手段轻微地影响互联网性能,但是技术和现实中也是可以实现和接受的。
另外,现在国内有些地区的宽带运营商还提供“绿色上网”服务,为申请此项服务的用户提供内容过滤的功能,以保护青少年和儿童。这些“绿色上网”服务的原理同以上的内容过滤原理是一样的,不同之处在于每个用户的可定制化功能。还有些运营商采取了“投诉”的方式来维护更新不良内容网址,通过奖励上网费用和时间的方式来鼓励宽带用户投诉不良网站。这也是一个很好的思路和现实的做法。
网络内容过滤技术概述
采取适当的技术措施,对互联网不良信息进行过滤,既可阻止不良信息对人们的侵害,适应社会对意识形态方面的要求,同时,通过规范用户的上网行为,提高工作效率,合理利用网络资源,减少病毒对网络的侵害,这就是内容过滤技术的根本内涵。
一般来说,内容过滤技术包括名单过滤技术、关键词过滤技术、图像过滤技术、模板过滤技术和智能过滤技术等,如果再细致分析,现阶段的内容过滤技术主要分为基于网关和基于代理两种。
首先,基于网关的内容过滤,一般嵌入专门的安全网关或者防火墙等网关设备中,此种网络设备一般通过静态和动态内容过滤来进行。所谓静态过滤,就是可自定义可信站点和禁止站点。比如,静态过滤可以阻塞对“交友社区”的访问,以拒绝访问“交友社区”的网站内容。动态过滤也很重要,因为Internet和Web都不是静态的。相反,新的网页正以每年数以亿计的速度添加到Web,每分钟都有新的站点和页面出现。此外,Web页也不是一个单一的实体,而是由众多独立的组件组成,每个组件都有它们自己的URL,浏览器可以单独和独立地获取它们。其中每个组件都可以通过其URL直接访问,因此也可能是过滤对象。动态内容过滤可以通过设定URL中的关键词来过滤含此关键词的站点以确定用户是否应获取某一请求的URL,即便该URL没有明确定义。比如,动态过滤可以拒绝访问URL中有“Porn”字样的所有站点。理想的防火墙不仅应支持静态内容过滤,还应能让用户选择一个可以自行决定阻塞的广泛类别列表,如拍卖、聊天、就业搜索、游戏、仇恨/歧视、历史、玩笑、新闻、股票、泳衣,等等。这种功能可使办公室管理员和父母允许或阻塞对任何站点类别的访问。而且,由于Internet始终都在变化,因此应当定期用被归入站点类型的新URL更新类别列表。
其次,基于代理的内容过滤。主要以专用的硬件代理上网设备实现,一般是将设备配置成代理缓存服务器,并部署在企业用户和Internet之间,这些优化的专用设备就能够智能地管理用户的内容请求。当用户请求一个URL时,请求首先到达设备相应端口安全专用设备进行认证和授权。如果请求的页面中的对象已经在该专用设备的本地缓存中,它们就从本地直接访问给用户,如果不在本地缓存中,安全专用设备就作为用户的代理,通过Internet和源服务器通信。当对象从源服务器返回时,就保存在本地缓存中以为后续的访问请求服务,同时传送一个拷贝给访问的用户。整个过程被全程监控,并作记录,供访问报告统计和为企业计划提供依据。
网络内容过滤技术的难点
从这三种过滤手段来看,它们都受制于内容分类的效率和准确性。如何提高内容分类的效率和准确性,是各个厂商钻研的难题。
实际上,每个月都有超过100万个新注册的网站出现在互联网上,也就是说互联网是变化的,这种变化是永不停息的。最好的办法还是挑选一部分网站放在数据库当中,这些网站至少具有两个特征:1、访问量比较大;2、包含不良内容。对于那些访问量不大,或者内容“不咸不淡”的网站,大可以忽略不计。
每个企业或者每个人的浏览习惯都是不一样的,也可能有些人特别喜欢浏览一些冷门的网站,这就涉及一个个性化的问题。为了对这些访问进行控制和过滤,内容过滤产品本身还要具有一定的智能,能够自动分析归类这些网站的内容,并对用户的访问进行过滤。这样的分析结果应该保留在访问者的本地内容过滤设备上,而不是上传同步到所有的用户。这样的话,所有用户就有一个集中的公共数据库,包含了绝大部分热门网站;每个用户还有一个分散的私人数据库,包含了自己的浏览分析归类数据。
免责声明:本内容来源于第三方作者授权、网友推荐或互联网整理,旨在为广大用户提供学习与参考之用。所有文本和图片版权归原创网站或作者本人所有,其观点并不代表本站立场。如有任何版权侵犯或转载不当之情况,请您通过400-62-96871或关注我们的公众号与我们取得联系,我们将尽快进行相关处理与修改。感谢您的理解与支持!







请先 登录后发表评论 ~