作家
登录

雨哲浅谈关于防采集而不影响收录内容篇

作者: 来源:www.28hudong.com 2013-03-30 08:30:26 阅读 我要评论

让站长最头痛的事,除了程序和服务器安全外,可能就要算内容被采集了。当然,现在网络本身就是资源共享,我这里不谈采集的对错,只是就防采集说说个人看法。 一、如何分辨搜索爬虫 以前,在网上看到过关于用asp代码来捕捉搜索爬虫的代码,通过代码把爬虫的访问记录记录到文件。就此代码(原作者未知)我作了修改,加入程序中防采集。现做成函数,直接在页面中调用。复制代码 代码如下: Function CheckSearchRobots(SearchRobotsAgent) CheckSearchRobots = False '自定义搜索爬虫,因篇幅关系,这里只是加入国内主要搜索引擎爬虫部分记录 Dim SearchRobots:SearchRobots="Baidu@Baidu|Google@Google|crawler@alexa|Yahoo@Yahoo|sohu@Sohu|MSN@MSN|QihooBot@Qihoo" dim ArrSearchRobots,ArrSearchRobots2,SearchRobotsTrue,SearchRobotsName,iSearchRobots SearchRobotsTrue = False ArrSearchRobots = split(SearchRobots,chr(124)) For iSearchRobots = 0 To Ubound(ArrSearchRobots) ArrSearchRobots2 = split(ArrSearchRobots(iSearchRobots),"@") If Instr(lcase(SearchRobotsAgent),lcase(ArrSearchRobots2(0))) > 0 then SearchRobotsTrue=true:SearchRobotsName=ArrSearchRobots2(1):exit for End If Next If SearchRobotsTrue and len(SearchRobotsName)>0 then'如果是爬虫,就更新爬虫信息 CheckSearchRobots = True End If End Function 将以上代码放在asp程序中(具体如何放置请参考相关文章),然后在需要调用的地方作如下调用: If CheckSearchRobots(SearchRobotsAgent) = False Then Response.Write "非搜索引擎,可作部分限制!" '这里可以加入判断指定时间的刷新次数,比如在正常情况下,访问速度是N次/分,如果超过这个次数(超常规访问)就可以限制了。 End If 二、限制超常规访问。 下面说说如何限制别人的超常规访问。下面代码来源于互联网(原作者未能找到)。我作了部分修改和说明。 复制代码 代码如下:Sub CheckAppeal() Dim AppealNum,AppealCount AppealNum=10 '同一IP60秒内请求限制次数 '雨哲[Yz81.Com]站长测试结果一,如果限制为10次,动易采集结果,一分钟能采集成功12篇,失败8篇。 '雨哲[Yz81.Com]站长测试结果二,如果限制为8次,动易采集结果,一分钟能采集成功9篇,失败11篇。 AppealCount=Request.Cookies(AppealCookies) If AppealCount="" Then Response.Cookies(AppealCookies)=1 AppealCount=1 response.cookies(AppealCookies).expires=dateadd("s",60,now()) Else response.Cookies(AppealCookies)=AppealCount+1 response.cookies(AppealCookies).expires=dateadd("s",60,now()) End If if int(AppealCount)>int(AppealNum) then Response.Write "兄弟,爬了这么久,歇会儿吧,别累坏了身体!" '这里的提示完全可以自定义,我的做法是另外转到一个和当前文章模板完全一致的页面,当然内容是自定义的。 '有兴趣的朋友也可以采集<a class="channel_keylink" href="http://www.yuzhe.name">雨哲</a>在线的http://www.yz81.com/wanzhuan/频道下面的文章。 Response.end End If End Sub 将以上代码放在asp程序中(具体如何放置请参考相关文章),然后在需要调用的地方作如下调用: Call CheckAppeal()

  推荐阅读

  一个不太让人讨厌的自动弹出窗口

用弹出窗口来显示调查表,被认为是达到我们收集访问用户信息的最方便快捷的方法。当制作出第一份调查表后,我们客气的询问人们是否愿意填这份表,但结果却令人失望。于是我们决定把这份调查表放到我们主页里,当>>>详细阅读


本文标题:雨哲浅谈关于防采集而不影响收录内容篇

地址:http://www.17bianji.com/kaifa2/ASP/32277.html

关键词: 探索发现

乐购科技部分新闻及文章转载自互联网,供读者交流和学习,若有涉及作者版权等问题请及时与我们联系,以便更正、删除或按规定办理。感谢所有提供资讯的网站,欢迎各类媒体与乐购科技进行文章共享合作。

网友点评
自媒体专栏

评论

热度

精彩导读
栏目ID=71的表不存在(操作类型=0)