当前位置:网站首页 > 技术博客 > 正文

火车头采集器采集规则



1.在发布配置那里,无法刷新列表,总提示“格式不符”?

答:这个有很多原因,请依次确认下,, 请开启,比如说您刷新列表的页面只有登陆后才可以访问的话您必须先登陆网站才 可以,看一下是不是登陆的cookie正确否;,不同的版本或是网站系统的 模块,一般是不通用的,请使用对应版本的模块;, 比如模块是用默认风格做的,您又换了另一个风格,请参照模开发相关手册部分进行修改,或者使用‘使用自定义分类参数’;,请改成本地浏览器浏览。

     2.发内容--WEB发布错误,返回代码请查看,采集的内容重复发布,显示发布成功 未知?

       答:出现类似这个错误:。 请一定要记得打开这个log文件。看里边返回什么代码。

       如果,那可能就是发布的太快,您的服务器反应不过来,没有 返回任何字符。这时可能是发布成功了,也可能是发布失败了。具体请上网站查看。如何处理呢?请修改发布速度(问题3)。不要太短,主要以能发布成功为准。

      3.Discuz中出现" 您的请求来路不正确或验证字串不符,无法提交":

      答:这个是discuz在发布时会发一个, 这个值是在发布页面获取到的。出现此情况是获取到的formhash不正确引起的。请使用火车头内置浏览器登录并查看源码,查找"formhash=", 然后修改在线发布模块,将其值替换掉原发布模块里面的[登录随机值1](当然有可能是登录随机值X,与模块作者使用的有关)或是您自己修改模块使程序可以 正确获取到formhash.

      4.发布到网站上,发现所有内容挤在一块,查看源代码,发现空格丢失了?

     答:有两种可能:一是您做时过滤空格所致:另一个是您的会过滤,这时,请在“内容发布设置”里选中“数据发布时进行UrlEncode处理”。风讯就属于些 类。

      5.图片发布时总是相对地址,不是远程地址?

      答:请在标签编辑里选中“”。默认您选了下载图片 后,就不需要选中这个选项了。

     6.发表测试成功,但就是实际发布时显示成功却没文章?

      答:也有多种可能,一是您的模块成功标识码不唯一,也就是发布成功失败都是一样的标识代码;另一种是实际发布成功了,但模块默认的是未审核的,所以您得先 到网站审核的地址去审核;三也有可能是因为火车连续不断的post数据,被您的防火墙或是您服务器的防火墙给拦截了,请关了防火墙试下。还有一种是登陆信 息失效了,比如您的网站一段时间不操作会自动退出,而您在实际发布前有相当一些时间了。所以原来获得的登陆信息就失效了。

     7.发布到我论坛上,显示的是代码?

      答:请在发布配置里边选择发表。一般discuz,phpwind等 论坛,都要选上ubb发表。如果您想用html方式发帖,请在后台对相关发帖人开启发html帖权限。

     8.怎样继续上一次未完成的发布?

      答:在任务栏里只勾选“”这个复选框就可以了,程序会将采集来的但没 有发布的数据发布出去。

     9.文章发布出去后,发现有[标签:作者]和[标签:来源]之类的东东,怎么回事?

      答:这是模块里的标签没有被替换,您在做任务规则时没有做相应的标签,所以发布上去是这样,您可以修改模块里相应的文字为固定值或删除[标签:来源]这类 您不需要的标签。比如说source=[标签:来源],改成固定值如source=火车采集器,删除是直接将source=[标签:来源]删掉。

     10.未找到任何可发布的内容.

     答:这个是程序在本地数据库里找不到未标记为未发的记录。这种情况是您将所有数据已发布过了,或是您在任务栏目里没有选 。

     11.测试时或发布时出现 "出现同一帐号同时只能一个在线,或是您的帐号已被禁用"

     答:这个是网站系统不允许一个帐号同时在多个在线,比如帝国系统。这个情况下建议您使用专门的一个帐号用来采集发布。不要用它来登陆网站。

     12.有些时候,明明已经正确获取web cookie,但是测试的时候仍然是没有登录呢?

     答:这个一个是cookie 过期的问题,另一个可能是我们程序获取的不正确(很抱歉,程序目前还无法正确获取所有的cookie)。这种情况下,建议您使用专业的抓包软件,如 WSockExpert.用来抓取cookie,然后将抓取到的cookie填写到程序保存cookie的地方。

     13.如何设置发表的速度?

     答:请在“编辑任务”里""设置采集及发布速度,时间单 位是毫秒。

     14.采集地址重复.

     答:程序会保存采集页的地址,默认是采过的是不再再去采集。如果你是需要重新采的话可以将原来的任务 地址库和本地已采数据全部删掉。如果您要采的网页里内容是不断变化的,你可以选不检测重复的选项

  15.论坛怎么能更换用户发帖,一个用户发太假了?

  答:如果你使用web在线发布的方式,那么程序发帖就相当于你手工发,你不能同时登陆多个帐号,所以程序也 不能。要实现多个帐号发布,你需要修改原来的论坛程序,使他可以使用多个用户名发布。discuz随机发布接口就是修改后的程序,用不同用户来向自己论坛 发帖的。

  14.测试网址采集正常,但真正采集的时候漏掉许多 。

  答:程序默认是会过滤掉重复网址的。在同一个站点下如果一个网址已采过,就不会再去采集。

  17.采集的数据入库后,显示出很多问号 ?

  答:这个一般是你入库时没有选对编码所引起的,请注意选择编码;

版权声明


相关文章:

  • 积分运算电路公式推导2025-08-06 12:01:03
  • mock测试入门2025-08-06 12:01:03
  • l298npwm调速程序2025-08-06 12:01:03
  • button.css2025-08-06 12:01:03
  • struct timeval结构体2025-08-06 12:01:03
  • 服务器硬件知识普及篇(需要配置服务器的朋友可以参考)2025-08-06 12:01:03
  • crc8和crc32区别2025-08-06 12:01:03
  • jm怎么用三步骤2025-08-06 12:01:03
  • bitset用法 java2025-08-06 12:01:03
  • 树状数组lowbit2025-08-06 12:01:03