2007-02-28

有没有什么rss crawl，或者web crawl也行

关键字: crawl
公司想要做个 rss crawl去www上的爬所有的rss link的地址，这个想法跟web crawl类似。把爬得的rss地址保存起来。

不知道有没有人知道没有现成的open source的rss crawl或者 web crawl也行呀

谢谢
评论
dengyin2000 2007-07-13
javaeye的首页是有的。。

引用
大量的RSS链接还是要一定的规则自己从网页上搞下来的，如何搞？这大概应该归到information extract里面了。


这样的化就很麻烦了。。
javaeyes 2007-07-13
RSS Feed autodiscovery这需要提供RSS链接点的网站在网页上加上额外标签，使RSS阅读器能自动的识别这些标签并添加。但是在中国有多少提供了RSS的网站页提供了这样的标签呢 ？
我认为这个标签只能提供一部分的RSS，大量的RSS链接还是要一定的规则自己从网页上搞下来的，如何搞？这大概应该归到information extract里面了。
dengyin2000 2007-07-08
呵呵 不知道你有没有用过一些浏览器， 他会自动提示你本页中有rss feed问你要不要添加。。


你可以看看
http://dengyin2000.javaeye.com/admin/show/47431

这篇文章导入javaeye上完全变乱了。 建议你搜索下 RSS Feed autodiscovery。 你就会明白了。
javaeyes 2007-07-07
你说的那个filter比较难实现一点，全网获取RSS源一些策略啊，一张网页上的连接很难确定是否RSS的链接，感觉就如大海捞针
dengyin2000 2007-07-02
javaeyes 写道
不知道你是要找到rss源，还是要把RSS里面的链接找出来用spider下载 ？


呵呵 两个都需要。 通过filter找到网页中的rss 地址， 然后再把这些rss 地址的内容index出来
javaeyes 2007-07-02
不知道你是要找到rss源，还是要把RSS里面的链接找出来用spider下载 ？
zhangyu8374 2007-06-11
open source的parse一大把啊。基于Java就有几个，你搜搜看。

larbin不错，不过是基于C语言的。

nutch还是可以借鉴一下，它的Web Crawler实现起来代码还是很简洁。不过前提条件是你要对Hadoop熟。
dengyin2000 2007-06-11
javaeyes 写道
nutch 可做不了
自己做一个吧
什么时候的帖子。 按文档 nutch是可以做的。有自己的parse。 不过公司没有搞这个东西了。。
javaeyes 2007-06-11
nutch 可做不了
自己做一个吧
叶子 2007-02-28
nutch。。。
dengyin2000
搜索本博客
我的相册
4d063000-8eef-365d-8346-f210ccfd5265-thumb
VB-seamless
共 13 张
存档
最新评论