使用webcrawler下载pdf文件

Question

我开始使用ruby编程语言。我有一个Ruby脚本检索的PDF文件页面上海葵：

Anemone.crawl("http://example.com") do |anemone| 
    anemone.on_pages_like(/\b.+.pdf/) do |page| 
    puts page.url 
    end 
end 

我用宝石红宝石想下载page.url。我可以使用什么宝石来下载page.url？

Answer 1

如果你是在UNIX系统上，也许UnixUtils：

Anemone.crawl("http://example.com") do |anemone| 
    anemone.on_pages_like(/\b.+.pdf/) do |page| 
    puts page.url   # => http://example.com/foo.bar 
    puts UnixUtils.curl(url) # => /tmp/foo.bar.1239u98sd 
    end 
end 

Answer 2

无需额外的宝石，试试这个

require 'anemone' 

Anemone.crawl("http://www.rubyinside.com/media/",:depth_limit => 1, :obey_robots_txt => true, :skip_query_strings => true) do |anemone| 
    anemone.on_pages_like(/\b.+.pdf/) do |page| 
    begin 
     filename = File.basename(page.url.request_uri.to_s) 
     File.open(filename,"wb") {|f| f.write(page.body)} 
     puts "downloaded #{page.url}" 
    rescue 
     puts "error while downloading #{page.url}" 
    end 
    end 
end 

给

downloaded http://www.rubyinside.com/media/poignant-guide.pdf 

和PDF很好。