红宝石 - 从相对开放的绝对网址

Question

我已经建立了一个使用open-uri和nokogiri的网页爬虫ruby脚本，我很新，但它都适用于我需要从中提取数据的几个网站除了使用相对URL之外，其源代码中包含完整的网址。

脚本的功能是打开页面，构建一个打开的页面数组，然后从css（而不是xpath）中提取数据。

如何强制脚本使用完整的URL在他们相对的，它的被窃听我一会儿实例，我似乎无法让它运行

在我的情况，我想我需要在推送网址的时候添加一些内容，有谁能请我指出正确的方向吗？这将非常感激！谢谢！

require 'open-uri' 
require 'nokogiri' 

PAGE_URL = "http://www.OMMITED.co.uk" 

page = Nokogiri::HTML(open(PAGE_URL, "User-Agent" => “OMMITED“)) 

links = page.css("a") 

links_array = Array.new 

links.each{|link| 
     url = link['href'].nil? ? 'empty' : link['href'] 
     if url.include? 'category' and !url.include? '/all' 
       links_array.push url 
     end 
} 

Answer 1

tl; dr：底部简短回答。

OK，假设你有一个类变量叫做@url包含当前页面的完全合格的URL：

require 'uri' 

def full_url(rel, url) 
    return rel if rel.match /^[\w]*:\/\// 
    uri = URI(url) 
    if rel[0] == '/' 
    "#{uri.scheme}://#{uri.host}#{rel}" 
    else 
    path = uri.path.split('/')[0..-2].select{|m| !m.empty?}.join('/') 
    "#{uri.scheme}://#{uri.host}/#{path}/#{rel}" 
    end 
end 

然后，您可以拨打：

links_array.push full_url(url, @url) 

你可以把方法的相同的类或某处的助手类。它使用Ruby URI库来查找完全限定URL的相关部分，然后从相对路径构造一个新的URL。

如果相对路径以'/'开始，它应该直接在主机之后。

如果它不以'/'开始，那么它需要与当前页面位于相同的虚拟目录中。因此，如果当前页面是：

http://www.host.com/aaa/bbb/ccc 

和相对路径是：

ddd 

则输出应该是：

http://www.host.com/aaa/bbb/ddd 

然而，如果相对路径是：

/ddd 

那么输出应该是：

http://www.host.com/ddd 

的代码：

uri.path.split('/')[0..-2].select{|m| !m.empty?}.join('/') 

需要完整的URL的路径，将其分解在 '/' 给出的阵列（['aaa','bbb', 'ccc']），然后删除最后一个元素。 （['aaa','bbb']）。选择删除所有空白元素，然后再次将连接缝合起来。（"aaa/bbb"）

OR

你能做到这一点的枯燥方式：

require 'uri' 

URI.join("http://www.host.com/aaa/bbb/ccc", "/ddd").to_s 
# => "http://www.host.com/ddd" 

URI.join("http://www.host.com/aaa/bbb/ccc", "ddd").to_s 
# => "http://www.host.com/aaa/bbb/ddd" 

给出代码：

links.each{|link| 
    url = link['href'].nil? ? 'empty' : link['href'] 
    if url.include? 'category' and !url.include? '/all' 
      links_array.push url 
    end 
} 

我会为重新写：

links.each do |link| 
    url = link['href'].nil? ? 'empty' : link['href'] 
    if url.include? 'category' && !url.include? '/all' 
    full_url = URI.join(PAGE_URL, url).to_s 
    puts full_url 
    links_array << url 
    puts links_array.inspect 
    end 
end 

注意：S在多态方面，多行块应该使用do/end而不是{}。缩进应该是两个空格。圆括号内不应有空格。运营商比推送更受青睐。始终使用& &在条件语句而不是and，它具有低得多的优先级，并可能导致的问题。见GitHub的风格指南：

https://github.com/styleguide/ruby

的puts是根据您的意见还有，希望帮助你弄清楚为什么你的阵列是不是行为。它应该是，根据你放在那里的代码。我宁愿使用调试器宝石。 （或者，如果你对Ruby的2.X byebug）