在URL

Question

解释相对路径，我用Python写一个“的WebCrawler”，需要一个URL，并做了深度优先搜索以下链接到一些有限的深度。我遇到的问题是在URLS中解释相对路径。

在http://learnyouahaskell.com/introduction/的页面看看在“起步”的链接;它看起来像<a href="starting-out" class="nxtlink">Starting Out</a>。我怎么能确定这个链接是否是指“http://learnyouahaskell.com/introduction/starting-out”或“http://learnyouahaskell.com/starting-out”？第二个是根据我的浏览器是正确的。

然而在页面http://math.colgate.edu/~mionescu/math399s11/上有一个链接<a href="Finalprojects.pdf">here</a>，它解析为“http://math.colgate.edu/~mionescu/math399s11/Finalprojects.pdf”。

有人能解释这种不一致性给我吗？我怎样才能确定如何在我的抓取工具中解决这些路径？

Answer 1

此“明显”不一致的原因是learnyouahaskell网站在其来源中使用<base href="">标记。这指示所有无域的hrefs使用基地作为他们的起点。

没有这个基础标签如预期它会出现（您发布的第一个链接），并担任就像math.colgate.edu链接。