如何使用python urllib2复制数据库而不会收到错误500？

我试图使用python urllib2并打开一个循环来打开每个链接并用页面内容编写一个文件。它适用于大约第一百个链接，然后我得到一个错误500，似乎该网站也关闭（运行时错误）。

是否由于数据库中的安全机制？有避免它的窍门吗？

谢谢！

2012-07-19 mellow

错误500：内部服务器错误。这很可能是由于服务器上的应用程序错误，例如程序崩溃。您提供的链接失败并出现此错误。除非您知道远程应用程序的内部组件，否则您几乎没有办法解决它。您需要与服务器的管理员交谈。 – mhawke 2012-07-19 00:21:47

我也得到一个HTTP 500（内部服务器错误）。所以我不认为这是一个安全机制，但可能是一个真正的服务器错误。

也许您的抓取工具“点击”导致服务器崩溃的链接？当然，服务器错误也可能完全独立于您的抓取工作。

无论如何，如果问题仍然存在，这可能是值得使用这里给出的联系方式与数据库所有者联系：http://archive.unctad.org/iia-dbcases/

2012-07-19 00:26:49 cyroxx

回答