RSS Feader更新时间间隔

我有一个每分钟运行一次的阅读器阅读器（它正在阅读经常更新的阅读器）。但是当我访问几个网站时，我似乎正在被Akamai阻止。也许他们认为我在做什么，但我不是 - 我只是想得到饲料。RSS Feader更新时间间隔

有关如何与Akamai一起玩还是用不同代码的想法？据我所知，除了轮询它之外，我无法知道Feed何时更新 - 但是有没有一种首选方式 - 比如检查缓存？尽管我怀疑这是否有所作为，但这是用c＃编码的。

2017-07-24 user8359617

[欢迎使用堆栈溢出]（http://stackoverflow.com/tour）。请解释您尝试的内容...添加一些代码，显示示例并解释问题。检查[这里]（http://stackoverflow.com/help/mcve）和[这里]（http://stackoverflow.com/help/how-to-ask）了解如何改善您的问题。 –

没有更多的上下文，很难确定为什么你被阻止。是因为费率限制还是其他访问控制措施？假设它是速率限制，你可以做的事情不多。我建议您首先验证robots.txt是否允许抓取网址，如果允许，则使用某种指数关闭。通过提供有意义的用户代理来帮助玩家更好地进行游戏，这样当他们更新规则时，他们可能会考虑将自己的合法请求列入白名单。

来源

2017-07-26 08:37:19

我正在访问的Feed网站没有ROBOTS.TXT文件。他们似乎不在Akamai CDN上。所以我不认为这个饲料网站正在报道任何东西。我遇到的访问问题是与其他网站（如usps.com）。我能想到的唯一办法就是运行我自己的feed阅读器触发Akamai的某些内容，但我不知道如何或为什么。如果其他人有运行Feed阅读器导致问题，那么非常感兴趣。如果我重置IP，那么我的访问不到24小时。 – user8359617

USPS确实有一个机器人文件。 https://www.usps.com/robots.txt。另外，如果网站不在Akamai上，Akamai将不会负责阻止您。我想知道你为什么这么想。 –

我很欣赏你的回应，但我并不想访问usps.com的RSS源。我正在访问另一个网站（这是没有robots.txt文件的网站）。我不知道该网站是否使用Akamai。所以，也许只是运气不好，我被列入了一组IP地址的黑名单，或者是因为我正在运行Feed阅读器。据我所知，我没有做任何事情时不允许轮询网站的饲料。这看起来像我可能永远不会发现。 – user8359617

RSS Feader更新时间间隔

回答

相关问题