块蜘蛛机器人除了一个

Question

我有一个网站，每天在不同的小时蜘蛛机器人扫描我的网站与semrush。

我可以通过htaccess阻止用户代理，但现在在星期天我用semrush扫描我的网站以获得一些改进。

因此，如果我阻止semrush用户代理我阻止自己，IP是每一个不同，因为它是从semrush。

有没有办法阻止除我以外的所有semrush用户代理？

感谢

Answer 1

您可以使用以下规则来阻止用户代理，再加上这排除了您的知识产权，并不会与用户代理阻止你。

RewriteEngine on 
RewriteCond %{HTTP_USER_AGENT} semrush [NC] 
RewriteCond %{REMOTE_ADDR} !^yourIP$ 
RewriteRule^- [F]