与Sphider搜索引擎“URLs必须包含”的问题

Question

我正在使用Sphider。

我想允许蜘蛛离开我的域名http://www.example.com，但只爬行/访问包含example的网址。意味着只有像http://www.example.com或http://www.my-example.com或http://www.test.example.com应该被访问/索引但不是http://www.exa-mple.com。

阅读manual后，我尝试了以下内容：Screenshot of what I tried.

但试图索引时，我得到这个消息：Image: What I'm getting when trying to index.

谁能帮我。我究竟做错了什么？我也已经试过*example*但这也没有奏效。

Answer 1

的documentation包含一个误导例如：

每串起始部分前'*'被认为是一个正则表达式，以便'*/[a]+/'表示被一个或多个在其中的的一个字符串。

的[...]为字符类匹配从它里面确定了一系列/范围内的任何单个字符。

您可以使用*/example/来定义匹配example字符串的正则表达式。 但是，如果您对检查上下文不感兴趣，则最好在必须包含列表中使用example字符串。

Answer 2

^(?=.*example)https?:\/\/\S+$ 

你可以试试这个。 demo test https://regex101.com/r/LUkHsD/3