用于抓取网站并重新获取每个网页的所有元信息的在线工具

Question

有谁知道免费的在线工具可以抓取任何给定的网站并只返回元关键字和元描述信息？

Answer 1

假设你有机会到Linux/Unix系统

mkdir temp 
cd temp 
wget -r SITE_ADDRESS 

然后，对于关键字：

egrep -r -h 'meta[^>]+name="keywords' * | sed 's/^.*content="\([^"]*\)".*$/\1/g' 

和描述：

egrep -r -h 'meta[^>]+name="description' * | sed 's/^.*content="\([^"]*\)".*$/\1/g' 

如果你希望所有的唯一关键字，请尝试：

egrep -r -h 'meta[^>]+name="keywords' * | sed 's/^.*content="\([^"]*\)".*$/\1/g' | sed 's/\s*,\s*/\n/g' | sort | uniq 

我确定有一个单行程序或程序在那里做这个确切的事情，肯定有更容易的答案。

Answer 2

要检索所有元信息，请尝试此工具Meta Tags Analyzer