sitemap

    0热度

    2回答

    我想根据网页的sitemap.xml创建一个抓取网址的蜘蛛。所以我没有start_urls。我想确定使用sitemap.xml刮掉哪些网址。 我曾考虑添加方法_parse_sitemap并使用requests和lxml解析它,但它可能是一种矫枉过正。 是否有一些内置方法可以获得<loc>标签中的所有url? 我迄今所做的: 蜘蛛得到一个URL和meta = {'sitemap':True}如此分析

    0热度

    1回答

    我试图unmarshall给出的XML文件,结合这些文件的一些信息,并编组他们再次,以便我可以生成一个单一的XML文件。但现在我有一个问题瓦特/我的代码,因为我不得不空间声明由“http://www.google.com/schemas/sitemap/0.9”更改为“http://www.sitemaps.org/schemas/sitemap/0.9” 之前,我不得不改变这一点,一切是正确的,

    0热度

    1回答

    我正在尝试为ASP.NET MVC Web应用程序创建动态XML站点地图。基于通过实体框架6模型从数据库检索的数据,页面是结构化和可预测的。我想简单地使用XML文字从数据库中检索每个项目,有点像发生了什么here。 我的发言如下所示: Dim xmlSitemap = <?xml version="1.0" encoding="UTF-8"?> <urlset xmlns="htt

    -1热度

    1回答

    我想在wordpress上创建sitemap.xml。如何像这样创建的sitemap.xml: <urlset xsi:schemaLocation="http://www.sitemaps.org/schemas/sitemap/0.9 http://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd"><url><loc>

    0热度

    1回答

    在Django视图以下代码: def sitemap(request): return render(request, 'sitemap.xml', content_type = 'text/xml') 产生以下错误: 异常类型:UnicodeDecodeError错误 异常值: 'UTF8' 编解码器不能在位置0解码字节0xff:无效起始字节 我该如何解决这个问题?我所要做的就是呈

    -2热度

    1回答

    我的站点地图与俄语字母等特殊语言字符链接。 我还有问题,只有法国“é”(十六进制代码点00E9)。谷歌网站管理员工具告诉我,我的站点地图中有一个404错误与此符号的链接。它在此符号之后切断链接的一部分。例如:我有一个谷歌的Sitemaps像 example.com/décembre 所以它返回从链接 example.com/d 404错误怎么解决避免此类错误的链接,以及什么其他符号无效?

    1热度

    2回答

    我正在为我的网站创建多个站点地图文件。问题是我的站点地图文件位于与我的网站不同的文件服务器上。 例如,我有一个域名网站,www.example.com,但是我的站点地图索引文件和其他站点地图文件驻留在www.filestack.com上。 我的站点地图索引文件看起来像: <sitemapindex xmlns="http://www.google.com/schemas/sitemap/0.84"

    0热度

    1回答

    目前我遇到了为gatsby-starter-blog生成sitemap.xml的问题。 http://localhost:8000/sitemap.xml仍未找到。 什么我已经在做: NPM安装的盖茨比 - 插件,网站地图 加入网站元 siteMetadata: { siteUrl: 'http://www.localhost:8000', }, plugins: [

    1热度

    1回答

    嗨我只想刮掉其日期比特定日期更新的页面。 例如:如果lastmod是2017/14/9或更新版本,只能刮掉网址。 我使用此代码来凑所有的页面,但我不能限制它的基础上lastmod日期: import requests from scrapy.spiders import SitemapSpider from urllib.parse import urljoin class MySpid

    0热度

    1回答

    我想定义与操作筛选站点地图节点,例如: [SitemapUrl(Frequency = Frequency.Monthly, Priority = 0.9)] public ActionResult About() { return View(); } 这将产生如下: <url> <loc>https://www.example.com/home/about</loc