Scrapy：无法访问类，尽管它存在

Question

我想抓this页面，我正在尝试获取颜色名称，LT。蓝色。从Chrome中我看到HTML：

<div id="desc-options"><div class="option"><span class="label">Color:</span> LT. BLUE</div><div class="option"><span class="label">Size:</span> 6.5</div></div> 

我试图response.css("#desc-options")访问里面的一切，但返回[]。即使BeautifulSoup失败。

Answer 1

您正在寻找的元素是通过JavaScript动态创建的。你不能从纯HTML中解析它。

好消息是：您要查找的数据可能仍在网页中。查看定义spConfig变量的<script>标签。看起来有一些你可以解析的JSON ...