在Python中用Selenium查找元素

我一直在试图收集Youtube游戏中的直播频道/观看者列表。我正在使用硒与Python强制网站向下滚动页面，以便加载更多的11个频道。作为参考，this是我正在处理的网页。在Python中用Selenium查找元素

我找到了我想要的数据的位置，但我正在努力让硒去那里。该部分我有麻烦看起来像这样：

<div class="style-scope ytg-gaming-video-renderer" id="video-metadata"><span class="title ellipsis-2 style-scope ytg-gaming-video-renderer"><ytg-nav-endpoint class="style-scope ytg-gaming-video-renderer x-scope ytg-nav-endpoint-2"><a href="/watch?v=FFKSD1HHrdA" tabindex="0" class="style-scope ytg-nav-endpoint" target="_blank"> 
       Live met Bo3 
      </a></ytg-nav-endpoint></span> 
    <div class="channel-info small layout horizontal center style-scope ytg-gaming-video-renderer"> 
     <ytg-owner-badges class="style-scope ytg-gaming-video-renderer x-scope ytg-owner-badges-0"> 
      <template class="style-scope ytg-owner-badges" is="dom-repeat"></template> 
     </ytg-owner-badges> 
     <ytg-formatted-string class="style-scope ytg-gaming-video-renderer"> 
      <ytg-nav-endpoint class="style-scope ytg-formatted-string x-scope ytg-nav-endpoint-2"><a href="/channel/UCD8Q9V5wgo8o0XGfUqsRrDQ" tabindex="0" class="style-scope ytg-nav-endpoint" target="_blank">Rico Eeman</a> 
      </ytg-nav-endpoint> 
     </ytg-formatted-string> 
    </div><span class="ellipsis-1 small style-scope ytg-gaming-video-renderer" id="video-viewership-info" hidden=""></span> 
    <div id="metadata-badges" class="small style-scope ytg-gaming-video-renderer"> 
     <ytg-live-badge-renderer class="style-scope ytg-gaming-video-renderer x-scope ytg-live-badge-renderer-1"> 
      <template class="style-scope ytg-live-badge-renderer" is="dom-if"></template> 

      <span aria-label="" class="text layout horizontal center style-scope ytg-live-badge-renderer">4 watching</span> 
      <template class="style-scope ytg-live-badge-renderer" is="dom-if"></template> 
     </ytg-live-badge-renderer> 
    </div> 
</div>

目前，我想：

#This part works fine. I can use the unique ID 
meta_data = driver.find_element_by_id('video-metadata') 

#This part is also fine. Once again, it has an ID. 
viewers = meta_data.find_element_by_id('metadata-badges') 
print(viewers.text)

不过，我一直有麻烦频道名称（在这个例子中'Rico Eeman'，它在第一个嵌套的div标签下）。由于它的一种化合物类的名字，我无法找到类名称的元素，并尝试下面的XPath不工作：

name = meta_data.find_element_by_xpath('/div[@class="channel-info small layout horizontal center style-scope ytg-gaming-video-renderer"]/ytg-formatted-string' 

name = meta_data.find_element_by_xpath('/div[1])

他们既能提高找不到错误的元素。我不确定在这里做什么。有没有人有一个工作解决方案？

来源

2016-04-25 Pieter

该名称标识不在<ytg-formatted-string>标记中，它在其中的一个后代中。尝试

meta_data.find_element_by_css_selector('.style-scope.ytg-formatted-string.x-scope.ytg-nav-endpoint-2 > a')

或用xpath

meta_data.find_element_by_xpath('//ytg-nav-endpoint[@class="style-scope ytg-formatted-string x-scope ytg-nav-endpoint-2"]/a')

来源

2016-04-25 08:28:27 Guy

谢谢，用css选择器工作完美！但是，如果我用result.text打印xpath的结果，它会打印空字符串。编辑：这是没有问题的课程，因为它与CSS选择器一起工作！ :) – Pieter

这将让所有的名字，即使你的XPath使用video-metadata不会得到所有名称的工作中，ID为每格重复为每个用户，所以你需要find_elements并在返回的元素进行迭代：

names = dr.find_elements_by_css_selector("a.style-scope.ytg-nav-endpoint[href^='/channel/']") 
print([name.get_attribute("text") for name in names])

，让你：

['NinjaNation Gaming', 'DURX DANIEL', 'DEMON', 'Perfection', 'The one and only jd', 'Violator Games', 'KingLuii718', 'NinjaNation Gaming', 'DURX DANIEL', 'DEMON', 'Perfection']

来源

2016-04-25 08:35:02

我认为你的find_elements_by_css_selector（） – Pieter

@Pieter可能会在结尾丢失一些东西。是的，固定的。 –

在Python中用Selenium查找元素

回答

相关问题