替代包含标题的innerhtml？

Question

我想从以下页面提取数据：

http://www.bmreports.com/servlet/com.logica.neta.bwp_PanBMDataServlet?param1=&param2=&param3=&param4=&param5=2009-04-22&param6=37#

其中，方便，效率低下不够，包括嵌入在头一个CSV文件中的所有数据，作为变量称为gs_csv。

我该如何解压？ Document.body.innerhtml跳过数据所在的标题，包含标题的备选项（或更好的与gs_csv相关的值）是什么？ （对不起，这些都是新鲜事，我一直在搜索大量的文档，并尝试了很多，但目前为止还没有发挥作用）。

---

感谢思南（这主要是他的解​​决方案转录成Python）。

import win32com.client 

import time 

import os 

import os.path 

ie = Dispatch("InternetExplorer.Application") 

ie.Visible=False 

ie.Navigate("http://www.bmreports.com/servlet/com.logica.neta.bwp_PanBMDataServlet?param1=&param2=&param3=&param4=&param5=2009-04-22&param6=37#") 

time.sleep(20) 

webpage=ie.document.body.innerHTML 

s1=ie.document.scripts(1).text 

s1=s1[s1.find("gs_csv")+8:-11] 

scriptfilepath="c:\FO Share\bmreports\script.txt" 

scriptfile = open(scriptfilepath, 'wb') 

scriptfile.write(s1.replace('\n','\n')) 

scriptfile.close() 

ie.quit 

Answer 1

未经测试：你尝试看什么Document.scripts包含？

UPDATE：

出于某种原因，我有得到这个使用Windows脚本宿主的工作难度极大（但后来，我不经常用它，道歉）。总之，这里是工作的Perl的来源：

use strict; 
use warnings; 

use Win32::OLE; 
$Win32::OLE::Warn = 3; 

my $ie = get_ie(); 

$ie->{Visible} = 1; 

$ie->Navigate(
    'http://www.bmreports.com/servlet/com.logica.neta.bwp_PanBMDataServlet?' 
    .'param1=&param2=&param3=&param4=&param5=2009-04-22&param6=37#' 
); 

sleep 1 until is_ready($ie); 

my $scripts = $ie->Document->{scripts}; 

for my $script (in $scripts) { 
    print $script->text; 
} 

sub is_ready { $_[0]->{ReadyState} == 4 } 

sub get_ie { 
    Win32::OLE->new('InternetExplorer.Application', 
     sub { $_[0] and $_[0]->Quit }, 
    ); 
} 

__END__ 

C:\Temp> ie > output 

output现在包含脚本标签内的一切。

Answer 2

使用ajax获取该页面的源代码，并使用jquery解析XML之类的响应文本。它应该很简单，足以让你遇到的第一个标签的文本

我与jquery脱节，或者我会张贴代码示例。

编辑：我假设你说的是在客户端获取csv。

Answer 3

如果这只是一次性的脚本，然后exctracting这个CSV数据是如此简单：

import urllib2 

response = urllib2.urlopen('http://www.bmreports.com/foo?bar?') 
html = response.read() 
csv = data.split('gs_csv=')[1].split('</SCRIPT>')[0] 

#process csv data here 

Answer 4

由于思南（这主要是他的解​​决方案转录成Python）。

进口win32com.client

进口时间导入OS

进口os.path中

即=调度（ “InternetExplorer.Application”）ie.Visible =假

ie.Navigate （“http://www.bmreports.com/servlet/com.logica.neta.bwp_PanBMDataServlet?param1=&param2=&param3=&param4=&param5=2009-04-22&param6=37#”）

time.sleep（20）

网页= ie.document.body.innerHTML

s1 = ie.document。脚本（1）的.text S1 = S1 [s1.find（ “gs_csv”）+ 8：-11]

scriptfilepath = “C：\ FO共享\ bmreports \ script.txt”

脚本文件=开（scriptfilepath，把wb）

scriptfile.write（s1.replace（ '\ n'， '\ n'））

scriptfile.close（）

ie.quit