反向工程Web表单

Question

我有一个网站，我下载的原始数据的2-3 MB来自然后馈入ETL过程将其加载到我的数据集市。不幸的是，数据提供者是银的美国部（USDA），他们不允许通过FTP下载。他们要求我用网络的形式来选择我想要的元素，通过点击屏幕2-3，最后点击下载该文件。我想自动执行此下载过程。我不是一个Web开发人员，但不知何故，似乎我应该能够使用某种工具来确切地告诉我从最终请求到服务器的put/get/magic是什么。如果我有一个工具，说：“这些参数传递到这个URL，并等待回应”然后我可以在Perl黑客在一起的东西自动完成这一过程。

我意识到，如果我解构了他们所有5个页面，并通过JavaScript包含并阅读了3次我的治疗，我可以从我所访问的内容中获取这些信息。但我想不需要我去手动解析他们所有的JS更快和更直接的路径。

重申最后一个问题：是否有工具或方法可以清楚地显示从Web表单发送的最终请求请求以及它的结构？

Answer 1

篡改者最好的朋友（这是Firefox的扩展，你也可以使用类似Wireshark）

HTTPFox

Tamper Data

最好的运气

Answer 2

使用Fiddler2作为代理来查看被来回传递。我已经在其他类似情况下成功做到了这一点

主页是在这里：http://www.fiddler2.com/fiddler2/

Answer 3

与其他回复一样，除了我的工具是Charles

Answer 4

使用Web测试工具包如Watir和Ruby怎么样？

易于填写表格..只是使用输出..

Answer 5

使用WatiN，并与华廷TestRecorder结合它（谷歌它）

它可以“模拟”用户坐在前面浏览器在您可以从您自己的C＃代码提供的值中冲出...