使用cURL/php获取页面，但缺少一些东西

Question

我需要从外部网站（使用不同的域）获取数据。我试图检索的大部分数据不会显示，除非用户在元素上进行交互（点击），或者如果设置了cookie，则不会显示。

我试图用curl和PHP，但我打开其他选项。是否可以编写一个可以在请求期间处理javascript的程序化GET请求？

根据这个问题上的一个帖子，curl可以通过cookie，但是由此产生的行为不会被回发，因为它不处理js的返回数据。

setting cookie through curl

任何其他建议不胜感激。

Answer 1

据我所知，用一个框架来抓取数据并没有多大用处，它可以从面向公众的网页中检索post-js处理过的HTML输出，因此已经放弃了它的进度。如果我找到一个允许轻松检索的框架，我会更新这篇文章。