查找用户发出的http请求

Question

我正在开发一个项目，其中涉及查找用户发出的http请求。

我有所有的http请求和响应头（但不是数据），我需要找出用户请求什么内容以及哪些内容被自动发送（例如，广告页面，背景上的流媒体以及各种不相关的内容）。 录制净流量时（即使是短时间内），也会生成大量内容，并且大部分内容不相关。 因为即时通讯没有专家在http中，我想要一些帮助指导我可以安全地使用哪些头文件（假设大多数网页发送它们），哪些头文件可能会被忽略，因此依赖它是不安全的。

我目前的想法包括： 找到所有的HTML文件，并检查主HTML文件是什么（不引荐或搜索引擎引荐），然后递归地标记所有通过以后的有关这些HTML文件名为的文件，放弃其余的。

这个问题是，我被告知我不能相信引用标头，并且我不知道如何识别用户点击了什么html文件。 各种帮助将不胜感激，对不起，如果帖子格式不好，这是我的第一个问题。

编辑： 有人告诉我这个问题is'nt不够清晰，因此，所有我问的是一些方法来确定哪些请求是由用户触发，whic请求都自动进行

Answer 1

要确定哪个请求是由用户自己发送的，你应该查看通过连接发送的第一个请求，并查看它的响应主体。

然后连续发送给用户的第一个主体中引用的所有外部文件最有可能在没有用户交互的情况下自动发送。

请求之间的时间传递也可能是一个值得关注的因素。

你已经提到的另一件事是你自己会看Referer标题。就RFC 2616 14.36而言，它可以被信任，因为如果请求URI来自用户输入，则不能发送Referer头。尽管可以自动发送没有设置Referer头部的内容，因为它是可选的。