如何使用awk，perl或sed从LiveHTTPHeaders输出中删除响应？

Question

比方说，我有这样的事情（这只是一个例子，实际要求会有所不同：我装StackOverflow上启用有一些样品的LiveHTTPHeaders对工作）：

 
http://stackoverflow.com/ 

GET/HTTP/1.1 
Host: stackoverflow.com 
User-Agent: Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.1.2) Gecko/20070220 Firefox/2.0.0.2 
Accept: text/xml,application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5 
Accept-Language: en-us,en;q=0.5 
Accept-Encoding: gzip,deflate 
Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7 
Keep-Alive: 300 
Connection: keep-alive 

HTTP/1.x 200 OK 
Cache-Control: private 
Content-Type: text/html; charset=utf-8 
Content-Encoding: gzip 
Expires: Sat, 28 Nov 2009 16:04:24 GMT 
Vary: Accept-Encoding 
Server: Microsoft-IIS/7.0 
Date: Sat, 28 Nov 2009 16:04:23 GMT 
Content-Length: 19015 
---------------------------------------------------------- 
... 

请求和响应的完整日志是可用的pastebin

而且我想要删除所有的响应（例如HTTP/1.x 200 OK和所有的响应，例如）和所有显示页面地址的衬里。我只想将所有请求保留在带有保存的LiveHTTPHeaders输出的文本文件中。

因此，输出将是：

 
GET/HTTP/1.1 
Host: stackoverflow.com 
User-Agent: Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.1.2) Gecko/20070220 Firefox/2.0.0.2 
Accept: text/xml,application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5 
Accept-Language: en-us,en;q=0.5 
Accept-Encoding: gzip,deflate 
Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7 
Keep-Alive: 300 
Connection: keep-alive 

GET /so/all.css?v=5290 HTTP/1.1 
Host: sstatic.net 
User-Agent: Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.1.2) Gecko/20070220 Firefox/2.0.0.2 
Accept: text/css,*/*;q=0.1 
Accept-Language: en-us,en;q=0.5 
Accept-Encoding: gzip,deflate 
Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7 
Keep-Alive: 300 
Connection: keep-alive 
Referer: http://stackoverflow.com/ 

... 

再次，我想保持全文可在pastebin。

如果我将LiveHTTPHeaders捕获的会话保存到文本文件中，并且希望从此问题的第二个“代码”中获得结果，那么我该如何执行此操作？也许与awk，sed或perl？或者是其他东西？我在Linux上。

---

编辑： 我试图运行思南的脚本。脚本是这样的：

#!/usr/bin/perl 
local $/ = "\n\n"; 
while (<>) { 
    print if /^GET|POST/; # Add more request types as needed 
} 

我试图运行这样说：

./cleanup-headers.pl livehttp.txt > filtered.txt 

而且这样：

perl cleanup-headers.pl <livehttp.txt> filtered.txt 

...文件filtered.txt被创建，但它是完全空的。

任何人都试过它在我粘贴到pastebin的全部标题？它有效吗？

Answer 1

你看上去有尾随空白的问题。

$ sed -e 's/^\s*$//' livehttp.txt | \ 
    perl -e '$/ = ""; while (<>) { print if /^(GET|POST)/ }' 

这是通过把Perl的readline的运营商到段落模式（通过$/ = ""），它抓住记录在一个时间块，由两个或多个连续换行符分隔。

它工作时很好，但它有点脆。空白但不是空行会将工程胶起来，但sed可以清理这些。

等效，更简洁的命令：

$ sed -e 's/^\s*$//' livehttp.txt | perl -000 -ne 'print if /^(GET|POST)/' 

Answer 2

在Perl：

local $/ = "\n\n"; 
while (<>) { 
    print if /^(?:GET|POST)/; # Add more request types as needed 
} 

注：望着通过的LiveHTTPHeaders产生的输出，条目相当明确的两个换行分隔，所以我觉得设置$/ = "\n\n"比更合适设置为$/ = ''。我相信你的问题是由于输入文件中的行实际上是缩进的。

我原本是从pastebin下载的文件，并使用完整的文件来测试我的脚本。我不相信您在计算机上测试的文件与您在pastebin上使用的文件相同。

如果要有力应对可能缩进的行同时保持与的LiveHTTPHeaders的输出格式相一致的，你应该使用类似以下内容：

#!/usr/bin/perl 

use strict; use warnings; 

local $/ = "\n\n"; 
while (<>) { 
    next unless /^\s*(?:GET|POST)/; 
    s!^\s+!!gm; 
    print; 
} 

我考虑在相同的使用sed和perl管道有点憎恶。

Answer 3

运行思南的代码为：

perl test.pl <infile.txt> outfile.txt 

Answer 4

只是一个gawk的命令

awk -vRS= '/^(GET|POST)/' ORS="\n\n" file 

Answer 5

你可以使用bash shell的

while read -r line 
do  
    case "$line" in 
     GET*|POST*) flag=1;;   
     "") flag=0;; 
    esac 
    [ "$flag" -eq 1 ] && echo "$line" 
done < "file"