HUGE行之间的AWK/SED提取字符串

我有一个巨大的行是从ws的响应，我需要得到所有在<asunto>和</asunto>之间的字符串。该文件是这样的：HUGE行之间的AWK/SED提取字符串

Content-Type: application/xop+xml; charset=UTF-8; type="application/soap+xml"; 
Content-Transfer-Encoding: binary 
Content-ID: <[email protected]> 

<soap:Envelope xmlns:soap="http://www.w3.org/2003/05/soap-envelope"><soap:Body><ns1:consultarComunicacionesResponse xmlns:ns1="http://ve.tecno.afip.gov.ar/domain/service/ws"><ns2:RespuestaPaginada xmlns:ns2="http://ve.tecno.afip.gov.ar/domain/service/ws" xmlns:ns3="http://core.tecno.afip.gov.ar/model/ws/types" xmlns:ns4="http://ve.tecno.afip.gov.ar/domain/service/ws/types"><pagina>1</pagina><totalPaginas>1</totalPaginas><itemsPorPagina>100</itemsPorPagina><totalItems>2</totalItems><ns4:items><ns4:ComunicacionSimplificada><idComunicacion>sdfgsfdgsfdgsd</idComunicacion><cuitDestinatario>sdfgsdfgsdfgsfdg</cuitDestinatario><fechaPublicacion>sdfgsdfg</fechaPublicacion><fechaVencimiento>sdfgsdfgsdfg</fechaVencimiento><sistemaPublicador>sdfgsdfgsfg</sistemaPublicador><sistemaPublicadorDesc>sdfgsdfggf</sistemaPublicadorDesc><estado>2</estado><estadoDesc>sdfgsdfgsgf</estadoDesc><asunto>EXAMPLEEEEEEEEEEEEEEEE1</asunto><prioridad>3</prioridad><tieneAdjunto>sdfgfdg</tieneAdjunto></ns4:ComunicacionSimplificada><ns4:ComunicacionSimplificada><idComunicacion>sdfgsdfgdfg</idComunicacion><cuitDestinatario>sdfgdfsg</cuitDestinatario><fechaPublicacion>sdfgsdfg</fechaPublicacion><fechaVencimiento>sdfgdsfg</fechaVencimiento><sistemaPublicador>sdfgsdfg</sistemaPublicador><sistemaPublicadorDesc>sdfgsdfgdsfggsdf</sistemaPublicadorDesc><estado>1</estado><estadoDesc>dsfgsdfgsgd</estadoDesc><asunto>EXAMPLEEEEEEEEEEEEEEEE2</asunto><prioridad>asdfdsf</prioridad><tieneAdjunto>asdfasdf</tieneAdjunto></ns4:ComunicacionSimplificada></ns4:items></ns2:RespuestaPaginada></ns1:consultarComunicacionesResponse></soap:Body></soap:Envelope>

我shuold得到这样的：

EXAMPLEEEEEEEEEEEEEEEE1  
EXAMPLEEEEEEEEEEEEEEEE2

可能有大量的重复，0和数百间。

谢谢！

来源

2016-01-20 Santiago Flores

awk来救援！

$ awk -v RS='[<>]' '/\/asunto/{f=0;next} f; /asunto/{f=1}' file 

EXAMPLEEEEEEEEEEEEEEEE1 
EXAMPLEEEEEEEEEEEEEEEE2

更新：根据该意见，如果有机会的话，标签在其它地方存在，您可以在打开/关闭标签的左边和右边锚

$ awk -v RS='[<>]' '/^\/asunto$/{f=0;next} f; /^asunto$/{f=1}' file 
EXAMPLEEEEEEEEEEEEEEEE1 
EXAMPLEEEEEEEEEEEEEEEE2

或者等价地，检查一个确切的字符串匹配

$ awk -v RS='[<>]' '$0=="/asunto"{f=0;next} f; $0=="asunto"{f=1}' file 
EXAMPLEEEEEEEEEEEEEEEE1 
EXAMPLEEEEEEEEEEEEEEEE2

也注意到，并非所有的awk变种支持多焦RS。

来源

2016-01-20 20:23:36 karakfa

你应该提到它的呆子特有由于多焦RS，它会失败，如果'asunto'出现在其他上下文中而不是标签。 –

@karakfa - 为了解决Ed的第二点，你可以稍微改变一行：awk -v RS ='[<>]''/ \/asunto * $/{f = 0; next} f;/^ asunto/{f = 1}'文件'？ – peak

是的，谢谢，我明白你的意思。更新。 – karakfa

您也可以使用GNUgrep。

grep -oP '(?<=<asunto>)((?!</asunto>).)+(?=</asunto>)' yourfile

这需要回顾后加负和正先行的优势。

Here's其内部的一个很好的解释。

性能

$ wc -l bigfile 
100000 bigfile 

$ time awk -v RS='</?asunto>' '!(NR%2)' bigfile >/dev/null 

real 0m0.277s 
user 0m0.254s 
sys 0m0.022s 


$ time grep -oP '(?<=<asunto>)((?!</asunto>).)+(?=</asunto>)' bigfile >/dev/null 

real 0m4.318s 
user 0m4.292s 
sys 0m0.020s 

$ time awk -v RS='[<>]' '/\/asunto/{f=0;next} f; /asunto/{f=1}' bigfile >/dev/null 

real 0m7.088s 
user 0m6.928s 
sys 0m0.021s

@Ed代码迄今为止取得的最大性能。

来源

2016-01-20 20:26:46 klashxx

随着GNU AWK多焦RS：

$ awk -v RS='</?asunto>' '!(NR%2)' file 
EXAMPLEEEEEEEEEEEEEEEE1 
EXAMPLEEEEEEEEEEEEEEEE2

来源

2016-01-20 20:27:12

迄今为止最大的表现！ – klashxx

使用XML解析器（和awk去除头）

awk -v RS= 'NR>1' ws.out | xmlstarlet sel -t -v //asunto -n

来源

2016-01-20 22:03:59

这可能会为你工作（GNU SED）：

sed -nr '/<asunto>([^<]*)<\/asunto>/{s//\n\1\n/;s/[^\n]*\n//;P;D}' file

这会将字符串缩减为预定行然后打印，删除此行并重复。不包含所需字符串的行将被忽略。

来源

2016-01-20 23:03:49 potong

正如其他地方指出的那样，XML感知工具原则上会更安全，但如果没有嵌套“asunto”标记，以下GNU grep咒语可能会有用，并且即使在<asunto>和</asunto>为空或包含其他标签：

grep -oP '(?<=<asunto>).*?(?=</asunto>)'

这里的关键是，非贪婪的子表达式：.*?

来源

2016-01-21 02:58:26 peak

HUGE行之间的AWK/SED提取字符串

回答

相关问题