用多线程加速bash脚本？

我有一个bash脚本，我放在一起合并基于通用过滤器的多个数据包捕获。我在后端运行daemonlogger，它根据大小滚动pcap文件，所以很难获取整个图片，因为我正在查找的数据可能在一个pcap文件中，其余的在另一个文件中。最大的抱怨我有无法加速这个过程。它一次只能处理一个pcap。有没有人有任何关于如何加速多个子进程或多线程的建议？用多线程加速bash脚本？

#!/bin/bash 
echo '[+] example tcp dump filters:' 
echo '[+] host 1.1.1.1' 
echo '[+] host 1.1.1.1 dst port 80' 
echo '[+] host 1.1.1.1 and host 2.2.2.2 and dst port 80' 
echo 'tcpdump filter:' 
read FILTER 
cd /var/mycaps/ 
DATESTAMP=$(date +"%m-%d-%Y-%H:%M") 
# make a specific folder to drop the filtered pcaps in 
mkdir /var/mycaps/temp/$DATESTAMP 
# iterate over all pcaps and check for an instance of your filter 
for file in $(ls *.pcap); do 
     tcpdump -nn -A -w temp/$DATESTAMP/$file -r $file $FILTER 
     # remove empty pcaps that dont match 
     if [ "`ls -l temp/$DATESTAMP/$file | awk '{print $5}'`" = "24" ]; then 
       rm -f "temp/$DATESTAMP/$file" 
     fi 
done 
echo '[+] Merging pcaps' 
# cd to your pcap directory 
cd /var/mycaps/temp/${DATESTAMP} 
# merge all of the pcaps into one file and remove the seperated files 
mergecap *.pcap -w merged.pcap 
rm -f original.* 
echo "[+] Done. your files are in $(pwd)"

来源

2016-02-02 dobbs

不要使用任何东西的输出。 ls是交互式查看目录元数据的工具。用代码解析ls输出的任何尝试都被破坏了。 Globs更加简单且正确： '用于* .txt'中的文件。阅读[Parsing ls]（http://mywiki.wooledge.org/ParsingLs）。另外，我建议在[Shell Check]（http://www.shellcheck.net/） –

**多线程**上运行脚本**，要求运行时支持在我知道的任何shell中都不可用。你可以做什么（例如，如chepner的答案所示）不是多线程，而是多处理**。 –

在后台运行循环体，然后等待所有后台作业完成后再继续。

max_jobs=10 # For example 
job_count=0 
for file in *.pcap; do # Don't iterate over the output of ls 
    (tcpdump -nn -A -w temp/"$DATESTAMP"/"$file" -r "$file" $FILTER 
    # remove empty pcaps that don't match. Use stat to get the file size 
    if [ "$(stat -c "%s")" = 24 ]; then 
      rm -f "temp/$DATESTAMP/$file" 
    fi 
    ) & 
    job_count=$((job_count+1)) 
    if [ "$job_count" -gt "$max_jobs" ]; then 
     wait 
     job_count=0 
    fi 
done 
wait

来源

2016-02-02 19:45:39 chepner

故意将FILTER扩展为无引号？ –

我将如何设置并发后台进程的限制？ pcap是巨大的和众多的，如果我不小心，我敢肯定打开所有的m一次会使服务器呕吐 – dobbs

@CharlesDuffy对于这个问题，是的。我不想进入正确的方式将多个附加参数传递给'tcpdump'。 – chepner

用多线程加速bash脚本？

回答

相关问题