疑惑

Question

我必须完成一个相对简单的任务，基本上我有文件的大量使用以下格式

“2014年1月27日”，“七点20分38秒”，”数据“，”数据“，”数据“

基本上我想提取前2个字段，将它们转换为unix时代日期，将6小时添加到它（由于时区差异），并将前2个原始列结果为毫秒（unix时代，因为19700101转换为工厂） 我写了一个脚本，工作正常，好吧，问题是非常非常慢，我需要运行这个超过150个文件，总行数为超过5.000.000，我很奇怪g如果你有，我怎么能使其更快任何建议，那就是：

#!/bin/bash 

function format() 
{ 
while read line; do 
entire_date=$(echo ${line} | cut -d"," -f1-2); 
trimmed_date=$(echo ${entire_date} | sed 's/"//g;s/,/ /g'); 
seconds=$(date -d "${trimmed_date} + 6 hours" +%s); 
millis=$((${seconds} * 1000)); 
echo ${line} | sed "s/$entire_date/\"$millis\"/g" >> "output" 
done < $* 
} 

format $* 

Answer 1

在awk中使用存在函数mktime，经测试，它比perl更快。

awk '{t=$2 " " $4;gsub(/[-:]/," ",t);printf "\"%s\",%s\n",(mktime(t)+6*3600)*1000,substr($0,25)}' FS=\" OFS=\" file 

这是测试结果。

$ wc -l file 
    1244 file 
    $ time awk '{t=$2 " " $4;gsub(/[-:]/," ",t);printf "\"%s\",%s\n",(mktime(t)+6*3600)*1000,substr($0,25)}' FS=\" OFS=\" file > /dev/null 

real 0m0.172s 
user 0m0.140s 
sys  0m0.046s 

    $ time perl -MDate::Parse -pe 'die "$0:$ARGV:$.: Unexpected input $_" 
     unless s/(?<=^")([^"]+)","([^"]+)(?=")/ (str2time("$1 $2")+6*3600)*1000 /e' file > /dev/null 

real 0m0.328s 
user 0m0.218s 
sys  0m0.124s 

Answer 2

我试图避免外部命令（除了日期）赢得时间。测试表明它比你的代码快4倍。 （好吧，在tripleee的perl的解决方案比我快40倍！）

#! /bin/bash 

function format() 
{ 
    while IFS=, read date0 date1 datas; do 
     date0="${date0//\"/}" 
     date1="${date1//\"/}" 
     seconds=$(date -d "$date0 $date1 + 6 hours" +%s) 
     echo "\"${seconds}000\",$datas" 
    done 
} 

output="output.txt" 

# Process each file in argument 
for file ; do 
    format < "$file" 
done >| "$output" 

exit 0 

Answer 3

您正在产卵的每个输入线工序的显著数量。通过快速浏览，可能很容易就将其中一半的因素考虑在内，但我肯定会推荐切换到Perl或Python。

perl -MDate::Parse -pe 'die "$0:$ARGV:$.: Unexpected input $_" 
    unless s/(?<=^")([^"]+)","([^"]+)(?=")/ (str2time("$1 $2")+6*3600)*1000 /e' 

我想推荐Text::CSV，但我没有在这里安装，如果你有要求，不碰后的第二个在所有领域，它可能不是你所需要的反正。这是快速和肮脏的，但可能也比“适当的”CSV解决方案简单得多。

真正的肉是从Date::Parse的str2time功能，我想会比一边喊date快很多（ISTR它确实有些记忆化的内部，因此可以快速地完成邻近日期）。正则表达式用输出替换前两个字段;注意/e标志允许Perl代码在替换部分进行评估。 (?<=^")和(?=")零宽度断言要求这些匹配存在，但不包括它们在替换操作中。 （我本来取代封闭双引号，但是这种变化，它们被保留，因为显然你想留住他们。）

更改die如果您希望脚本继续，尽管错误的warn（也许将标准错误重定向到一个文件然后！）