如何在Bash脚本中将DOS/Windows换行符（CRLF）转换为Unix换行符（\ n）？

Question

如何以编程方式（即不使用vi）将DOS/Windows换行符转换为Unix？

dos2unix和unix2dos命令在某些系统上不可用。我如何使用像sed/awk/tr这样的命令来模拟这些？

Answer 1

使用AWK，你可以这样做：

awk '{ sub("\r$", ""); print }' dos.txt > unix.txt 

使用Perl，你可以这样做：

perl -pe 's/\r$//' <dos.txt> unix.txt 

Answer 2

您可以使用tr从DOS到Unix的转换;但是，如果CR仅在CRLF字节对的第一个字节中出现在文件中，则只能安全地执行此操作。这通常是这种情况。然后，可以使用：

tr -d '\015' <DOS-file >UNIX-file 

注意名称DOS-file是从名字UNIX-file不同;如果您尝试使用两次相同的名称，则最终会在文件中没有数据。

你不能这样做（使用标准'tr'）。

如果你知道如何进入回车到一个脚本（控制-V，控制-M进入控制-M），则：

sed 's/^M$//'  # DOS to Unix 
sed 's/$/^M/'  # Unix to DOS 

其中 '^ M' 是控制-M字符。您也可以使用bashANSI-C Quoting机制，指定回车：

sed $'s/\r$//'  # DOS to Unix 
sed $'s/$/\r/'  # Unix to DOS 

但是，如果你将不得不这样做经常（一次以上，粗略地讲），这是更为明智的安装转换程序（例如dos2unix和unix2dos，或者可能是dtou和utod）并使用它们。

Answer 3

tr -d "\r" < file 

采取一个例子的外观使用sed：

# IN UNIX ENVIRONMENT: convert DOS newlines (CR/LF) to Unix format. 
sed 's/.$//'    # assumes that all lines end with CR/LF 
sed 's/^M$//'    # in bash/tcsh, press Ctrl-V then Ctrl-M 
sed 's/\x0D$//'   # works on ssed, gsed 3.02.80 or higher 

# IN UNIX ENVIRONMENT: convert Unix newlines (LF) to DOS format. 
sed "s/$/`echo -e \\\r`/"   # command line under ksh 
sed 's/$'"/`echo \\\r`/"    # command line under bash 
sed "s/$/`echo \\\r`/"    # command line under zsh 
sed 's/$/\r/'      # gsed 3.02.80 or higher 

sed -i使用用于就地转换例如sed -i 's/..../' file。

Answer 4

到目前为止发布的解决方案只处理部分问题，将DOS/Windows的CRLF转换为Unix的LF;他们缺少的部分是DOS使用CRLF作为行分隔符，而Unix使用LF作为行终止符。区别在于DOS文件（通常）在文件的最后一行之后没有任何内容，而Unix将会有。为了正确地进行转换，你需要添加最后的LF（除非文件是零长度，即根本没有行）。我最喜欢这个咒语（一点点添加逻辑来处理的Mac风格的CR-分隔的文件，而不是骚扰文件that're已经是UNIX格式）是位的Perl：

perl -pe 'if (s/\r\n?/\n/g) { $f=1 }; if ($f || ! $m) { s/([^\n])\z/$1\n/ }; $m=1' PCfile.txt 

注意，这将将stdout文件的Unix化版本。如果您想用Unix化版本替换文件，请添加perl的-i标志。

Answer 5

这个问题可以用标准工具来解决，但是对于粗心大意的我有足够多的陷阱，我建议你安装flip命令，该命令是由作者zoo的作者Rahul Dhesi在20年前编写的。 它做了出色的工作转换文件格式，同时，例如，避免二进制文件的疏忽造成的破坏，这是一个有点太容易了，如果你只是比赛围绕改变每次你看到CRLF ......

Answer 6

我试图 的sed' s/^ M $ //'file.txt on OSX以及其他几种方法（http://www.thingy-ma-jig.co.uk/blog/25-11-2010/fixing-dos-line-endings或http://hintsforums.macworld.com/archive/index.php/t-125.html）。没有工作，文件保持不变（顺便说一句Ctrl-V Enter需要重现^ M）。最后我使用了TextWrangler。它不是严格的命令行，但它的工作原理，它不抱怨。

Answer 7

如果您没有访问DOS2UNIX的，但可以读取这个页面，那么你可以复制/粘贴在这里dos2unix.py。

#!/usr/bin/env python 
"""\ 
convert dos linefeeds (crlf) to unix (lf) 
usage: dos2unix.py <input> <output> 
""" 
import sys 

if len(sys.argv[1:]) != 2: 
    sys.exit(__doc__) 

content = '' 
outsize = 0 
with open(sys.argv[1], 'rb') as infile: 
    content = infile.read() 
with open(sys.argv[2], 'wb') as output: 
    for line in content.splitlines(): 
    outsize += len(line) + 1 
    output.write(line + '\n') 

print("Done. Saved %s bytes." % (len(content)-outsize)) 

交叉发布从superuser。

Answer 8

与POSIX这样做是棘手：

• POSIX Sed不支持\r或\15。即使这样做了，在地方 选项-i没有POSIX

• POSIX Awk不支持\r和\15，但是-i inplace选项 没有POSIX

• D2U和DOS2UNIX的不POSIX utilities，但是ex是

• POSIX ex不支持\r，\15，\n或\12

要删除回车：

ex -bsc '%!awk "{sub(/\r/,\"\")}1"' -cx file 

要添加回车：

ex -bsc '%!awk "{sub(/$/,\"\r\")}1"' -cx file 

Answer 9

对于Mac OSX，如果你有自制软件安装[http://brew.sh/][1]

brew install dos2unix 

for csv in *.csv; do dos2unix -c mac ${csv}; done; 

请确保您已制作了这些文件的副本，因为此命令将修改这些文件。 -c mac选项使交换机与osx兼容。

Answer 10

一个更简单的解决方案awk的W/O的程序：

awk -v ORS='\r\n' '1' unix.txt > dos.txt 

技术上 '1' 是你的程序，B/C的awk需要一个给定的选项时。

UPDATE： 在很长一段时间重新审视这个页面的第一次后，我意识到，没有一个尚未发布的内部解决方案，所以这里是一个：

while IFS= read -r line; 
do printf '%s\n' "${line%$'\r'}"; 
done <dos.txt> unix.txt 

Answer 11

这为我工作

tr "\r" "\n" <sampledata.csv> sampledata2.csv 

Answer 12

超级duper容易与PCRE;

作为脚本，或用您的文件替换$@。

#!/usr/bin/env bash 
perl -pi -e 's/\r\n/\n/g' -- $@ 

这将覆盖到位您的文件！

我建议只这样做有备份（版本控制或其他方式）

Answer 13

TIMTOWTDI！

perl -pe 's/\r\n/\n/; s/([^\n])\z/$1\n/ if eof' PCfile.txt 

基于@GordonDavisson

一个必须考虑的[noeol]可能性...

Answer 14

您可以使用AWK。将记录分隔符（RS）设置为匹配所有可能的换行符或字符的正则表达式。并将输出记录分隔符（ORS）设置为unix样式的换行符。

awk 'BEGIN{RS="\r|\n|\r\n|\n\r";ORS="\n"}{print}' windows_or_macos.txt > unix.txt 

Answer 15

进行了扩展，乔纳森·莱弗勒的Unix到DOS的解决方案，安全地转换为DOS，当你不能确定该文件的当前行结尾的：

sed '/^M$/! s/$/^M/' 

这将检查该行已不在转换为CRLF之前在CRLF中结束。

Answer 16

方才去思考同样的问题 令人惊奇的是没有人提到这样做CRLF <的非常自动化的方式（在Windows的一面，但同样适用于Linux操作系统。） - 用好老zip -ll选项的文本文件> LF转换（Info-ZIP）：

zip -ll textfiles-lf.zip files-with-crlf-eol.* 
unzip textfiles-lf.zip 

注意：这将创建一个zip文件，保留原始文件名但将行结束符转换为LF。然后unzip会提取文件作为zip'ed，即与他们的原始名称（但与LF结尾），从而提示覆盖本地原始文件，如果有的话。

从zip --help相关摘录：

zip --help 
... 
-l convert LF to CR LF (-ll CR LF to LF) 

Answer 17

有趣的是在我的混帐的bash在Windows sed ""的伎俩已经：

$ echo -e "abc\r" >tst.txt 
$ file tst.txt 
tst.txt: ASCII text, with CRLF line terminators 
$ sed -i "" tst.txt 
$ file tst.txt 
tst.txt: ASCII text 

我的猜测是读取来自输入线时sed的忽略它们并始终在输出上写入unix行尾。

Answer 18

有很多的awk/SED /等答案，从而补充（因为这是这个问题上的搜索结果中的一个）：

您可能没有DOS2UNIX的，但你有没有的iconv？

iconv -f UTF-16LE -t UTF-8 [filename.txt] 
-f from format type 
-t to format type 

或者所有目录中的文件：

find . -name "*.sql" -exec iconv -f UTF-16LE -t UTF-8 {} -o ./{} \; 

这将运行相同的命令，在当前文件夹中的所有.sql文件。 -o是输出目录，因此您可以将其替换为当前文件，或者出于安全/备份原因，将其输出到单独的目录。