如何从UTF 8编码的csv中删除BOM（？）字符？

Question

我需要解析一个utf8编码的csv。转换后，我刚看到问题出现在BOM（）字符处。我无法使用utf8编码创建避免BOM的csv，因为即使它是utf8编码，也需要解析它。

中的任何一个，请告诉我，我怎样才能从CSV使用C＃.NET删除BOM（）字符..

更新：我已经加入我的代码读取因为即时通讯的CSV头在文件的开头获取BOM。

string CSVConnectionString = "Driver={Microsoft Text Driver (*.txt; *.csv)};Dbq=" + ConfigurationSettings.AppSettings["CSVFolder"].ToString() + ";Extensions=asc,csv,tab,txt;Persist Security Info=False;"; 

     using (OdbcConnection Connection = new OdbcConnection(CSVConnectionString)) 
     { 
      List<string> CSVHeaders = new List<string>(); 

      string SelectQuery = string.Format(@"SELECT TOP 1 * FROM [{0}]", CSVFileName); 

      OdbcCommand Command = new OdbcCommand(SelectQuery, Connection); 

      Connection.Open(); 

      OdbcDataReader Reader = Command.ExecuteReader(System.Data.CommandBehavior.CloseConnection); 

      int ColumnCount = Reader.FieldCount; 

      for (int column = 0; column < ColumnCount; column++) 
      { 
       CSVHeaders.Add(Reader.GetName(column)); 
      } 

      return CSVHeaders; 
     } 

Answer 1

这里是做了这样的功能：

public static void SaveAsUTF8WithoutByteOrderMark(string fileName) 
    { 
     SaveAsUTF8WithoutByteOrderMark(fileName, null); 
    } 

    public static void SaveAsUTF8WithoutByteOrderMark(string fileName, Encoding encoding) 
    { 
     if (fileName == null) 
      throw new ArgumentNullException("fileName"); 

     if (encoding == null) 
     { 
      encoding = Encoding.Default; 
     } 

     File.WriteAllText(fileName, File.ReadAllText(fileName, encoding), new UTF8Encoding(false)); 
    } 

Answer 2

实际上，C＃可以读取包含BOM的UTF-8编码文件。这是您使用的破损的CSV文本驱动程序，实际上是导致问题的原因。我建议使用this answer的其他CSV阅读解决方案之一。

Answer 3

而是改变马（使用其他.csv驱动程序）或通过拉自己的车（更改编码）有助于给定的马，你应该告诉马（标准的ODBC文本驱动程序），它需要通过增加一个schema.ini文件就知道做工作：

[withbomgood.txt] 
Format=TabDelimited 
ColNameHeader=True 
CharacterSet=65001 
Col1=FrsColümn CHAR 

定义withbomgood.txt的格式：

FrsColümn 
whätever 

这是withbombad.txt的精确副本;这两个文件有一个BOM：

FrsColümn 
whätever 

如果你现在打电话稍微修改副本

static void Harun00(string CSVFileName) 
{ 
    string CSVFilePath = @"E:\trials\SoTrials\answers\6260911\data"; 
    string CSVConnectionString = 
     "Driver={Microsoft Text Driver (*.txt; *.csv)};Dbq=" + 
     CSVFilePath + 
     ";Extensions=asc,csv,tab,txt;Persist Security Info=False;"; 

    using (OdbcConnection Connection = new OdbcConnection(CSVConnectionString)) 
    { 
     List<string> CSVHeaders = new List<string>(); 

     string SelectQuery = string.Format(@"SELECT TOP 1 * FROM [{0}]", CSVFileName); 

     OdbcCommand Command = new OdbcCommand(SelectQuery, Connection); 

     Connection.Open(); 

     OdbcDataReader Reader = Command.ExecuteReader(System.Data.CommandBehavior.CloseConnection); 

     int ColumnCount = Reader.FieldCount; 

     for (int column = 0; column < ColumnCount; column++) 
     { 
      CSVHeaders.Add(Reader.GetName(column)); 
     } 

     Console.WriteLine(CSVHeaders[0]); 
    } 
} 

代码的

两次：

static void Main(string[] args) 
{ 
    Harun00("withbombad.txt"); 
    Harun00("withbomgood.txt"); 
} 

你：

FrsColümn 
FrsColümn 
Press any key to continue . . . 

证明司机会读取UT F8与BOM文件正确，如果遵循以下规则，则不需要任何其他ADO：在schema.ini文件中定义您的csv表。