如何在Python中创建GSM-7编码？

GSM-7字符集被定义为基本映射表+扩展字符映射表（https://en.wikipedia.org/wiki/GSM_03.38#GSM_7-bit_default_alphabet_and_extension_table_of_3GPP_TS_23.038_.2F_GSM_03.38）。含义u'@'应映射到b'\x00'（长度为1的字节串），但u'['应映射到b'\x1b<'或b'\x1b\x3c'（长度为2的字节串）。如何在Python中创建GSM-7编码？

我已经设法通过扩展encoding_table来使编码部分工作，但我不知道该怎么做与decoding_table ..？

下面是完整的编解码器的样板：

import codecs 
from encodings import normalize_encoding 

class GSM7Codec(codecs.Codec): 
    def encode(self, input, errors='strict'): 
     return codecs.charmap_encode(input, errors, encoding_table) 

    def decode(self, input, errors='strict'): 
     return codecs.charmap_decode(input, errors, decoding_table) 

class GSM7IncrementalEncoder(codecs.IncrementalEncoder): 
    def encode(self, input, final=False): 
     return codecs.charmap_encode(input, self.errors, encoding_table)[0] 

class GSM7IncrementalDecoder(codecs.IncrementalDecoder): 
    def decode(self, input, final=False): 
     return codecs.charmap_decode(input, self.errors, decoding_table)[0] 

class GSM7StreamWriter(codecs.Codec, codecs.StreamWriter): pass 
class GSM7StreamReader(codecs.Codec, codecs.StreamReader): pass 

_cache = {} 

def search_function(encoding): 
    """Register the gsm-7 encoding with Python's codecs API. This involves 
     adding a search function that takes in an encoding name, and returns 
     a codec for that encoding if it knows one, or None if it doesn't. 
    """ 
    if encoding in _cache: 
     return _cache[encoding] 
    norm_encoding = normalize_encoding(encoding) 
    if norm_encoding in ('gsm_7', 'g7', 'gsm7'): 
     cinfo = codecs.CodecInfo(
      name='gsm-7', 
      encode=GSM7Codec().encode, 
      decode=GSM7Codec().decode, 
      incrementalencoder=GSM7IncrementalEncoder, 
      incrementaldecoder=GSM7IncrementalDecoder, 
      streamreader=GSM7StreamReader, 
      streamwriter=GSM7StreamWriter, 
     ) 
     _cache[norm_encoding] = cinfo 
     return cinfo 
    return None 

codecs.register(search_function)

，这里是表的定义：

decoding_table = (
    u"@£$¥èéùìòÇ\nØø\rÅå" + 
    u"Δ_ΦΓΛΩΠΨΣΘΞ\x1bÆæßÉ" + 
    u" !\"#¤%&'()*+,-./" + 
    u":;<=>?" + 
    u"¡ABCDEFGHIJKLMNO" + 
    u"PQRSTUVWXYZÄÖÑÜ§" + 
    u"¿abcdefghijklmno" + 
    u"pqrstuvwxyzäöñüà" 
) 

encoding_table = codecs.charmap_build(
    decoding_table + '\0' * (256 - len(decoding_table)) 
) 

# extending the encoding table with extension characters 
encoding_table[ord(u'|')] = '\x1b\x40' 
encoding_table[ord(u'^')] = '\x1b\x14' 
encoding_table[ord(u'€')] = '\x1b\x65' 
encoding_table[ord(u'{')] = '\x1b\x28' 
encoding_table[ord(u'}')] = '\x1b\x29' 
encoding_table[ord(u'[')] = '\x1b\x3C' 
encoding_table[ord(u'~')] = '\x1b\x3D' 
encoding_table[ord(u']')] = '\x1b\x3E' 
encoding_table[ord(u'\\')] = '\x1b\x2F'

编码部分现在的作品，但解码并不：

>>> u'['.encode('g7') 
'\x1b<' 
>>> _.decode('g7') 
u'\x1b<' 
>>>

我一直无法找到有关编写编码的文档的好资源。

来源

2016-06-12 thebjorn

工作，你不能用一个表来这里做解码。你必须创建你自己的函数来在这里进行解码（逐个字符地处理以找到多字节序列）。 –

感谢@MartijnPieters我根据您的评论创建了一个答案。 – thebjorn

基于@Martijn Pieters的评论，我已经改变了代码：

def decode_gsm7(txt, errors): 
    ext_table = { 
     '\x40': u'|', 
     '\x14': u'^', 
     '\x65': u'€', 
     '\x28': u'{', 
     '\x29': u'}', 
     '\x3C': u'[', 
     '\x3D': u'~', 
     '\x3E': u']', 
     '\x2F': u'\\', 
    } 
    chunks = filter(None, txt.split('\x1b')) # split on ESC 
    res = u'' 
    for chunk in chunks: 
     res += ext_table[chunk[0]] # first character after ESC 
     if len(chunk) > 1: 
      # charmap_decode returns a tuple.. 
      decoded, _ = codecs.charmap_decode(chunk[1:], errors, decoding_table) 
      res += decoded 
    return res, len(txt) 


class GSM7Codec(codecs.Codec): 

    def encode(self, txt, errors='strict'): 
     return codecs.charmap_encode(txt, errors, encoding_table) 

    def decode(self, txt, errors='strict'): 
     return decode_gsm7(txt, errors)

这似乎:-)

来源

2016-06-12 15:06:04 thebjorn

如何在Python中创建GSM-7编码？

回答

相关问题