文本和字节序列

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

>>> s = 'café'
>>> len(s)
4                        # café' 字符串有 4 个 Unicode 字符
>>> b = s.encode('utf8') # 使用 UTF-8 把 str 对象编码成 bytes 对象
>>> b
b'caf\xc3\xa9' # bytes 字面量以 b 开头
>>> len(b)
5             # 字节序列 b 有 5 个字节
>>> b.decode('utf8') # ➎
'café'

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17

# python2 str 与 python3 bytes 对比
# python27
>>> a="中国"
>>> a
'\xe4\xb8\xad\xe5\x9b\xbd'
>>> type(a[1])  # 各个元素是单个的字符
str
>>> a[1] == a[1:2] # 切片和对应位置的元素相同

# python34
>>> b=b"中国"
>>> b
b'\xe4\xb8\xad\xe5\x9b\xbd'
>>> b[1] # 各个元素是介于 0~255（含）之间的整数
184
>>> b[1] == b[1:2]
False

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

>>> cafe = bytes('café',  encoding='utf_8') ➊
>>> cafe
b'caf\xc3\xa9'
>>> cafe[0]     # 各个元素是 range(256) 内的整数
99
>>> cafe[:1]    # 切片还是 bytes 对象
b'c'
>>> cafe_arr = bytearray(cafe)
>>> cafe_arr        # bytearray 对象没有字面量句法
bytearray(b'caf\xc3\xa9')
>>> cafe_arr[-1:]   # bytearray 对象的切片还是 bytearray 对象
bytearray(b'\xa9')

1
2

>>> bytes.fromhex('31 4B CE A9')
b'1K\xce\xa9'

1
2
3
4
5
6

>>> cafe = bytes('café',  encoding='utf_8')
>>> import array
>>> numbers = array.array('h',  [-2,  -1,  0,  1,  2])
>>> octets = bytes(numbers)  # 指定类型代码 h，创建一个短整数（ 16 位）数组
>>> octets
b'\xfe\xff\xff\xff\x00\x00\x01\x00\x02\x00' # 表示那 5 个短整数的 10 个字节

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

# 通过改变数组中的一个字节来更新数组里某个元素的值 44 页
>>> numbers = array.array('h',  [-2,  -1,  0,  1,  2])
>>> memv = memoryview(numbers) ➊
>>> len(memv)
5
>>> memv[0] ➋
-2
>>> memv_oct = memv.cast('B') ➌
>>> memv_oct.tolist() ➍
[254,  255,  255,  255,  0,  0,  1,  0,  2,  0]
>>> memv_oct[5] = 4 ➎
>>> numbers
array('h',  [-2,  -1,  1024,  1,  2])

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

>>> import struct
# 结构体的格式:  < 是小字节序， 3s3s 是两个 3 字节序列， HH 是两个 16 位二进制整数
>>> fmt = '<3s3sHH'
>>> with open('filter.gif',  'rb') as fp:
... img = memoryview(fp.read()) # 创建一个 memoryview 对象
...
>>> header = img[:10] # 使用它的切片再创建一个 memoryview 对象; 这里不会复制字节序列
>>> bytes(header) # 转换成字节序列，这只是为了显示
b'GIF89a+\x02\xe6\x00'
>>> struct.unpack(fmt,  header)
(b'GIF',  b'89a',  555,  230) # 拆包 memoryview 对象，得到一个元组，包含类型、版本、宽度和高度
>>> del header # ➏
>>> del img

1
2
3

SyntaxError: Non-UTF-8 code starting with '\xe1' in file ola.py on line
1,  but no encoding declared; see http://python.org/dev/peps/pep-0263/
for details

1
2

$ chardetect 04-text-byte.asciidoc
04-text-byte.asciidoc: utf-8 with confidence 0.99

1
2
3

>>> u16 = 'El Niño'.encode('utf_16')
>>> u16
b'\xff\xfeE\x00l\x00 \x00N\x00i\x00\xf1\x00o\x00'

1
2
3
4
5
6

>>> import pyuca
>>> coll = pyuca.Collator()
>>> fruits = ['caju',  'atemoia',  'cajá',  'açaí',  'acerola']
>>> sorted_fruits = sorted(fruits,  key=coll.sort_key)
>>> sorted_fruits
['açaí',  'acerola',  'atemoia',  'cajá',  'caju']

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15

import unicodedata
import re

re_digit = re.compile(r'\d')
sample = '1\xbc\xb2\u0969\u136b\u216b\u2466\u2480\u3285'

for char in sample:
    print('U+%04x' % ord(char),
          char.center(6),
          're_dig' if re_digit.match(char) else '-',
          'isdig' if char.isdigit() else '-',
          'isnum' if char.isnumeric() else '-',
          format(unicodedata.numeric(char),  '5.2f'),
          unicodedata.name(char),
          sep='\t')

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18

import re

re_numbers_str = re.compile(r'\d+')  # 前两个正则表达式是字符串类型
re_words_str = re.compile(r'\w+')
re_numbers_bytes = re.compile(rb'\d+') # 后两个正则表达式是字节序列类型
re_words_bytes = re.compile(rb'\w+')

text_str = ("Ramanujan saw \u0be7\u0bed\u0be8\u0bef" ➌
" as 1729 = 1³ + 12³ = 9³ + 10³.") ➍
text_bytes = text_str.encode('utf_8') # 字节序列只能用字节序列正则表达式搜索。

print('Text',  repr(text_str),  sep='\n ')
print('Numbers')
print(' str :',  re_numbers_str.findall(text_str)) ➏
print(' bytes:',  re_numbers_bytes.findall(text_bytes)) ➐
print('Words')
print(' str :',  re_words_str.findall(text_str)) ➑
print(' bytes:',  re_words_bytes.findall(text_bytes))

1
2
3
4

>>> os.listdir('.') # ➊
['abc.txt',  'digits-of-π.txt']
>>> os.listdir(b'.') # 参数是字节序列， listdir 函数返回的文件名也是字节序列
[b'abc.txt',  b'digits-of-\xcf\x80.txt']

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

>>> os.listdir('.')
['abc.txt',  'digits-of-π.txt']
>>> os.listdir(b'.')   # 假设我们不知道编码，获取文件名的字节序列形式。
[b'abc.txt',  b'digits-of-\xcf\x80.txt']
>>> pi_name_bytes = os.listdir(b'.')[1]
# 使用 'ascii' 编解码器和 'surrogateescape' 错误处理方式把它解码成字符串
>>> pi_name_str = pi_name_bytes.decode('ascii',  'surrogateescape')
>>> pi_name_str # 非 ASCII 字节替换成代替码位:  '\xcf\x80' 变成了 '\udccf\udc80'
'digits-of-\udccf\udc80.txt'
>>> pi_name_str.encode('ascii',  'surrogateescape') ➏
b'digits-of-\xcf\x80.txt' # 编码成 ASCII 字节序列: 各个代替码位还原成被替换的字节