使用pack/unpack打包/解包二进制数据

Wed, 14 Aug 2019 14:24:47 +0800

web开发中，通常使用的API接口协议都是基于HTTP(S)的文本协议，比如JSON或XML。这对于跨编程语言的通信已经没有问题了，但有时候会采用二进制的数据来通信，以便获得更高的性能，比如Apache Thrift、gRPC/Protocol Buffer。各个编程语言都有对应的pack/unpack函数，PHP可以使用pack/unpack函数对数据进行二进制编码/解码，它与Perl的pack函数比较类似。
PHP的pack函数至少需要两个参数，第一个参数为打包格式，第二个参数开始为打包的数据。每个格式化字符后面可以跟字节长度，对应打包一个数据；也可以用*自动匹配所有后面的数据，具体的格式化字符可以参考pack函数页面。来看下面的例子pack.php

<?php
declare(strict_types=1);

$data = array(
 array(
 'title' => 'C Programming',
 'author' => 'Nuha Ali',
 'subject' => 'C Programming Tutorial',
 'book_id' => 6495407
 ),
 array(
 'title' => 'Telecom Billing',
 'author' => 'Zara Ali',
 'subject' => 'Telecom Billing Tutorial',
 'book_id' => 6495700
 ),
 array(
 'title' => 'PHP Programinng',
 'author' => 'Channing Huang',
 'subject' => 'PHP Programing Tutorial',
 'book_id' => 6495701
 )
);
$fp = \fopen("example","wb");
foreach ($data as $row) {
 $bin = \pack('Z50Z50Z100i', ...\array_values($row));
 \fwrite($fp, $bin);
}
\fclose($fp);

这里有个books数组，每个book包含4个数据：title、author、subject、bookid，对应的格式化是Z50、Z50、Z100、i。Z50意思是打包成50的字节的二进制数据，剩余部分使用NULL填充，这个跟使用a50是类似的，如果要用空格填充则格式化字符应该是A50。Z100类似Z50，不过字节长度为100。i的意思是打包成有符号的整型对应C里面的signed integer，占4个字节。所以每个book应该占50+50+100+4=204字节，3个book总占用612字节。查看一下

[vagrant@localhost bin]$ ls -la | grep example
-rw-r--r--. 1 vagrant vagrant 612 Aug 14 02:22 example

使用xxd查看它的二进制内容，确定是使用NULL填充不足部分

[vagrant@localhost bin]$ xxd -b example 
0000000: 01000011 00100000 01010000 01110010 01101111 01100111 C Prog
0000006: 01110010 01100001 01101101 01101101 01101001 01101110 rammin
000000c: 01100111 00000000 00000000 00000000 00000000 00000000 g.....
0000012: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000018: 00000000 00000000 00000000 00000000 00000000 00000000 ......
000001e: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000024: 00000000 00000000 00000000 00000000 00000000 00000000 ......
000002a: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000030: 00000000 00000000 01001110 01110101 01101000 01100001 ..Nuha
0000036: 00100000 01000001 01101100 01101001 00000000 00000000 Ali..
000003c: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000042: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000048: 00000000 00000000 00000000 00000000 00000000 00000000 ......
000004e: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000054: 00000000 00000000 00000000 00000000 00000000 00000000 ......
000005a: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000060: 00000000 00000000 00000000 00000000 01000011 00100000 ....C 
0000066: 01010000 01110010 01101111 01100111 01110010 01100001 Progra
000006c: 01101101 01101101 01101001 01101110 01100111 00100000 mming 
0000072: 01010100 01110101 01110100 01101111 01110010 01101001 Tutori
0000078: 01100001 01101100 00000000 00000000 00000000 00000000 al....
000007e: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000084: 00000000 00000000 00000000 00000000 00000000 00000000 ......
000008a: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000090: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000096: 00000000 00000000 00000000 00000000 00000000 00000000 ......
000009c: 00000000 00000000 00000000 00000000 00000000 00000000 ......
00000a2: 00000000 00000000 00000000 00000000 00000000 00000000 ......
00000a8: 00000000 00000000 00000000 00000000 00000000 00000000 ......
00000ae: 00000000 00000000 00000000 00000000 00000000 00000000 ......
00000b4: 00000000 00000000 00000000 00000000 00000000 00000000 ......
00000ba: 00000000 00000000 00000000 00000000 00000000 00000000 ......
00000c0: 00000000 00000000 00000000 00000000 00000000 00000000 ......
00000c6: 00000000 00000000 10101111 00011100 01100011 00000000 ....c.
00000cc: 01010100 01100101 01101100 01100101 01100011 01101111 Teleco
00000d2: 01101101 00100000 01000010 01101001 01101100 01101100 m Bill
00000d8: 01101001 01101110 01100111 00000000 00000000 00000000 ing...
00000de: 00000000 00000000 00000000 00000000 00000000 00000000 ......
00000e4: 00000000 00000000 00000000 00000000 00000000 00000000 ......
00000ea: 00000000 00000000 00000000 00000000 00000000 00000000 ......
00000f0: 00000000 00000000 00000000 00000000 00000000 00000000 ......
00000f6: 00000000 00000000 00000000 00000000 00000000 00000000 ......
00000fc: 00000000 00000000 01011010 01100001 01110010 01100001 ..Zara
0000102: 00100000 01000001 01101100 01101001 00000000 00000000 Ali..
0000108: 00000000 00000000 00000000 00000000 00000000 00000000 ......
000010e: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000114: 00000000 00000000 00000000 00000000 00000000 00000000 ......
000011a: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000120: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000126: 00000000 00000000 00000000 00000000 00000000 00000000 ......
000012c: 00000000 00000000 00000000 00000000 01010100 01100101 ....Te
0000132: 01101100 01100101 01100011 01101111 01101101 00100000 lecom 
0000138: 01000010 01101001 01101100 01101100 01101001 01101110 Billin
000013e: 01100111 00100000 01010100 01110101 01110100 01101111 g Tuto
0000144: 01110010 01101001 01100001 01101100 00000000 00000000 rial..
000014a: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000150: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000156: 00000000 00000000 00000000 00000000 00000000 00000000 ......
000015c: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000162: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000168: 00000000 00000000 00000000 00000000 00000000 00000000 ......
000016e: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000174: 00000000 00000000 00000000 00000000 00000000 00000000 ......
000017a: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000180: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000186: 00000000 00000000 00000000 00000000 00000000 00000000 ......
000018c: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000192: 00000000 00000000 11010100 00011101 01100011 00000000 ....c.
0000198: 01010000 01001000 01010000 00100000 01010000 01110010 PHP Pr
000019e: 01101111 01100111 01110010 01100001 01101101 01101001 ogrami
00001a4: 01101110 01101110 01100111 00000000 00000000 00000000 nng...
00001aa: 00000000 00000000 00000000 00000000 00000000 00000000 ......
00001b0: 00000000 00000000 00000000 00000000 00000000 00000000 ......
00001b6: 00000000 00000000 00000000 00000000 00000000 00000000 ......
00001bc: 00000000 00000000 00000000 00000000 00000000 00000000 ......
00001c2: 00000000 00000000 00000000 00000000 00000000 00000000 ......
00001c8: 00000000 00000000 01000011 01101000 01100001 01101110 ..Chan
00001ce: 01101110 01101001 01101110 01100111 00100000 01001000 ning H
00001d4: 01110101 01100001 01101110 01100111 00000000 00000000 uang..
00001da: 00000000 00000000 00000000 00000000 00000000 00000000 ......
00001e0: 00000000 00000000 00000000 00000000 00000000 00000000 ......
00001e6: 00000000 00000000 00000000 00000000 00000000 00000000 ......
00001ec: 00000000 00000000 00000000 00000000 00000000 00000000 ......
00001f2: 00000000 00000000 00000000 00000000 00000000 00000000 ......
00001f8: 00000000 00000000 00000000 00000000 01010000 01001000 ....PH
00001fe: 01010000 00100000 01010000 01110010 01101111 01100111 P Prog
0000204: 01110010 01100001 01101101 01101001 01101110 01100111 raming
000020a: 00100000 01010100 01110101 01110100 01101111 01110010 Tutor
0000210: 01101001 01100001 01101100 00000000 00000000 00000000 ial...
0000216: 00000000 00000000 00000000 00000000 00000000 00000000 ......
000021c: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000222: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000228: 00000000 00000000 00000000 00000000 00000000 00000000 ......
000022e: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000234: 00000000 00000000 00000000 00000000 00000000 00000000 ......
000023a: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000240: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000246: 00000000 00000000 00000000 00000000 00000000 00000000 ......
000024c: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000252: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000258: 00000000 00000000 00000000 00000000 00000000 00000000 ......
000025e: 00000000 00000000 11010101 00011101 01100011 00000000 ....c.

PHP的unpack函数有三个参数，第一个为解包的格式化字符，第二个为打包过的数据，第三个为起始偏移量。解包后返回一个关联数组，可以在解包的格式化字符串后面跟对应的key。

<?php
declare(strict_types=1);

$fp = \fopen("example","rb");
while (!\feof($fp)) {
 $data = \fread($fp,204);
 if($data) {
 $arr = \unpack("Z50title/Z50author/Z100subject/ibook_id",$data);
 foreach ($arr as $key => $value) {
 echo $key. "->" . $value.PHP_EOL;
 }
 echo PHP_EOL;
 }
}
\fclose($fp);

这样就可以读取对应的二进制文件，并正确解析出来。
不同的编程语言都可以对二进制文件进行读写。比如C语言里面打包上面的数据

#include<stdio.h>
#include<stdlib.h>

struct book {
 char title[50];
 char author[50];
 char subject[100];
 int id;
};
 
 int main()
 {
 FILE *fp;
 struct book books[3] = {
 {"C Programming", "Nuha Ali", "C Programming Tutorial", 6495407},
 {"Telecom Billing", "Zara Ali", "Telecom Billing Tutorial", 6495700},
 {"PHP Programinng", "Channing Huang", "PHP Programing Tutorial", 6495701}
 };
 fp = fopen("newbook", "wb");
 
 if(fp == NULL)
 {
 printf("Error opening file\n");
 exit(1);
 }
 printf("sizeof books %10lu\n", sizeof(books));
 printf("sizeof book struct %10lu\n", sizeof(struct book));
 printf("sizeof book1 title %10lu\n", sizeof(books[0].title));
 printf("sizeof book1 author %10lu\n", sizeof(books[0].author));
 printf("sizeof book1 subject %10lu\n", sizeof(books[0].subject));
 printf("sizeof book1 id %10lu\n", sizeof(books[0].id));
 fwrite(books, sizeof(books), 1, fp);
 fclose(fp);
 return 0;
 }

编译运行一下

[vagrant@localhost bin]$ gcc -o pack pack.c
[vagrant@localhost bin]$ ./pack
sizeof books 612
sizeof book struct 204
sizeof book1 title 50
sizeof book1 author 50
sizeof book1 subject 100
sizeof book1 id 4
[vagrant@localhost bin]$ ls -lah | grep newbook
-rw-r--r--. 1 vagrant vagrant 612 Aug 14 02:50 newbook

可以看到生成的文件大小与上面的一样，使用xxd查看的内容也跟上面的一样，并且可以使用unpak.php解析。类似的也可以用C来解析PHP打包的二进制数据

#include<stdio.h>
#include<stdlib.h>

struct book {
 char title[50];
 char author[50];
 char subject[100];
 int id;
};
 
 int main()
 {
 int i;
 FILE *fp;
 struct book Book;
 fp = fopen("example", "rb");
 
 if(fp == NULL)
 {
 printf("Error opening file\n");
 exit(1);
 }
 for (i=0;i<3; i++)
 {
 fread(&Book,sizeof(struct book),1,fp);
 printf( "Book title : %s\n", Book.title);
 printf( "Book author : %s\n", Book.author);
 printf( "Book subject : %s\n", Book.subject);
 printf( "Book book_id : %d\n", Book.id);
 }
 fclose(fp);
 return 0;
 }

编译运行一下

[vagrant@localhost bin]$ gcc -o unpack unpack.c
[vagrant@localhost bin]$ ./unpack
Book title : C Programming
Book author : Nuha Ali
Book subject : C Programming Tutorial
Book book_id : 6495407
Book title : Telecom Billing
Book author : Zara Ali
Book subject : Telecom Billing Tutorial
Book book_id : 6495700
Book title : PHP Programinng
Book author : Channing Huang
Book subject : PHP Programing Tutorial
Book book_id : 6495701

这里使用C的struct定义打包解包数据，这里面有两个问题：字节对齐和NULL填充。字节对齐会导致生成的二进制文件大小与结构体里面定义的不一样，比如将title改为40个字节，整个book预计占用194字节，实际占用196字节（4的倍数），编译器自动填充了2个字节到title后面。所以要注意数据结构体的设计，避免过多对齐浪费。C语言的字符串其实是字符数组加上NUL结束符（\0）,像上面那样初始化字符串是编译器默认填充的是NUL，但如果声明时没有初始化而是在后面赋值，比如strcpy，则可能在NUL后面填充非NUL值，导致在PHP解析出这些不必要的字符，显示不准确，这也是为什么在PHP里面解析时我们使用Z而不是A解析符的原因，它在碰到NUL便返回，不管后面填充的内容了。可以使用memset手动填充不足部分为’\0’，这样子就可以保证剩余部分全为NULL了。
对于unsigned short，unsigned long，float，double还有大端序、小端序，字节顺序可以参考这里。通常网络设备传输的字节序为大端序，而大部分CPU（x86）处理的字节序为小端序。这里只要通信双方沟通统一使用大端序或小端序即可，不需要关心传输过程中的自动转换。比如在PHP里面发送一个数字（4字节）和8个字符（8字节）

<?php
declare(strict_types=1);

$host = "127.0.0.1";
$port = 9872;

$socket = \socket_create(AF_INET, SOCK_STREAM, SOL_TCP)
 or die("Unable to create socket\n");

@\socket_connect($socket, $host, $port) or die("Connect error.\n");

if ($err = \socket_last_error($socket))
{

 \socket_close($socket);
 die(\socket_strerror($err) . "\n");
}

$binarydata = \pack("Na8", "256", "Channing");
echo \bin2hex($binarydata).PHP_EOL;
$len = \socket_write ($socket , $binarydata, strlen($binarydata));
\socket_close($socket);

PHP里面数字的格式化字符是N，即采用大端序32位编码。在GO里面接收，使用大端序解析位数字

package main

import (
	"fmt"
	"net"
	"encoding/binary"
)

const BUF_SIZE = 12

func handleConnection(conn net.Conn) {
	defer conn.Close()
	buf := make([]byte, BUF_SIZE)
	n, err := conn.Read(buf)

	if err != nil {
		fmt.Printf("err: %v\n", err)
		return
	}

	//fmt.Printf("\nreceive：%d bytes，data：%x, %s\n", n, buf[:4], buf[4:])
	fmt.Printf("\nreceive：%d bytes，data：%d, %s\n", n, binary.BigEndian.Uint32(buf[:4]), buf[4:])
}

func main() {
	ln, err := net.Listen("tcp", ":9872")

	if err != nil {
		fmt.Printf("error: %v\n", err)
		return
	}

	for {
		conn, err := ln.Accept()
		if err != nil {
			continue
		}
		go handleConnection(conn)
	}
}

运行recieve.go 和 send.php，可以正常收发

[root@localhost bin]$ php send.php
000001004368616e6e696e67


[root@localhost bin]$ go run receive.go 

receive：12 bytes，data：256, Channing

如果在PHP里面使用了不匹配的格式化符号，比如i或者n，GO里面将解析错误。这里也可以采用小端序编码和解析。
pack后的二进制数据可以使用bin2hex转换为16进制查看，使用chr转换单个字节为可读性字符。
通常我们读写的是文本文件，这里读写的是二进制文件，文本文件到二进制文件有个编码过程，比如ASCII、UTF-8。其实文本文件，图片文件，都是二进制文件，都可以使用xxd查看，只不过特定软件能够解析（解码）对应的二进制字节数据。使用xxd查看时，它只能现显示ASCII可打印字符，不能显示的用点号表示。

参考链接：
Apache Thrift – 可伸缩的跨语言服务开发框架
 Google Protocol Buffer 的使用和原理
 高效的数据压缩编码方式 Protobuf
PHP: 深入pack/unpack
C Programming Files I/O
Unpacking binary data in PHP
大端和小端（Big endian and Little endian）
PHP RPC开发之Thrift

字节序 on 勇气

使用pack/unpack打包/解包二进制数据