勇气

mTLS 认证

Wed, 12 Apr 2023 21:18:30 +0800

有时候虽然我们部署一个服务到了公网，但只想提供给部分用户而不想其他人（黑客/robot）使用，比如webhook或者跨机房的服务调用。虽然我们可以使用密码/token保护这些服务，但是程序可以被直接扫描到，仍然存在被攻击的风险。而如果把这些服务放在某个认证服务器后面，又存在二次登陆的问题。如何标识目标用户又不影响请求过程？答案是mTLS认证。
TLS认证是当前WEB通信的基石，没有加密的通信无异于裸奔：任何中间人都可以查看/串改通信内容。mTLS认证，亦即双向TLS认证，不但客户端校验服务器证书，服务器亦校验客户端证书，这意味着如果客户端证书不在服务器的信任列表里面，那么客户端也访问不了服务。请求认证过程如下

mTLS可以用来保护私有服务，加强通信过程，减少服务器攻击。由于客户端也需要提供证书，证书里面可以携带用户或者设备信息，可以识别仅授信用户，才授权访问。由于服务器需要校验客户端信息，所以未提供有效证书用户不能访问，就算盗取了用户的密码/token也不可以。因为双方都互相校验证书，所以也可以抵抗中间人攻击。这样子我们便可以公开服务，但又限制某些用户使用了。
mTLS认证有别于应用程序认证。mTLS仅涉及证书校验，在网关出就可以进行，不需要涉及应用程序逻辑/数据库。mTLS也不依赖于请求头/请求体里面的内容，所以不会影响已有程序。
mTLS认证限制某些用户/设备访问，也有别于传统VPN网络。VPN总是要求服务端/客户端先建立连接，才能在同一内网内访问。一旦连接建立，便可以访问所有服务。而采用mTLS认证，则每一个服务都可以使用不同的客户端证书，限制不同的用户访问。零信任（ZeroTrust）亦建立在mTLS之上，即对每个请求都做双向认证。
mTLS并不是什么新鲜事物，许多互联网软件都支持，比如浏览器、SSH，SSH采用私钥登陆的过程，即双向认证：客户端先将自己的公钥上传至服务器，建立连接时，客户端询问是否信任服务器，服务器亦校验客户端。Git使用SSH key登陆也是类似双向认证。开发者调用Google云服务，除了app认证信息，也是需要双向认证的。有些互联网公司也采用双向认证来保护自己的应用，比如支付功能，甚至是所有页面-只允许自己的APP查看，其他免谈。
Nginx早已支持mTLS认证，除了服务器本身的证书，还需要配置客户端证书或其签发root CA证书。关于服务器证书获取之前已介绍基于DNS自动获取证书了，同样的方法也可以用来生成客户端证书，比如基于用户id来生成不同域名username.id.example.com的证书给客户端使用。这里介绍另外一种基于LEGO ACME在本地生成客户端证书的方法。
首先安装lego程序，如果有golang环境直接就好了，或者下载对应平台的程序。

$ go install github.com/go-acme/lego/v4/cmd/lego@latest

然后就可以基于DNS厂商来生成证书，这里以腾讯云DNS，注意它的APP Key是不同于DNSPod的。如果网络不加，建议延长TIMEOUT时间。这里一并生成浏览器/系统可用的PKCS12文件(.pfx)

$ TENCENTCLOUD_SECRET_ID=*** TENCENTCLOUD_PROPAGATION_TIMEOUT=120 TENCENTCLOUD_POLLING_INTERVAL=5 \ 
TENCENTCLOUD_SECRET_KEY=***\
lego --email username@exmaple.com --pem --pfx --pfx.pass *** --cert.timeout 120 --dns tencentcloud --domains user1.idt.exmaple.com run

2023/04/08 11:42:46 [INFO] [user1.idt.exmaple.com] acme: Obtaining bundled SAN certificate
2023/04/08 11:42:47 [INFO] [user1.idt.exmaple.com] AuthURL: https://acme-v02.api.letsencrypt.org/acme/authz-v3/217627103547
2023/04/08 11:42:47 [INFO] [user1.idt.exmaple.com] acme: Could not find solver for: tls-alpn-01
2023/04/08 11:42:47 [INFO] [user1.idt.exmaple.com] acme: Could not find solver for: http-01
2023/04/08 11:42:47 [INFO] [user1.idt.exmaple.com] acme: use dns-01 solver
2023/04/08 11:42:47 [INFO] [user1.idt.exmaple.com] acme: Preparing to solve DNS-01
2023/04/08 11:42:50 [INFO] [user1.idt.exmaple.com] acme: Trying to solve DNS-01
2023/04/08 11:42:50 [INFO] [user1.idt.exmaple.com] acme: Checking DNS record propagation using [127.0.0.53:53]
2023/04/08 11:42:55 [INFO] Wait for propagation [timeout: 2m0s, interval: 5s]
2023/04/08 11:42:55 [INFO] [user1.idt.exmaple.com] acme: Waiting for DNS record propagation.
2023/04/08 11:43:01 [INFO] [user1.idt.exmaple.com] acme: Waiting for DNS record propagation.
2023/04/08 11:43:06 [INFO] [user1.idt.exmaple.com] acme: Waiting for DNS record propagation.
2023/04/08 11:43:11 [INFO] [user1.idt.exmaple.com] acme: Waiting for DNS record propagation.
2023/04/08 11:43:17 [INFO] [user1.idt.exmaple.com] acme: Waiting for DNS record propagation.
2023/04/08 11:43:22 [INFO] [user1.idt.exmaple.com] acme: Waiting for DNS record propagation.
2023/04/08 11:43:35 [INFO] [user1.idt.exmaple.com] The server validated our request
2023/04/08 11:43:35 [INFO] [user1.idt.exmaple.com] acme: Cleaning DNS-01 challenge
2023/04/08 11:43:37 [INFO] [user1.idt.exmaple.com] acme: Validations succeeded; requesting certificates
2023/04/08 11:43:39 [INFO] [user1.idt.exmaple.com] Server responded with a certificate.
$ ls -la .lego/certificates
total 40
drwx------ 2 channing channing 4096 4月 8 11:43 .
drwx------ 4 channing channing 4096 4月 8 10:58 ..
-rw------- 1 channing channing 5341 4月 8 11:43 user1.idt.exmaple.com.crt
-rw------- 1 channing channing 3751 4月 8 11:43 user1.idt.exmaple.com.issuer.crt
-rw------- 1 channing channing 244 4月 8 11:43 user1.idt.exmaple.com.json
-rw------- 1 channing channing 227 4月 8 11:43 user1.idt.exmaple.com.key
-rw------- 1 channing channing 5568 4月 8 11:43 user1.idt.exmaple.com.pem
-rw------- 1 channing channing 2992 4月 8 11:43 user1.idt.exmaple.com.pfx

由于这个证书的CA是Let’s Encrypt的，而Let’s Encrypt本身的证书又是Internet Security Research Group签发。而当Nginx配置ssl_client_certificate CA证书时只能是Root CA，也就是ISRG的证书，而不是中间厂商的证书，也就是不能用Let’s Encrypt的CA证书。ISRG的证书可以从浏览器导出或者网上下载，然后保存到服务器上

$ mv isrg_root.crt /etc/nginx/certs/
$ chomd 400 etc/nginx/certs/isrg_root.crt

Nginx配置如下，可以将日志级别设置为debug,调试/观察认证

$ vim /etc/nginx/conf.d/site-available/100-mtls.example.com
server {
 listen 80;
 server_name mtls.example.com;
 return 301 https://$host$request_uri;
}

server {

 listen 443 ssl;
 server_name mtls.example.com;

 ssl_certificate /etc/letsencrypt/live/example.com/fullchain.pem;
 ssl_certificate_key /etc/letsencrypt/live/example.com/privkey.pem;
 ssl_client_certificate /etc/nginx/conf.d/certs/isrg_root.crt;
 ssl_verify_client on;
 ssl_verify_depth 2;

 ssl_session_cache builtin:1000 shared:SSL:10m;
 ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
 ssl_ciphers HIGH:!aNULL:!eNULL:!EXPORT:!CAMELLIA:!DES:!MD5:!PSK:!RC4;
 ssl_prefer_server_ciphers on;
# error_log /var/log/nginx/error.log debug;
 location / {
 root /var/www/mtls.example.com/html;
 index index.html index.htm;
 }
 error_page 500 502 503 504 /50x.html;
 location = /50x.html {
 root /usr/share/nginx/html;
 }
}

使用curl测试一下，提示需要客户端证书

curl https://mtls.example.com
<html>
 <head>
 <title>400 No required SSL certificate was sent</title>
 </head>

 <body bgcolor="white">
 <center>
 <h1>400 Bad Request</h1>
 </center>
 <center>No required SSL certificate was sent</center>
 <hr>
 <center>nginx/1.14.0</center>
 </body>
</html>

当带上证书的时候就可以了

curl --cert user1.idt.exmaple.com.crt --key user1.idt.exmaple.com.key https://mtls.example.com
<html>
<head>
<title>Welcome to mtls.example.com!</title>
</head>
<body>
<h1>Success! The mtls server is working!</h1>
</body>
</html>

使用浏览器访问目标网站需要安装.pfx文件，否则也会报错，禁止访问。通常Windows/Mac双击.pfx文件即可自动安，也可以通过浏览器配置来安装。使用Chrome需要在从菜单设置->隐私设置和安全性->安全->管理设备证书->个人->导入。使用Firefox则是从从菜单设置->隐私与安全->安全->查看证书->您的证书->导入。iOS和Android可以通过邮件的方式将.pfx文件传输到手机上，点击.pfx文件按照系统提示安装即可。最后使用浏览器打开https://mtls.example.com，会提示使用刚才配置好的证书，选择即可。
上面Nginx配置的是公共CA的根证书（isrg_root.crt），这意味着所有该CA签发的证书都将可以访问https://mtls.example.com，这有点太开放了。如果我们自己生成Root CA证书，便可以做进一步的控制。
首先生成Root CA证书

$ openssl genrsa -des3 -out ca.key 4096
Enter PEM pass phrase:
Verifying - Enter PEM pass phrase:
$ openssl req -new -x509 -days 3650 -key ca.key -out ca.crt39:06
Enter pass phrase for ca.key:
You are about to be asked to enter information that will be incorporated
into your certificate request.
What you are about to enter is what is called a Distinguished Name or a DN.
There are quite a few fields but you can leave some blank
For some fields there will be a default value,
If you enter '.', the field will be left blank.
-----
Country Name (2 letter code) [AU]:
State or Province Name (full name) [Some-State]:
Locality Name (eg, city) []:
Organization Name (eg, company) [Internet Widgits Pty Ltd]:
Organizational Unit Name (eg, section) []:
Common Name (e.g. server FQDN or YOUR name) []:
Email Address []:

$ cat ca.key > ca.pem 
$ cat ca.crt >> ca.pem
$ ls
ca.crt ca.key ca.pem

然后使用CA证书生成客户端

$ openssl genrsa -out user1.key
Enter PEM pass phrase:
$ openssl req -new -key user1.key -out user1.csr
You are about to be asked to enter information that will be incorporated
into your certificate request.
What you are about to enter is what is called a Distinguished Name or a DN.
There are quite a few fields but you can leave some blank
For some fields there will be a default value,
If you enter '.', the field will be left blank.
-----
Country Name (2 letter code) [AU]:
State or Province Name (full name) [Some-State]:
Locality Name (eg, city) []:
Organization Name (eg, company) [Internet Widgits Pty Ltd]:
Organizational Unit Name (eg, section) []:
Common Name (e.g. server FQDN or YOUR name) []:
Email Address []:

Please enter the following 'extra' attributes
to be sent with your certificate request
A challenge password []:
An optional company name []:
$ openssl x509 -req -days 365 -in user1.csr -CA ca.crt -CAkey ca.key -set_serial 01 -out user1.crt
Certificate request self-signature ok
Enter pass phrase for ca.key:
$ openssl pkcs12 -export -out user1.pfx -inkey user1.key -in user1.crt -certfile ca.crt
Enter Export Password:
Verifying - Enter Export Password:

然后将ca.crt上传至服务器/etc/nginx/certs/下面并配置ssl_client_certificate使用该证书即可。使用curl测试一下


curl --cert user1.crt --key user1.key https://mtls.example.com
<html>
<head>
<title>Welcome to mtls.example.com!</title>
</head>
<body>
<h1>Success! The mtls server is working!</h1>
</body>
</html>

同样可以成功访问。不过刚才生成的.pfx文件只有Firefox可以导入使用，其他系统/浏览器不可以，那么可以从Firefox中重新备份导出该文件，Chrome/其他系统就可以使用了。或者重新转换一下

openssl pkcs12 -in user1.pfx -out user1.pem -nodes #pfx证书转换为x.509格式的pem证书
openssl pkcs12 -in user1.pfx -nocerts -nodes -out user1.key #pfx证书中提取密钥对
openssl rsa -in user1.key -out user1_private.key #密钥对提取私钥
openssl pkcs12 -export -in user1.pem -inkey user1_private.key -out user1.pfx #使用x.509+私钥转换为win10可用的pfx证书

使用自定义CA可以有效控制证书的签发，也可以免CA直接签发客户端证书

$ openssl req -x509 -nodes -days 9999 -newkey rsa:2048 -keyout user2.key -out user2.crt
..+...+...
-----
You are about to be asked to enter information that will be incorporated
into your certificate request.
What you are about to enter is what is called a Distinguished Name or a DN.
There are quite a few fields but you can leave some blank
For some fields there will be a default value,
If you enter '.', the field will be left blank.
-----
Country Name (2 letter code) [AU]:
State or Province Name (full name) [Some-State]:
Locality Name (eg, city) []:
Organization Name (eg, company) [Internet Widgits Pty Ltd]:
Organizational Unit Name (eg, section) []:
Common Name (e.g. server FQDN or YOUR name) []:
Email Address []

无CA签名的证书，就直接将user2.crt上传至服务器/etc/nginx/certs/下面并配置ssl_client_certificate使用该证书即可。如果生成了多个，就合并成一个上传服务器就好了。使用curl测试一下，也是可以的

curl --cert user2.crt --key user2.key https://mtls.example.com
<html>
<head>
<title>Welcome to mtls.example.com!</title>
</head>
<body>
<h1>Success! The mtls server is working!</h1>
</body>
</html>

Nginx还支持将客户端证书及CA的DN传递给后端程序，再配合访问控制，便可以精细控制用户访问了。Nginx配置如下，注意这里ssl_verify_client是optional,认证失败不再返回400而是403

$ vim /etc/nginx/conf.d/site-available/100-mtls.example.com
server {
 listen 443 ssl;
 server_name mtls.example.com;

 ssl_certificate /etc/letsencrypt/live/example.comfullchain.pem;
 ssl_certificate_key /etc/letsencrypt/live/example.com/privkey.pem;
 ssl_client_certificate /etc/nginx/conf.d/certs/ca.crt;
 ssl_verify_client optional;
 ssl_verify_depth 2;

 ssl_session_cache builtin:1000 shared:SSL:10m;
 ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
 ssl_ciphers HIGH:!aNULL:!eNULL:!EXPORT:!CAMELLIA:!DES:!MD5:!PSK:!RC4;
 ssl_prefer_server_ciphers on;
# error_log /var/log/nginx/error.log debug;
 location / {
# if ($ssl_client_i_dn != "/C=EX/CN=Client/emailAddress=user1@example.com") {
# return 403;
# }
 if ($ssl_client_verify != SUCCESS) { return 403; }
 proxy_set_header SSL_Client_Issuer $ssl_client_i_dn;
 proxy_set_header SSL_Client $ssl_client_s_dn;
 proxy_set_header SSL_Client_Verify $ssl_client_verify;
 proxy_pass http://127.0.0.1:3000/;
 }
 error_page 500 502 503 504 /50x.html;
 location = /50x.html {
 root /usr/share/nginx/html;
 }
}
➜

NodeJS代码如下

const express = require('express');

const port = 3000;
const host = '127.0.0.1';
const options = { };

const app = express();

app.get('/', (req, res) => {
 res.status(200)
 .json(`Hello ${req.header("ssl_client")}, your certificate was issued by ${req.header("SSL_Client_Issuer")}!`);
});
app.listen(port, host, () => {
 console.log("listening");
})

使用curl测试一下便会输出客户端DN。

$ curl --cert user1.crt --key user1.key https://mtls.example.com/
"Hello emailAddress=user1@example,CN=exmaple,OU=server,C=exmaple, your certificate was issued by emailAddress=user1@example,CN=exmaple,OU=user1,C=exmaple!"

事实上不仅Nginx支持设置客户端认证，Kong网关，云原生应用传输traefik等也早已支持，编程语言层面更是支持开发mTLS应用了。

参考链接：
What is mutual TLS (mTLS)?
Mutual authentication
mTLS Golang Example
How to configure certification based client authentication with Nginx ?
How To Implement Two Way SSL With Nginx
mTLS with node
mTLS with NGINX and NodeJS
LEGO
Firefox导出PFX证书在Win10导入提示密码错误
 NGinx SSL certificate authentication signed by intermediate CA (chain)

Android平板安装Termux和LunarVim

Sun, 20 Nov 2022 22:03:18 +0800

这次趁着双11买了个小米平板5pro，才发现不过是大号手机而已，系统是基于Android 11的MIUI 13。除了WPS，bilibili、浏览器都不过兼容桌面模式而已，然而却又失去了移动设备的便利性：touch事件不能精确响应，于是卸掉重新安装的普通版。终于体会到了雪球不明真相群众的那句话：平板上的东西已经在手机上进化完了。想想这个平板除了刷视频、看书、画画，还能干点啥？看代码应该也有优势，毕竟分辨率还不错。Android上并没有什么好用的代码App，虽然可以安装Github查看代码，但还是看不了几行，也不如IDE来的方便。幸好还有Termux，极大的拓展了Android的可用性，增加了超过1万个cli应用，比如比应用市场上任何服务器连接App都好用的ssh，强大的编程开发工具LunarVim。
Termux是一个Android终端（terminal）模拟软件并提供Linux环境，可以安装许多Linux下常见软件，比如ssh、git、curl，和各种开发软件，比如nodejs、python、rust、golang等等。Termux既可以从GitHub上下载安装，也可以使用F-Droid安装。使用F-Droid的好处在于可以自动更新，和管理其他的扩展，比如Termux:Styling、Termux:API。安装完成后记得给予联网权限，如果安装了其他的扩展，记得在安全中心－联网管理中找到对应的扩展App也给予联网权限，否则Termux就上不了网。安装完成后打开Termux，这里注意Termux重置了目录，所有目录都是在data/data/com.termux/files/下面，并提供了两个快捷访问$HOME: data/data/com.termux/files/home和$PREFIX: /data/data/com.termux/files/usr。运行下面的命令设置一下存储和文件夹软链接，这样方便Termux与外部目录(比如Downloads）互相复制粘贴

termux-setup-storage

也可以更改一些配置，比如软键盘快捷键之类的

vim ~/.termux/termux.properties
#重新加载配置
termux-reload-settings
#更改使用的源仓库，默认使用多仓库，可以改为使用单一仓库，比如清华源
termux-change-repo

然后安装一些基础软件

pkg install openssh git curl wget vim bat croc

然后安装oh-my-zsh和自动补全插件，其他插件的安装与正常安装无差别

pkg install zsh
sh -c "$(curl -fsSL https://raw.githubusercontent.com/robbyrussell/oh-my-zsh/master/tools/install.sh)"

git clone https://github.com/zsh-users/zsh-autosuggestions ${ZSH_CUSTOM:-~/.oh-my-zsh/custom}/plugins/zsh-autosuggestions

然后编辑~/.zshrc，更改主题和插件

# See https://github.com/ohmyzsh/ohmyzsh/wiki/Themes
#ZSH_THEME="robbyrussell"
ZSH_THEME="agnoster"

# Which plugins would you like to load?
# Standard plugins can be found in $ZSH/plugins/
# Custom plugins may be added to $ZSH_CUSTOM/plugins/
# Example format: plugins=(rails git textmate ruby lighthouse)
# Add wisely, as too many plugins slow down shell startup.
plugins=(git zsh-autosuggestions)

如果zsh显示乱码的话，可以按住屏幕在弹出的more菜单里面更改nerd font字体，比如ubuntu。
现在可以开始安装LunarVim的依赖

pkg install neovim build-essential python vim-python nodejs rust fd ripgrep

安装完成完成后neovim, make，npm，pip，cargo也都安装好了。这时候就可以使用nvim来编辑了，可以参考:help nvim/:Tutor进行学习。这里顺便安装了pyhon vim的交互包，等下可以跳过python依赖的安装。还安装了两个rust写的神器：文件查找fd和文件内容搜索ripgrep，等下也可以跳过rust依赖安装。，
LunarVim是一个基于Neovim开发的IDE，打包了文件搜索、内容查找、代码补全，语法高亮等许多功能，这个可比简单vim强多了，更多功能、特点可以在官网视频学习。官方提供的安装脚本并不包含Termux的，我们下载下来看一下是否都已经安装好依赖、做一些改动

curl https://raw.githubusercontent.com/lunarvim/lunarvim/master/utils/installer/install.sh > install.sh

这里稍微改一下，匹配不到OS就使用pkg安装

function detect_platform() {
 case "$OS" in
 Linux)
 if [ -f "/etc/arch-release" ] || [ -f "/etc/artix-release" ]; then
 RECOMMEND_INSTALL="sudo pacman -S"
 elif [ -f "/etc/fedora-release" ] || [ -f "/etc/redhat-release" ]; then
 RECOMMEND_INSTALL="sudo dnf install -y"
 elif [ -f "/etc/gentoo-release" ]; then
 RECOMMEND_INSTALL="emerge -tv"
 else # it's termux
 RECOMMEND_INSTALL="pkg install -y"
 fi
 ;;

然后开始安装LunarVim

chmod +x install.sh
export LV_BRANCH='release-1.2/neovim-0.8'
./install.sh
 88\  88\
 88 | \__|
 88 |88\  88\ 888888$\  888888\  888888\ 88\  88\ 88\ 888888\8888\
 88 |88 | 88 |88 __88\  \____88\ 88 __88\\88\  88 |88 |88 _88 _88\
 88 |88 | 88 |88 | 88 | 888888$ |88 | \__|\88\88 / 88 |88 / 88 / 88 |
 88 |88 | 88 |88 | 88 |88 __88 |88 | \88$ / 88 |88 | 88 | 88 |
 88 |\888888 |88 | 88 |\888888$ |88 | \$ / 88 |88 | 88 | 88 |
 \__| \______/ \__| \__| \_______|\__| \_/ \__|\__| \__| \__|

--------------------------------------------------------------------------------
Detecting platform for managing any additional neovim dependencies
--------------------------------------------------------------------------------
Would you like to install LunarVim's NodeJS dependencies?
[y]es or [n]o (default: no) : y
Installing node modules with npm..
All NodeJS dependencies are successfully installed
--------------------------------------------------------------------------------
Would you like to install LunarVim's Python dependencies?
[y]es or [n]o (default: no) : y
Verifying that pip is available..
/usr/bin/python3: No module named ensurepip
Installing with pip..
Requirement already satisfied: pynvim in /usr/lib/python3/dist-packages (0.4.2)
All Python dependencies are successfully installed
--------------------------------------------------------------------------------
Would you like to install LunarVim's Rust dependencies?
[y]es or [n]o (default: no) : y
All Rust dependencies are successfully installed

这里注意，除了NodeJS依赖需要安装，Python、Rust都已经安装好了，选择No就可以了。安装完成后可以使用命令打开

#打开默认窗口
lvim
#打开指定文件
#lvim install.sh
#打开指定目录
#lvim downloads

默认界面长这样子，可以搜索文件、搜索内容，打开文件、项目等。如果有出现文字、图标显示乱码，那么需要安装nerd font，参考上面的字体配置。

按下空格键就会出现引导界面

比如空格+e打开目录

空格+s搜索

空格+L打开LunarVim配置，比如keyMaps

剩下就是neovim、LuarVim的操作了，比如ctrl+h/ctrl+l的文件目录与代码窗口左右切换，空格+b+p/n/e/j在打开的文件里面切换、打开、关闭，alt+1/2/3打开下边、右边、弹出窗口里面打开终端



如此便可以使用LunarVim写代码了。基于Neovim的编辑器还有NvChad，SpaceVim，也都非常强大，不过LunarVim默认配置了许多开箱即用的功能。另外，还可以使用code server，不过这个方案直接安装是不可以，需要借助proot-distro安装其他Liunx才可以。如果Termux不能满足你的需求，可以使用proot-distro安装一个Linux来进一步模拟。如果觉得Termux好用的话，可以给它捐款。

参考链接：
Termux wiki
Termux 高级终端安装使用配置教程

即时通信IRC服务Oragono

Wed, 18 Nov 2020 15:19:05 +0800

前一篇讲了XMPP通信，还有一种比它还早的协议IRC（Internet Relay Chat），是一种简单的文本聊天协议，支持一对一聊天和群聊（频道）。通常IRC聊天只需要昵称而不需要密码（也可以使用密码），这与XMML不同，使得它可以作为公开的聊天频道，比如游戏直播平台Twitch就使用类似的功能来实现聊天。IRC同样有许多服务端，比如InspIRCd和客户端软件，比如Irssi，也可以直接连接公开的IRC服务器，比如Freenode。事实上IRC协议非常简单，只要能对相应的命令作出响应就可以在各个客户端之间通信，因此有许多不同编程语言的服务端/客户端实现。Oragono便是IRC 服务器的Golang实现，支持IRCv3，支持SASL/LDAP认证，支持服务端保存消息历史记录。
Oragono运行很简单，克隆代码，编辑配置文件就可以了

➜  oragono24 ls
CHANGELOG.md     README           default.yaml     docs             languages        oragono          oragono.motd     traditional.yaml
➜  oragono24 cp default.yaml ircd.yaml
➜  oragono24 ./oragono mkcerts
2020/11/11 12:01:04 making self-signed certificates
2020/11/11 12:01:04  making cert for :6697 listener
2020/11/11 12:01:04   Certificate created at fullchain.pem : privkey.pem
➜  oragono24 ls
CHANGELOG.md     README           default.yaml     docs             fullchain.pem    ircd.yaml        languages        oragono          oragono.motd     privkey.pem      traditional.yaml
➜  oragono24 ./oragono run
2020-11-13T03:09:29.320Z : info : server : oragono-2.4.0 starting
2020-11-13T03:09:29.320Z : info : server : Using config file : ircd.yaml
2020-11-13T03:09:29.320Z : info : server : Using datastore : ircd.db
2020-11-13T03:09:29.344Z : info : server : Proxied IPs will be accepted from : localhost
2020-11-13T03:09:29.345Z : info : listeners : now listening on [::1]:6667, tls=false, tlsproxy=false, tor=false, websocket=false.
2020-11-13T03:09:29.345Z : info : listeners : now listening on :6697, tls=true, tlsproxy=false, tor=false, websocket=false.
2020-11-13T03:09:29.345Z : info : listeners : now listening on :8097, tls=true, tlsproxy=false, tor=false, websocket=true.
2020-11-13T03:09:29.345Z : info : listeners : now listening on 127.0.0.1:6667, tls=false, tlsproxy=false, tor=false, websocket=false.
2020-11-13T03:09:29.345Z : info : server : Server running
2020-11-13T03:09:38.386Z : info : connect-ip : Client connecting: real IP 192.168.33.1, proxied IP <nil>
2020-11-13T03:09:38.439Z : info : accounts : client : * : logged into account : kiwi-n30
2020-11-13T03:09:38.442Z : info : connect : Client connected [kiwi-n30] [u:~u] [r:https://kiwiirc.com/]
2020-11-13T03:09:40.955Z : info : connect-ip : Client connecting: real IP 192.168.33.1, proxied IP <nil>
2020-11-13T03:09:40.963Z : info : connect : Client connected [kiwi-n28] [u:~u] [r:https://kiwiirc.com/]
2020-11-13T03:09:56.198Z : info : connect-ip : Client connecting: real IP 192.168.33.1, proxied IP <nil>
2020-11-13T03:09:56.209Z : info : connect : Client connected [kiwi-n29] [u:~u] [r:https://kiwiirc.com/]

编辑ircd.yml，设置管理密码，启用一下WebSocket，保存历史消息到MySQL。opers/admin管理密码在认证管理员的时候使用的，可以使用命令oragono genpasswd生成。ircd.db用来保存注册用户，使用的并不是SQLite，而是Golang实现的一个嵌入式的内存Key/Value存储BuntDB，可以持久化到硬盘。

# network configuration
network:
 # name of the network
 name: OragonoTest

# server configuration
server:
 # server name
 name: oragono.test

 # addresses to listen on
 listeners:
 # The standard plaintext port for IRC is 6667. Allowing plaintext over the
 # public Internet poses serious security and privacy issues. Accordingly,
 # we recommend using plaintext only on local (loopback) interfaces:
 "127.0.0.1:6667": # (loopback ipv4, localhost-only)
 "[::1]:6667":  # (loopback ipv6, localhost-only)
 # If you need to serve plaintext on public interfaces, comment out the above
 # two lines and uncomment the line below (which listens on all interfaces):
 # ":6667":
 # Alternately, if you have a TLS certificate issued by a recognized CA,
 # you can configure port 6667 as an STS-only listener that only serves
 # "redirects" to the TLS port, but doesn't allow chat. See the manual
 # for details.

 # The standard SSL/TLS port for IRC is 6697. This will listen on all interfaces:
 ":6697":
 tls:
 cert: fullchain.pem
 key: privkey.pem
 # 'proxy' should typically be false. It's only for Kubernetes-style load
 # balancing that does not terminate TLS, but sends an initial PROXY line
 # in plaintext.
 proxy: false

 # Example of a Unix domain socket for proxying:
 # "/tmp/oragono_sock":

 # Example of a Tor listener: any connection that comes in on this listener will
 # be considered a Tor connection. It is strongly recommended that this listener
 # *not* be on a public interface --- it should be on 127.0.0.0/8 or unix domain:
 # "/hidden_service_sockets/oragono_tor_sock":
 # tor: true

 # Example of a WebSocket listener:
 ":8097":
 websocket: true
 tls:
 cert: fullchain.pem
 key: privkey.pem
# ircd operators
opers:
 # operator named 'admin'; log in with /OPER admin [password]
 admin:
 # which capabilities this oper has access to
 class: "server-admin"

 # custom whois line
 whois-line: is a server admin

 # custom hostname
 vhost: "staff"

 # normally, operator status is visible to unprivileged users in WHO and WHOIS
 # responses. this can be disabled with 'hidden'. ('hidden' also causes the
 # 'vhost' line above to be ignored.)
 hidden: false

 # modes are modes to auto-set upon opering-up. uncomment this to automatically
 # enable snomasks ("server notification masks" that alert you to server events;
 # see `/quote help snomasks` while opered-up for more information):
 #modes: +is acjknoqtuxv

 # operators can be authenticated either by password (with the /OPER command),
 # or by certificate fingerprint, or both. if a password hash is set, then a
 # password is required to oper up (e.g., /OPER dan mypassword). to generate
 # the hash, use `oragono genpasswd`.
 password: "$2a$04$I2Yhr7UF4p3iyEZcKTPJgukLA9mm00B1wQgicJvGZP/gf0u0tbQQy"
# datastore configuration
datastore:
 # path to the datastore
 path: ircd.db

 # if the database schema requires an upgrade, `autoupgrade` will attempt to
 # perform it automatically on startup. the database will be backed
 # up, and if the upgrade fails, the original database will be restored.
 autoupgrade: true

 # connection information for MySQL (currently only used for persistent history):
 mysql:
 enabled: true
 host: "127.0.0.1"
 port: 3306
 # if socket-path is set, it will be used instead of host:port
 #socket-path: "/var/run/mysqld/mysqld.sock"
 user: "root"
 password: "root"
 history-database: "oragono_history"
 timeout: 30s

IRC服务端设置好了，使用客户端连上去就可以聊天了。IRC协议类似HTTP协议，服务器地址类似irc://irc.freenode.net，但是也可以使用web来连接，前面配置了监听来自8097端口的websocket请求。这里使用web的IRC客户端Kiwi IRC，这是Vue实现的一个web客户端，各个组件之间通过触发/订阅Vue实例状态/事件变化进行通信，支持自定义组件/中间件，这也是Freenode使用的客户端。Kiwiirc主要聚焦连接和消息的处理，比如websocket连接/发送/监听，消息的格式化/通知/声音/状态。它能够连接websocket的IRC服务器，甚至还提供在线生成器，只需要添加websocket url就好了

{
 "windowTitle": "Kiwi IRC with Oragono Test",
 "startupScreen": "welcome",
 "kiwiServer": "http://oragono.test",
 "restricted": false,
 "theme": "Default",
 "themes": [
 { "name": "Default", "url": "static/themes/default" },
 { "name": "Dark", "url": "static/themes/dark" },
 { "name": "Coffee", "url": "static/themes/coffee" },
 { "name": "GrayFox", "url": "static/themes/grayfox" },
 { "name": "Nightswatch", "url": "static/themes/nightswatch" },
 { "name": "Osprey", "url": "static/themes/osprey" },
 { "name": "Radioactive", "url": "static/themes/radioactive" },
 { "name": "Sky", "url": "static/themes/sky" },
 { "name": "Elite", "url": "static/themes/elite" }
 ],
 "startupOptions" : {
 "websocket": "wss://127.0.0.1:8097",
 "channel": "#kiwiirc-default",
 "nick": "kiwi-n?"
 },
 "embedly": {
 "key": ""
 },
 "plugins": [
 { "name": "customise", "url": "static/plugins/customise.html" }
 ]
}

运行登录后的效果

其实IRC是基于TCP连接的文本交互的，也可以使用telnet来模拟

➜ ~ telnet 127.0.0.1 6667
Trying 127.0.0.1...
Connected to localhost.
Escape character is '^]'.
CAP LS 302
:oragono.test CAP * LS * :account-notify account-tag away-notify batch cap-notify chghost draft/channel-rename draft/chathistory draft/event-playback draft/languages=16,en,~bs,~de,~el,~en-AU,~es,~fi,~fr-FR,~it,~nl,~no,~pl,~pt-BR,~ro,~tr-TR,~zh-CN draft/multiline=max-bytes=4096,max-lines=100 draft/register=before-connect draft/relaymsg=/ draft/resume-0.5 echo-message extended-join invite-notify labeled-response message-tags multi-prefix oragono.io/nope sasl=PLAIN,EXTERNAL server-time setname
:oragono.test CAP * LS :userhost-in-names znc.in/playback znc.in/self-message
NICK kiwi-n26
USER kiwi-n26 0 * https://kiwiirc.com/
CAP REQ :account-notify account-tag away-notify batch cap-notify draft/chathistory extended-join invite-notify message-tags multi-prefix server-time userhost-in-names znc.in/self-message
@time=2020-11-13T01:55:02.201Z :oragono.test CAP * ACK :account-notify account-tag away-notify batch cap-notify draft/chathistory extended-join invite-notify message-tags multi-prefix server-time userhost-in-names znc.in/self-message
CAP END
@time=2020-11-13T01:55:07.714Z :oragono.test 001 kiwi-n26 :Welcome to the Internet Relay Network kiwi-n26
@time=2020-11-13T01:55:07.714Z :oragono.test 002 kiwi-n26 :Your host is oragono.test, running version oragono-2.4.0
@time=2020-11-13T01:55:07.714Z :oragono.test 003 kiwi-n26 :This server was created Fri, 13 Nov 2020 00:35:48 UTC
@time=2020-11-13T01:55:07.714Z :oragono.test 004 kiwi-n26 oragono.test oragono-2.4.0 BERTZios CEIMRUabehiklmnoqstuv Iabehkloqv
@time=2020-11-13T01:55:07.714Z :oragono.test 005 kiwi-n26 AWAYLEN=390 BOT=B CASEMAPPING=ascii CHANLIMIT=#:100 CHANMODES=Ibe,k,l,CEMRUimnstu CHANNELLEN=64 CHANTYPES=# ELIST=U EXCEPTS EXTBAN=,m INVEX KICKLEN=390 MAXLIST=beI:60 :are supported by this server
@time=2020-11-13T01:55:07.714Z :oragono.test 005 kiwi-n26 MAXTARGETS=4 MODES MONITOR=100 NETWORK=OragonoTest NICKLEN=32 PREFIX=(qaohv)~&@%+ STATUSMSG=~&@%+ TARGMAX=NAMES:1,LIST:1,KICK:1,WHOIS:1,USERHOST:10,PRIVMSG:4,TAGMSG:4,NOTICE:4,MONITOR:100 TOPICLEN=390 UTF8MAPPING=rfc8265 WHOX draft/CHATHISTORY=100 :are supported by this server
@time=2020-11-13T01:55:07.714Z :oragono.test 251 kiwi-n26 :There are 0 users and 4 invisible on 1 server(s)
@time=2020-11-13T01:55:07.714Z :oragono.test 252 kiwi-n26 0 :IRC Operators online
@time=2020-11-13T01:55:07.714Z :oragono.test 253 kiwi-n26 0 :unregistered connections
@time=2020-11-13T01:55:07.714Z :oragono.test 254 kiwi-n26 2 :channels formed
@time=2020-11-13T01:55:07.714Z :oragono.test 255 kiwi-n26 :I have 4 clients and 0 servers
@time=2020-11-13T01:55:07.714Z :oragono.test 265 kiwi-n26 4 4 :Current local users 4, max 4
@time=2020-11-13T01:55:07.714Z :oragono.test 266 kiwi-n26 4 4 :Current global users 4, max 4
@time=2020-11-13T01:55:07.714Z :oragono.test 375 kiwi-n26 :- oragono.test Message of the day -
@time=2020-11-13T01:55:07.714Z :oragono.test 372 kiwi-n26 :-
@time=2020-11-13T01:55:07.714Z :oragono.test 372 kiwi-n26 :- ▄▄▄ ▄▄▄· ▄▄ • ▐ ▄
@time=2020-11-13T01:55:07.714Z :oragono.test 372 kiwi-n26 :- ▪ ▀▄ █·▐█ ▀█ ▐█ ▀ ▪▪ •█▌▐█▪
@time=2020-11-13T01:55:07.714Z :oragono.test 372 kiwi-n26 :- ▄█▀▄ ▐▀▀▄ ▄█▀▀█ ▄█ ▀█▄ ▄█▀▄▪▐█▐▐▌ ▄█▀▄
@time=2020-11-13T01:55:07.714Z :oragono.test 372 kiwi-n26 :- ▐█▌.▐▌▐█•█▌▐█ ▪▐▌▐█▄▪▐█▐█▌ ▐▌██▐█▌▐█▌.▐▌
@time=2020-11-13T01:55:07.714Z :oragono.test 372 kiwi-n26 :- ▀█▄▀▪.▀ ▀ ▀ ▀ ·▀▀▀▀ ▀█▄▀ ▀▀ █▪ ▀█▄▀▪
@time=2020-11-13T01:55:07.714Z :oragono.test 372 kiwi-n26 :-
@time=2020-11-13T01:55:07.714Z :oragono.test 372 kiwi-n26 :- This is the default Oragono MOTD.
@time=2020-11-13T01:55:07.714Z :oragono.test 372 kiwi-n26 :-
@time=2020-11-13T01:55:07.714Z :oragono.test 372 kiwi-n26 :-
@time=2020-11-13T01:55:07.714Z :oragono.test 372 kiwi-n26 :- If motd-formatting is enabled in the config file, you can use the dollarsign character to
@time=2020-11-13T01:55:07.714Z :oragono.test 372 kiwi-n26 :- create special formatting such as bold, italics and color codes.
@time=2020-11-13T01:55:07.714Z :oragono.test 372 kiwi-n26 :-
@time=2020-11-13T01:55:07.714Z :oragono.test 372 kiwi-n26 :- For example, here are a few formatted lines (enable motd-formatting to see these in action):
@time=2020-11-13T01:55:07.714Z :oragono.test 372 kiwi-n26 :-
@time=2020-11-13T01:55:07.714Z :oragono.test 372 kiwi-n26 :- - this is bold text.
@time=2020-11-13T01:55:07.714Z :oragono.test 372 kiwi-n26 :- - this is italics text.
@time=2020-11-13T01:55:07.714Z :oragono.test 372 kiwi-n26 :- - this is 4red and 2blue text.
@time=2020-11-13T01:55:07.714Z :oragono.test 372 kiwi-n26 :- - this is 4,12red text with a light blue background.
@time=2020-11-13T01:55:07.714Z :oragono.test 372 kiwi-n26 :- - this is a normal escaped dollarsign: $
@time=2020-11-13T01:55:07.714Z :oragono.test 372 kiwi-n26 :-
@time=2020-11-13T01:55:07.714Z :oragono.test 372 kiwi-n26 :- And now a few fun colour charts!
@time=2020-11-13T01:55:07.714Z :oragono.test 372 kiwi-n26 :-
@time=2020-11-13T01:55:07.714Z :oragono.test 372 kiwi-n26 :- 1,0 00 0,1 01 0,2 02 0,3 03 1,4 04 0,5 05 0,6 06 1,7 07
@time=2020-11-13T01:55:07.714Z :oragono.test 372 kiwi-n26 :- 1,8 08 1,9 09 0,10 10 1,11 11 0,12 12 1,13 13 1,14 14 1,15 15
@time=2020-11-13T01:55:07.714Z :oragono.test 372 kiwi-n26 :-
@time=2020-11-13T01:55:07.714Z :oragono.test 372 kiwi-n26 :- 0,16 16 0,17 17 0,18 18 0,19 19 0,20 20 0,21 21 0,22 22 0,23 23 0,24 24 0,25 25 0,26 26 0,27 27
@time=2020-11-13T01:55:07.714Z :oragono.test 372 kiwi-n26 :- 0,28 28 0,29 29 0,30 30 0,31 31 0,32 32 0,33 33 0,34 34 0,35 35 0,36 36 0,37 37 0,38 38 0,39 39
@time=2020-11-13T01:55:07.714Z :oragono.test 372 kiwi-n26 :- 0,40 40 0,41 41 0,42 42 0,43 43 0,44 44 0,45 45 0,46 46 0,47 47 0,48 48 0,49 49 0,50 50 0,51 51
@time=2020-11-13T01:55:07.714Z :oragono.test 372 kiwi-n26 :- 0,52 52 0,53 53 1,54 54 1,55 55 1,56 56 1,57 57 1,58 58 0,59 59 0,60 60 0,61 61 0,62 62 0,63 63
@time=2020-11-13T01:55:07.714Z :oragono.test 372 kiwi-n26 :- 0,64 64 1,65 65 1,66 66 1,67 67 1,68 68 1,69 69 1,70 70 1,71 71 0,72 72 0,73 73 0,74 74 0,75 75
@time=2020-11-13T01:55:07.714Z :oragono.test 372 kiwi-n26 :- 1,76 76 1,77 77 1,78 78 1,79 79 1,80 80 1,81 81 1,82 82 1,83 83 1,84 84 1,85 85 1,86 86 1,87 87
@time=2020-11-13T01:55:07.714Z :oragono.test 372 kiwi-n26 :- 0,88 88 0,89 89 0,90 90 0,91 91 0,92 92 0,93 93 0,94 94 0,95 95 1,96 96 1,97 97 1,98 98 99,99 99
@time=2020-11-13T01:55:07.714Z :oragono.test 372 kiwi-n26 :-
@time=2020-11-13T01:55:07.714Z :oragono.test 372 kiwi-n26 :- For more information on using these, see MOTDFORMATTING.md
@time=2020-11-13T01:55:07.714Z :oragono.test 376 kiwi-n26 :End of MOTD command
@time=2020-11-13T01:55:07.715Z :oragono.test 221 kiwi-n26 +Zi
WHO kiwi-n26
@time=2020-11-13T01:55:15.649Z :oragono.test 352 kiwi-n26 * ~u gcjc79gmtbe42.irc oragono.test kiwi-n26 H :0 https://kiwiirc.com/
@time=2020-11-13T01:55:15.649Z :oragono.test 315 kiwi-n26 kiwi-n26!*@* :End of WHO list
JOIN #kiwiirc-default
@msgid=bidkvpja5njjtgchub8u65pxgn;time=2020-11-13T01:55:26.706Z :kiwi-n26!~u@gcjc79gmtbe42.irc JOIN #kiwiirc-default * https://kiwiirc.com/
@time=2020-11-13T01:55:26.706Z :oragono.test 353 kiwi-n26 = #kiwiirc-default :@kiwi-n28!~u@5g96q93tqw3vn.irc kiwi-n30!~u@5g96q93tqw3vn.irc kiwi-n29!~u@5g96q93tqw3vn.irc kiwi-n26!~u@gcjc79gmtbe42.irc
@time=2020-11-13T01:55:26.706Z :oragono.test 366 kiwi-n26 #kiwiirc-default :End of NAMES list
JOIN #ops
@msgid=hftqmpu4ieyjybx9bbgf4vpbia;time=2020-11-13T01:55:32.145Z :kiwi-n26!~u@gcjc79gmtbe42.irc JOIN #ops * https://kiwiirc.com/
@time=2020-11-13T01:55:32.145Z :oragono.test 353 kiwi-n26 = #ops :@kiwi-n28!~u@5g96q93tqw3vn.irc kiwi-n30!~u@5g96q93tqw3vn.irc kiwi-n29!~u@5g96q93tqw3vn.irc kiwi-n26!~u@gcjc79gmtbe42.irc
@time=2020-11-13T01:55:32.145Z :oragono.test 366 kiwi-n26 #ops :End of NAMES list
PRIVMSG #ops hello
PRIVMSG #ops :kiwi-n28 good morning
PRIVMSG kiwi-n28 =D
PING kiwitime-1605232555315
@time=2020-11-13T01:57:14.150Z :oragono.test PONG oragono.test kiwitime-1605232555315
CHATHISTORY BEFORE kiwi-n28 * 50
@time=2020-11-13T01:57:38.462Z :oragono.test BATCH +1 chathistory kiwi-n28
@msgid=rqdbvmytzppssc5ymp7ffhmkga;time=2020-11-13T01:56:05.705Z;batch=1 :kiwi-n26!~u@gcjc79gmtbe42.irc PRIVMSG kiwi-n28 :=D
@time=2020-11-13T01:57:38.462Z :oragono.test BATCH -1
@time=2020-11-13T01:59:08.466Z PING kiwi-n26
:kiwi-n26!~u@gcjc79gmtbe42.irc QUIT :Ping timeout: 2m30s
ERROR :Ping timeout: 2m30s
Connection closed by foreign host.

可以看到这些消息都带有一定的格式，客户端根据特地的格式解析就可以个性化显示来。带有符号@/：前缀的消息都是服务器推送下来的消息，反之都是客户端请求的消息。“CAP LS 302”即协商会话协议版本，随即用命令“NICK ”设置昵称（登录名），和“USER 0 * ”设置该昵称显示的用户名，最后以“CAP END”结束协商，开始会话。服务端推送过来的消息格式为时间戳+服务器+响应码+接受者昵称+消息内容，即“@time=2020-11-13T01:55:07.714Z :oragono.test 001 :Welcome to the Internet Relay Network ”，001代表欢迎信息，具体响应码可以参考这里。客户端发送消息则直接发送，比如使用“JOIN #channel”加入某个频道，服务器会向该频道里的每个人广播对JOIN应的消息“@msgid=hftqmpu4ieyjybx9bbgf4vpbia;time=2020-11-13T01:55:32.145Z :@gcjc79gmtbe42.irc JOIN #channel * ”并向操作者推送频道用户列表“@time=2020-11-13T01:55:32.145Z :oragono.test 353 = #channel :@!~u@5g96q93tqw3vn.irc !~u@5g96q93tqw3vn.irc !~u@5g96q93tqw3vn.irc
”。Twitch则在消息的基础上加入了其他格式化控制，比如

@badge-info=;badges=premium/1;client-nonce=2f70a1efd6f84523d0f180cc44f76c61;color=#B22222;display-name=Khodeine;emotes=58765:9-19;flags=;id=50d8790f-c474-42a8-b873-2d5e8008bd52;mod=0;room-id=30220059;subscriber=0;tmi-sent-ts=1605279854692;turbo=0;user-id=49980352;user-type= :khodeine!khodeine@khodeine.tmi.twitch.tv PRIVMSG #esl_sc2 :the scvs NotLikeThis

会显示以一定的颜色/图标显示用户名/消息。空闲状态下IRC服务端与客户端需要维持心跳信息，比如“PING kiwitime-1605232555315”和“time=2020-11-13T01:57:14.150Z :oragono.test PONG oragono.test kiwitime-1605232555315”，否则连接会被关闭。一些常用的命令，可以看出IRC交互非常简单，IRC核心组件也不多。使用“@+dratf/typing=active TAGMSG ”显示输入状态，借助CTCP协议甚至可以点对点发送文件

#使用password注册当前nickname
/NS REGISTER <your password>
#注册一个频道
/CS REGISTER #channelname
/CS REGISTER #channe
#要去某人加入频道
/INVITE nickname #channel
#给予某个用户频道管理权限
/mode +o nickname
#认证成为管理员
/OPER admin <admin passowrd>
#在频道发送消息
/PRIVMSG #channe hello
#给频道某人发送消息
/PRIVMSG #channe :<nick> good morning
#给频道某人发送消息
/INVITE <nick> #channe
#使用密码登录
AUTHENTICATE PLAIN
AUTHENTICATE +
AUTHENTICATE a2l3aS1uMzAAa2l3aS1uMzAAMTAyMDMwNDA=

Thelounge是另外一个Vue实现的web的IRC客户端，同样支持websocket。它还用express实现了服务端，支持额外的密码/LDAP登录，即先认证通过才能连接IRC服务器，它本身也可以作为一个服务代理网关，为用户提供永远在线服务/消息存储-如果一个IRC用户不在线是不能够给它发送消息的，这一点也跟XMPP不一样。

Kiwiirc和Thelounge的设计实现良好，可以作为web chat实现的参考，比如在线客服/销售。比较两个web的IRC客户端发现，他们使用的websocket库并不一样。Kiwiirc使用的是sockjs-client，一个类似websocket的JavaScript网络连接库，支持不同浏览器，能够跨域名通信，在浏览器不支持websocket的情况下退化为polling（需要服务端配合）。而Thelounge使用的是socket.io。Socket.IO由Engine.IO发展而来，致力于为web提供实时通信能力。Socket.IO并不是WebSocket的一个实现，只是提供了类似的连接能力，需要服务端配合。两个连接库在浏览器支持websocket的情况下都可以直接与websocket服务端通信（不需要对应的库）。Kiwiirc还提供了irc-framework开发库，可以快速搭建一个IRC客户端，比如IRC Bot。至今仍然存在着许多IRC聊天机器人，为用户提供方便/服务器报警。Twitch一个用户加入频道时甚至能收到广告！

Websocket提供了与其他socket一样的能力，能够持续连接和双向通讯，甚至可以服用80/443端口（nginx支持101协议升级）。它不止可以使用在web上，也可以使用在非web上面，因为能够穿透防火墙，对树莓派的远程链接支持。传统的web应用都是一应一答，这节省的服务器/客户端的资源能够不需要持续请求的话。而对于有些应用而言，比如消息通知，希望是能够持续从服务器推送的，websocket增强了它的能力，在这之前都是long polling（所以才有那些包装库）。
Http协议在tcp基础上实现，请求头里面带有host、cookie，url里面带有路径等，这样后端能够识别、路由、分发请求。而tcp并没有这些，websocket必须自己实现类似的路由分发/调用，可以在连接建立初期，鉴别授权（可以在url上面带参数token/jwt/security key），对于后续消息的应答可以在url上面指定，也可以在事件上面指定。这样实现出来似乎与http差不多，仍然有event对应route，但却可以持续交互。
再观察IRC协议也不过是对各个命令的应答，其实也跟经典web MVC差不多-使用URL映射对应的controller/action。IRC每个会话都是一个队列，join #channel命令即订阅消息，part #channel命令则是取消订阅。再看Rabbitmq消息队列，实现了exchange，route，queue，channel，topic等，然后是持续的消费/推送，与前面所诉差不多，这样子看IRC也是个消息服务器。IRC实现简单，通过扩展支持的命令，也能够与内部/外部系统结合，快速搭建一个即时消息平台。
再看邮件服务，其实也是消息服务，也有一对一/群发消息/历史消息，甚至能够给不认识（不在线）的人发送邮件！而邮件服务至今流行，在许多平台，不论服务器还是手机都自带，不需要额外安装软件。Slack的产品宣传即对比了自己相对邮件服务的优势。其实手机默认带的电话和短信功能是基于硬件模块的在线功能。
相比Ejabberd/Openfire，IRC服务器的部署简单许多，甚至可以部署在树莓派上！

参考连接：
IRC Bot
基于 RabbitMQ 的实时消息推送

即时通信XMPP服务器ejabberd/Openfire

Thu, 05 Nov 2020 17:14:06 +0800

即时通信的需求，不仅在公共互联网上，比如微信、QQ，也在企业的内部网络，特别是与内部系统的整合，比如OA、客服系统。XMPP，也叫扩展消息与存在协议，是一种以XML为基础的开放式即时通信协议。XMPP不但能够用来做消息通信（单聊/群聊/订阅），也可以做语音通信。XMPP甚至支持多个服务器之间互相连接，互相通信，早期Gtalk就能够与其他XMPP服务器通信。采用XMPP来开发的好处是，已经有大量的开源服务器（ejabberd、Openfire）和客户端（Spark/Smack/converse.js/XMPPFramework）实现，能够快速搭建。
Ejabberd则是ProcessOne出品的，基于Erlang开发的XMPP/MQTT/SIP服务器，内置了WebSocket/文件上传支持，提供更加丰富的REST API。在CentOS64下面安装Ejabberd，会安装到/etc/init.d/ejabberd，直接service start ejabberd就好了，可以使用docker快速启用

[root@vagrant-centos64 tmp]# wget https://static.process-one.net/ejabberd/downloads/20.04/ejabberd-20.04-0.x86_64.rpm
--2020-10-29 08:26:16--  https://static.process-one.net/ejabberd/downloads/20.04/ejabberd-20.04-0.x86_64.rpm
Resolving static.process-one.net... 13.226.36.69, 13.226.36.105, 13.226.36.34, ...
Connecting to static.process-one.net|13.226.36.69|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 18713774 (18M) [application/x-rpm]
Saving to: “ejabberd-20.04-0.x86_64.rpm”

100%[====================================================================================================================================================================================================================================>] 18,713,774  2.84M/s   in 9.1s    

2020-10-29 08:26:27 (1.96 MB/s) - “ejabberd-20.04-0.x86_64.rpm” saved [18713774/18713774]

[root@vagrant-centos64 tmp]# yum localinstall ejabberd-20.04-0.x86_64.rpm
Loaded plugins: fastestmirror
Setting up Local Package Process
Examining ejabberd-20.04-0.x86_64.rpm: ejabberd-20.04-0.x86_64
Marking ejabberd-20.04-0.x86_64.rpm to be installed
Loading mirror speeds from cached hostfile
 * base: mirrors.163.com
 * epel: mirror.math.princeton.edu
 * extras: mirrors.cn99.com
 * updates: mirrors.cn99.com
 * webtatic: uk.repo.webtatic.com
phalcon_stable/signature                                                                                                                                                                                                                               |  819 B     00:00     
phalcon_stable/signature                                                                                                                                                                                                                               |  951 B     00:00 ... 
phalcon_stable-source/signature                                                                                                                                                                                                                        |  819 B     00:00     
phalcon_stable-source/signature                                                                                                                                                                                                                        |  951 B     00:00 ... 
Resolving Dependencies
--> Running transaction check
---> Package ejabberd.x86_64 0:20.04-0 will be installed
--> Finished Dependency Resolution

Dependencies Resolved

==============================================================================================================================================================================================================================================================================
 Package                                                       Arch                                                        Version                                                        Repository                                                                     Size
==============================================================================================================================================================================================================================================================================
Installing:
 ejabberd                                                      x86_64                                                      20.04-0                                                        /ejabberd-20.04-0.x86_64                                                       29 M

Transaction Summary
==============================================================================================================================================================================================================================================================================
Install       1 Package(s)

Total size: 29 M
Installed size: 29 M
Is this ok [y/N]: y
Downloading Packages:
Running rpm_check_debug
Running Transaction Test
Transaction Test Succeeded
Running Transaction
  Installing : ejabberd-20.04-0.x86_64                                                                                                                                                                                                                                    1/1 
  Verifying  : ejabberd-20.04-0.x86_64                                                                                                                                                                                                                                    1/1 

Installed:
  ejabberd.x86_64 0:20.04-0                                                                                                                                                                                                                                                   

Complete!
[root@vagrant-centos64 tmp]# ls  /etc/init.d/ejabberd
/etc/init.d/ejabberd
[root@vagrant-centos64 tmp]# ls -la /opt/ejabberd
total 24
drwxr-xr-x  5 ejabberd ejabberd 4096 Oct 29 08:27 .
drwxr-xr-x. 8 root     root     4096 Oct 29 08:27 ..
drwxr-xr-x  2 ejabberd ejabberd 4096 Oct 29 08:27 conf
drwxr-xr-x  3 ejabberd ejabberd 4096 Oct 29 08:27 database
-r--------  1 ejabberd ejabberd   20 Oct 29 00:00 .erlang.cookie
drwxr-xr-x  2 ejabberd ejabberd 4096 Oct 29 08:27 logs
[root@vagrant-centos64 bin]# service ejabberd start
Starting ejabberd...
done.
[root@vagrant-centos64 sql]# ps aux | grep ejabberd
ejabberd 10097  0.2  7.9 1817344 48144 ?       Sl   08:51   0:04 /opt/ejabberd-20.04/bin/beam.smp -K true -P 250000 -- -root /opt/ejabberd-20.04 -progname /opt/ejabberd-20.04/bin/erl -- -home /opt/ejabberd -- -sname ejabberd@localhost -smp enable -mnesia dir "/opt/ejabberd/database/ejabberd@localhost" -ejabberd log_rate_limit 100 log_rotate_size 10485760 log_rotate_count 1 log_rotate_date "" -s ejabberd -noshell -noinput
ejabberd 10105  0.0  0.0   4060   496 ?        Ss   08:51   0:00 erl_child_setup 1024
ejabberd 10186  0.0  0.0   4052   572 ?        Ss   08:51   0:00 /opt/ejabberd-20.04/lib/os_mon-2.4.7/priv/bin/memsup
root     11215  0.0  0.1 103324   892 pts/4    S+   09:16   0:00 grep ejabberd
[root@vagrant-centos64 bin]# netstat -apn | grep beam
tcp        0      0 127.0.0.1:7777              0.0.0.0:*                   LISTEN      10097/beam.smp      
tcp        0      0 0.0.0.0:37617               0.0.0.0:*                   LISTEN      1599/beam           
tcp        0      0 0.0.0.0:15672               0.0.0.0:*                   LISTEN      1599/beam           
tcp        0      0 0.0.0.0:55672               0.0.0.0:*                   LISTEN      1599/beam           
tcp        0      0 0.0.0.0:43674               0.0.0.0:*                   LISTEN      10097/beam.smp      
tcp        0      0 127.0.0.1:44055             127.0.0.1:4369              ESTABLISHED 1599/beam           
tcp        0      0 127.0.0.1:35415             127.0.0.1:4369              ESTABLISHED 10097/beam.smp      
tcp        0      0 :::5280                     :::*                        LISTEN      10097/beam.smp      
tcp        0      0 :::5443                     :::*                        LISTEN      10097/beam.smp      
tcp        0      0 :::5222                     :::*                        LISTEN      10097/beam.smp      
tcp        0      0 :::5672                     :::*                        LISTEN      1599/beam           
tcp        0      0 :::5269                     :::*                        LISTEN      10097/beam.smp      
tcp        0      0 :::1883                     :::*                        LISTEN      10097/beam.smp      
unix  3      [ ]         STREAM     CONNECTED     1637533 10097/beam.smp

Ejabberd自带Erlang的数据库服务Mnesia，但有一些限制建议使用第三方的比如MySQL，这样也方便第三方交互（比如认证Token）。初始化的SQL脚本在/opt/ejabberd-20.04/lib/ejabberd-20.04/priv/sql，如果只是支持单个domain的话使用mysql.sql就可以了，多domain支持使用mysql.new.sql

[root@vagrant-centos64 sql]# ls
lite.new.sql  lite.sql  mssql.sql  mysql.new.sql  mysql.sql  pg.new.sql  pg.sql
[root@vagrant-centos64 sql]# pwd
/opt/ejabberd-20.04/lib/ejabberd-20.04/priv/sql

更改为使用MySQL存储和认证

[root@vagrant-centos64 bin]# cat /opt/ejabberd/conf/ejabberd.yml
###
###' ejabberd configuration file
###
### The parameters used in this configuration file are explained at
###
### https://docs.ejabberd.im/admin/configuration
###
### The configuration file is written in YAML.
### *******************************************************
### ******* !!! WARNING !!! *******
### ******* YAML IS INDENTATION SENSITIVE *******
### ******* MAKE SURE YOU INDENT SECTIONS CORRECTLY *******
### *******************************************************
### Refer to http://en.wikipedia.org/wiki/YAML for the brief description.
###

hosts:
 - "vagrant-centos64"

loglevel: 4
log_rotate_size: 10485760
log_rotate_date: ""
log_rotate_count: 1
log_rate_limit: 100

certfiles:
 - "/opt/ejabberd/conf/server.pem"
## - "/etc/letsencrypt/live/localhost/fullchain.pem"
## - "/etc/letsencrypt/live/localhost/privkey.pem"

ca_file: "/opt/ejabberd/conf/cacert.pem"

listen:
 -
 port: 5222
 ip: "::"
 module: ejabberd_c2s
 max_stanza_size: 262144
 shaper: c2s_shaper
 access: c2s
 starttls_required: true
 -
 port: 5269
 ip: "::"
 module: ejabberd_s2s_in
 max_stanza_size: 524288
 -
 port: 5443
 ip: "::"
 module: ejabberd_http
 tls: true
 request_handlers:
 "/admin": ejabberd_web_admin
 "/api": mod_http_api
 "/bosh": mod_bosh
 "/captcha": ejabberd_captcha
 "/upload": mod_http_upload
 "/ws": ejabberd_http_ws
 "/oauth": ejabberd_oauth
 -
 port: 5280
 ip: "::"
 module: ejabberd_http
 request_handlers:
 "/admin": ejabberd_web_admin
 -
 port: 1883
 ip: "::"
 module: mod_mqtt
 backlog: 1000

s2s_use_starttls: optional

acl:
 local:
 user_regexp: ""
 loopback:
 ip:
 - 127.0.0.0/8
 - ::1/128
 - ::FFFF:127.0.0.1/128
 admin:
 user:
 - "admin@vagrant-centos64"

access_rules:
 local:
 allow: local
 c2s:
 deny: blocked
 allow: all
 announce:
 allow: admin
 configure:
 allow: admin
 muc_create:
 allow: local
 pubsub_createnode:
 allow: local
 trusted_network:
 allow: loopback

api_permissions:
 "console commands":
 from:
 - ejabberd_ctl
 - mod_http_api
 who: all
 what: "*"
 "admin access":
 who:
 access:
 allow:
 acl: loopback
 acl: admin
 oauth:
 scope: "ejabberd:admin"
 access:
 allow:
 acl: loopback
 acl: admin
 what:
 - "*"
 - "!stop"
 - "!start"
 "public commands":
 who:
 ip: 127.0.0.1/8
 what:
 - status
 - connected_users_number

shaper:
 normal: 1000
 fast: 50000

shaper_rules:
 max_user_sessions: 10
 max_user_offline_messages:
 5000: admin
 100: all
 c2s_shaper:
 none: admin
 normal: all
 s2s_shaper: fast

max_fsm_queue: 10000

acme:
 contact: "mailto:admin@vagrant-centos64"
 ca_url: "https://acme-v01.api.letsencrypt.org"

modules:
 mod_adhoc: {}
 mod_admin_extra: {}
 mod_announce:
 access: announce
 mod_avatar: {}
 mod_blocking: {}
 mod_bosh: {}
 mod_caps: {}
 mod_carboncopy: {}
 mod_client_state: {}
 mod_configure: {}
 mod_disco: {}
 mod_fail2ban: {}
 mod_http_api: {}
 mod_http_upload:
 put_url: https://@HOST@:5443/upload
 mod_last: {}
 mod_mam:
 ## Mnesia is limited to 2GB, better to use an SQL backend
 ## For small servers SQLite is a good fit and is very easy
 ## to configure. Uncomment this when you have SQL configured:
 ## db_type: sql
 assume_mam_usage: true
 default: never
 mod_mqtt: {}
 mod_muc:
 access:
 - allow
 access_admin:
 - allow: admin
 access_create: muc_create
 access_persistent: muc_create
 access_mam:
 - allow
 default_room_options:
 allow_subscription: true # enable MucSub
 mam: false
 mod_muc_admin: {}
 mod_offline:
 access_max_user_messages: max_user_offline_messages
 mod_ping: {}
 mod_privacy: {}
 mod_private: {}
 mod_proxy65:
 access: local
 max_connections: 5
 mod_pubsub:
 access_createnode: pubsub_createnode
 plugins:
 - flat
 - pep
 force_node_config:
 ## Avoid buggy clients to make their bookmarks public
 storage:bookmarks:
 access_model: whitelist
 mod_push: {}
 mod_push_keepalive: {}
 mod_register:
 ## Only accept registration requests from the "trusted"
 ## network (see access_rules section above).
 ## Think twice before enabling registration from any
 ## address. See the Jabber SPAM Manifesto for details:
 ## https://github.com/ge0rg/jabber-spam-fighting-manifesto
 ip_access: trusted_network
 mod_roster:
 versioning: true
 mod_s2s_dialback: {}
 mod_shared_roster: {}
 mod_stream_mgmt:
 resend_on_timeout: if_offline
 mod_vcard: {}
 mod_vcard_xupdate: {}
 mod_version:
 show_os: false

auth_method: sql


sql_type: mysql
sql_server: "localhost"
sql_database: "ejabberd"
sql_username: "ejabberd"
sql_password: "ejabberd"

default_db: sql
## If you want to specify the port:
#sql_port: 3306
### Local Variables:
### mode: yaml
### End:
### vim: set filetype=yaml tabstop=8

试着注册一下管理员

[root@vagrant-centos64 bin]# ./ejabberdctl register admin1 localhost admin
Error: cannot_register

失败了，这是因为hostname的关系，在ejabberd.yml配置的host并不是localhost，改一下注册的domain就好了，具体可以参考这里和这里

[root@vagrant-centos64 bin]# ./ejabberdctl status
The node ejabberd@localhost is started with status: started
[root@vagrant-centos64 logs]# hostname -s
vagrant-centos64
[root@vagrant-centos64 bin]# ./ejabberdctl register admin vagrant-centos64 admin
User admin@vagrant-centos64 successfully registered

访问http://127.0.0.1:5280/admin就可以进入到管理界面了。管理界面比较简单，只能管理用户/消息/聊天室，完整的xmpp协议服务器是支持的，客户端对应实现就好了。

使用conversejs快速搭建一个web客户端来验证一下，创建chat.html

<html>
 <head>
 <title>chat</title>
 <link rel="stylesheet" type="text/css" media="screen" href="https://cdn.conversejs.org/dist/converse.min.css">
 <script src="https://cdn.conversejs.org/dist/converse.min.js" charset="utf-8"></script>
 </head>
 <body>
 <script>
 converse.initialize({
 //bosh_service_url: 'http://chat.vagrant-centos64.com/bosh',
 websocket_url: 'wss:chat.vagrant-centos64.com/ws',
 //show_controlbox_by_default: true,
 view_mode: 'fullscreen'
 });
 </script>
 </body>
</html>

打开浏览器，访问对应的url登录就可以看到了聊天界面了。这里使用的域名是经过nginx代理转发过的了，配置可以参考API 网关 Kong，如果使用nginx-proxy-servier需要打开Websockets Support，以便进行协议升级101 Switching Protocols。

conversejs配置里面有两个url，一个是BOSH（Bidirectional-streams Over Synchronous HTTP）的，即HTTP长连接，以便通服务器即时交互，获取消息；另一个是WebSocket，基于TCP的，客户端/服务器双向通信。BOHS需要浏览器定时发起一个请求直致服务器返回消息，而WebSocket可以像其他TCP那样双向通信，灵活的多。如果服务端不支持Websocket协议升级或者连接失败conversejs会自动切换使用BOSH通信。如果使用https://www.websocket.org/echo.html来测试连接，需要遵循XMPP协议要求，先认证，否则连接会被关闭。conversejs的认证是在Websocket里面的做的，并不基于cookie之类的，所以一个浏览器打开多个聊天窗口登录不同的账户也是可以的



Ejabberd支持REST API来做交互比如查看在线用户、发送消息

➜ chat-example git:(master) ✗ curl -k https://192.168.33.14:5443/api/connected_users
["admin@vagrant-centos64/converse.js-16142875"] ➜ chat-example git:(master) ✗ curl -k https://192.168.33.14:5443/api/send_message -X POST -d '{"type":"headline","from":"test@vagrant-centos64","to":"admin@vagrant-centos64","subject":"Restart","body":"In 5 minutes"}'

这些API将大大增加ejabberd与第三方软件的交互。虽然ejabberd支持OAuth认证，但那是以ejabberd为账户中心的认证，方便其他系统调用ejabberd功能。通常即时通信只是内部系统的一部分，账户中心部署在其他地方，所以需要ejabberd支持外部的认证。前边已经配置ejabberd为数据库认证，还可以配置为使用LDAP认证。如果不满足，还可以配置为外部脚本认证或者使用第三方开发的HTTP认证。对于简单的内部交互，可以将认证服务的token刷新到ejabberd的数据库即可。
Openfire则是ignite realtime出品的Java实现的XMPP服务器，同时提供Java客户端Spark、Java开发库Smack，还提供Chrome扩展Pade。Openfire提供基于web的管理界面，支持LDAP登录及数据库存储。有一些功能Openfire并不直接支持，比如API，而是以扩展的形式支持，包括用户管理/分组管理/聊天室管理/消息广播/邮件监听/WebSocket/Meeting/Sip等等。

用户管理

配置用户分组，可以配置部门之类的，会出现在用户的个人分组里面（Spark）

在线会话管理，可以踢人


创建聊天室之前需要创建对应的service，默认的service叫conference。
Openfire的API并不支持OAuth/SSO，简单的1V1消息发送，聊天室消息订阅等等，需要自己基于Java扩展。
Ejabberd是采用Erlang开发的，一如消息队列服务器RabbitMQ，具有极高吞吐能力，提供REST API/XMl RPC，方便交互；Openfire则易于管理和扩展，采用哪个软件进行开发需要结合企业实际进行考量。
XMPP服务器主要提供消息聊天，对于语音服务可以使用SIP服务器实现，结合客户端sip.js，比如ctxSip。

参考链接：
TCP UDP探索
 SIP（会话发起协议）

API 网关 Kong

Wed, 28 Oct 2020 10:35:51 +0800

从前开发一个互联网服务程序，大概可以在一台机器上完成：数据库、应用都在一起。随着业务发展壮大，会把数据库独立出来，以便扩展拆分。然后再把一部分公用业务独立出来扩展，譬如文件存储、缓存等。接着业务也才拆分，比如会员、商品。微服务大行其道，各个团队维护着许多服务、API。这么多服务，前端业务逻辑该怎么接入呢？
如今单一的前端UI也可能是多个团队共同开发的结果。当你在本地开发一个小功能时，甚至会牵扯到多个前端UI/后端API。一个前端页面除了加载自己的资源外，还加载V2/V3的API（为什么会同时存在V1/V2/V3的API），甚至嵌入了另外一个页面（React看起来也不错），该怎么调试这种混合开发呢？cookie都传递不过去，好吧，使用JWT代替，再设置一下跨源资源共享（CORS）。。。但是那些旧的应用怎么办？
当我们启动一个Node.js应用时npm run start，默认监听3000端口。当然我们也可以让它监听80端口。但是当我们多开几个应用时，只好让它们都监听不同端口了，怎么样才能统一端口监听呢？当然Node.js可以通过诸如node-http-proxy来转发这些请求，但是代理转发跟应用业务无关吧？如果是其他编程语言呢？都重复这些代理配置/开发吗？Don’t Repeat Yourself。
Faas也日渐流行，比如AWS Lambda，强调仅仅专注某个功能，根据事件驱动进行计算，那么每个服务也要开发一整套路由分发/认证/日志吗？
这些问题可以使用反向代理来解决，提供统一的服务入口，对前端/客户端隐藏背后的细节，最简单的当然是Nginx。Nginx监听来自某个端口（比如80）的请求，然后根据不同的来源/端口/域名/url分发给不同的后端服务器。这看起来跟云服务厂商各自开发的负载均衡器差不多，比如AWS ELB。
在本地开发的时候，我们当然不会使用ELB来解决。直接使用Nginx当然也没啥问题，编辑一下配置文件，重启应用。但是如果有个UI就更好了，如果还有API就非常好了-这样就能方便的在线注册/更改路由而不需要重启服务器，在这个快速发展、弹性开发的年代更需要这个能力。
Kong是一个基于OpenResty的网关服务器，可以进行路由（转发/负载），插件（日志/认证/监控）管理，并提供RESTful API。而OpenResty 是一个基于Nginx与Lua的高性能Web平台，使用Lua来构建动态网关。听起来像是在Nginx上面编程，这跟在Apache上面使用PHP模块进行编程有什么区别？最大的区别在于，这里的编程对象是Nginx（或者公共模块），扩展Nginx能力，比如负载均衡/日志/认证/监控，而不是输出web页面/业务逻辑。这些东西抽出来以后，就不需要每个模块再重复开发了，比如认证/安全。
在本地可以使用docker来运行Kong服务，麻烦在于数据库迁移工作。通常部署Kong需要几个步骤，比如初始化数据库，迁移升级等等。网上的配置大都过时了，这里可以使用官方提供docker-compose.yml来做数据库工作，并且使用Konga作为管理UI

➜ kong ls
POSTGRES_PASSWORD data docker-compose.yml
➜ kong ls data
postgresql
➜ kong cat POSTGRES_PASSWORD
kong
➜ kong cat docker-compose.yml
version: '3.7'

volumes:
 kong_data: {}

networks:
 kong-net:
 external: false

services:
 kong-migrations:
 image: "${KONG_DOCKER_TAG:-kong:latest}"
 command: kong migrations bootstrap
 depends_on:
 - db
 environment:
 KONG_DATABASE: postgres
 KONG_PG_DATABASE: ${KONG_PG_DATABASE:-kong}
 KONG_PG_HOST: db
 KONG_PG_USER: ${KONG_PG_USER:-kong}
 KONG_PG_PASSWORD_FILE: /run/secrets/kong_postgres_password
 secrets:
 - kong_postgres_password
 networks:
 - kong-net
 restart: on-failure
 deploy:
 restart_policy:
 condition: on-failure

 kong-migrations-up:
 image: "${KONG_DOCKER_TAG:-kong:latest}"
 command: kong migrations up && kong migrations finish
 depends_on:
 - db
 environment:
 KONG_DATABASE: postgres
 KONG_PG_DATABASE: ${KONG_PG_DATABASE:-kong}
 KONG_PG_HOST: db
 KONG_PG_USER: ${KONG_PG_USER:-kong}
 KONG_PG_PASSWORD_FILE: /run/secrets/kong_postgres_password
 secrets:
 - kong_postgres_password
 networks:
 - kong-net
 restart: on-failure
 deploy:
 restart_policy:
 condition: on-failure

 kong:
 image: "${KONG_DOCKER_TAG:-kong:latest}"
 user: "${KONG_USER:-kong}"
 depends_on:
 - db
 environment:
 KONG_ADMIN_ACCESS_LOG: /dev/stdout
 KONG_ADMIN_ERROR_LOG: /dev/stderr
 KONG_ADMIN_LISTEN: '0.0.0.0:8001'
 KONG_CASSANDRA_CONTACT_POINTS: db
 KONG_DATABASE: postgres
 KONG_PG_DATABASE: ${KONG_PG_DATABASE:-kong}
 KONG_PG_HOST: db
 KONG_PG_USER: ${KONG_PG_USER:-kong}
 KONG_PROXY_ACCESS_LOG: /dev/stdout
 KONG_PROXY_ERROR_LOG: /dev/stderr
 KONG_PG_PASSWORD_FILE: /run/secrets/kong_postgres_password
 secrets:
 - kong_postgres_password
 networks:
 - kong-net
 ports:
 - "8000:8000/tcp"
 - "127.0.0.1:8001:8001/tcp"
 - "8443:8443/tcp"
 - "127.0.0.1:8444:8444/tcp"
 healthcheck:
 test: ["CMD", "kong", "health"]
 interval: 10s
 timeout: 10s
 retries: 10
 restart: on-failure
 deploy:
 restart_policy:
 condition: on-failure

 db:
 image: postgres:9.5
 environment:
 POSTGRES_DB: ${KONG_PG_DATABASE:-kong}
 POSTGRES_USER: ${KONG_PG_USER:-kong}
 POSTGRES_PASSWORD_FILE: /run/secrets/kong_postgres_password
 secrets:
 - kong_postgres_password
 healthcheck:
 test: ["CMD", "pg_isready", "-U", "${KONG_PG_USER:-kong}"]
 interval: 30s
 timeout: 30s
 retries: 3
 restart: on-failure
 deploy:
 restart_policy:
 condition: on-failure
 stdin_open: true
 tty: true
 networks:
 - kong-net
 volumes:
 - /Users/xxxx/docker/kong/data/postgresql:/var/lib/postgresql/data

 konga:
 image: pantsel/konga
 environment:
 TOKEN_SECRET: channing.token
 DB_ADAPTER: postgres
 DB_HOST: db
 DB_USER: ${KONG_PG_USER:-kong}
 DB_PASSWORD: kong
 DB_DATABASE: ${KONG_PG_DATABASE:-kong}
 ports:
 - 1337:1337
 networks:
 - kong-net

 depends_on:
 - db

secrets:
 kong_postgres_password:
 file: ./POSTGRES_PASSWORD

运行docker-composer up就可以看到

➜ kong docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
20ebe7885c0d kong:latest "/docker-entrypoint.…" 2 hours ago Up 11 seconds (healthy) 0.0.0.0:8000->8000/tcp, 127.0.0.1:8001->8001/tcp, 0.0.0.0:8443->8443/tcp, 127.0.0.1:8444->8444/tcp kong_kong_1
4a7a39c863ae pantsel/konga "/app/start.sh" 2 hours ago Up 11 seconds 0.0.0.0:1337->1337/tcp kong_konga_1
aa732758fc51 postgres:9.5 "docker-entrypoint.s…" 2 hours ago Up 11 seconds (health: starting) 5432/tcp kong_db_1

访问http://127.0.0.1:1337/即可以进入Konga 管理界面了。8000/8443端口是需要监听转发的端口，8001/8444则是Kong RESTFUl管理API的端口。这里也可以把8000/8443改为80/443，这样访问的时候就可以直接使用域名/localhost而不必加端口了。
注册登录进去后首先要添加Kong RESTFUl管理API的地址，这里使用的是docker环境，IP是动态分配的，所以使用链接名就可以了

连接上Kong API后可以看到dashboard列出了支持的插件

Kong里面的管理对象是service，路由转发/插件都是围绕service展开的，添加一个service

在它上面添加一个路由，这里我们在服务只监听以/api开头的url，并转发到后端服务器去

注意这里在route里面的path里面也需要添加/api，否则转发的时候会出错（多拼api）。最简单就是service监听不指定path，在route里指定。一个service下面可以有多个转发路由，每个可以独立管理、设置超时等。
还可以为每个service绑定不同的插件进行处理，比如认证/安全/日志等等，这样就不用在不同的系统里面重复开发这些功能，使得各个团队更加专注也本业务开发

有效插件还可以进行流量限制、请求头/响应头修改等等。这些插件的功能需要基于consumer来开发管理，功能可以非常强大，详细可以参考文档。
Kong还有一项功能Upstream配置，与Nginx的ngx_http_upstream_module差不多，可以作为负载均衡、流量分发控制使用。可以用命令行测试基于hostname的路由，

➜ kong curl -i -X GET \
 --url http://localhost:8000/ \
 --header 'Host: dev1.example.com'
HTTP/1.1 404 Not Found
Date: Tue, 27 Oct 2020 08:41:58 GMT
Content-Type: application/json; charset=utf-8
Connection: keep-alive
Content-Length: 48
X-Kong-Response-Latency: 1
Server: kong/2.1.4

{"message":"no Route matched with those values"} ➜ kong curl -i -X GET \
 --url http://localhost:8000/ \
 --header 'Host: dev.example.com'

HTTP/1.1 200 OK
Content-Type: text/html; charset=UTF-8
Transfer-Encoding: chunked
Connection: keep-alive
Date: Tue, 27 Oct 2020 08:42:21 GMT
Server: Apache/2.2.15 (CentOS)
X-Powered-By: PHP/5.6.40
Set-Cookie: PHPSESSID=0uc3aoc735j21sk3ni5s72vjc1; path=/
Expires: Thu, 19 Nov 1981 08:52:00 GMT
Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0
Pragma: no-cache
Access-Control-Allow-Credentials: true
Access-Control-Allow-Methods: POST, GET, OPTIONS, PUT, DELETE
Access-Control-Allow-Headers: X-CSRF-Token,Authorization,X-Accept-Charset,X-Accept,Content-Type
X-Kong-Upstream-Latency: 8397
X-Kong-Proxy-Latency: 0
Via: kong/2.1.4

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
...

作为一个API网关，Kong能做的很多。如果只是在本地简单的做反向代理，可以使用nginx-proxy-manager，这也是一个基于Nginx开发的网关，根据WEB UI动态生成Nginx配置文件，然后执行/usr/sbin/nginx -s reload生效。有些参数不能通过UI配置（比如超时设置），可以直接写Nginx配置，upstream则支持直接转发tcp请求，支持websockets代理转发，甚至集成了Let’s encrypt自动申请SSL证书（需要验证域名）

本地同样可以使用docker跑起来，默认监听80/443端口，81端口即管理界面

➜ nginx-proxy-manager ls -lah
total 16
drwxr-xr-x 6 xxxx domain users 192B Sep 29 10:24 .
drwxr-xr-x 15 xxxx domain users 480B Sep 29 09:15 ..
-rw-r--r-- 1 xxxx domain users 2.3K Sep 29 09:42 config.json
drwxr-xr-x 8 xxxx domain users 256B Sep 29 09:31 data
-rw-r--r-- 1 xxxx domain users 740B Sep 29 10:24 docker-compose.yml
drwxr-xr-x 3 xxxx domain users 96B Oct 27 16:38 letsencrypt
➜ nginx-proxy-manager cat docker-compose.yml
version: "3"
services:
 app:
 image: 'jc21/nginx-proxy-manager:latest'
 restart: always
 ports:
 # Public HTTP Port:
 - '80:80'
 # Public HTTPS Port:
 - '443:443'
 # Admin Web Port:
 - '81:81'
 # TCP Forward Example:
 - '8022:8022'
 volumes:
 # Make sure this config.json file exists as per instructions above:
 - ./config.json:/app/config/production.json
 - ./data:/data
 - ./letsencrypt:/etc/letsencrypt
 depends_on:
 - db
 db:
 image: jc21/mariadb-aria
 restart: always
 environment:
 MYSQL_ROOT_PASSWORD: 'npm'
 MYSQL_DATABASE: 'npm'
 MYSQL_USER: 'npm'
 MYSQL_PASSWORD: 'npm'
 volumes:
 - ./data/mysql:/var/lib/mysql
➜ nginx-proxy-manager docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
3dd58e9cff1f jc21/nginx-proxy-manager:latest "/init" 4 weeks ago Up 7 days (healthy) 0.0.0.0:80-81->80-81/tcp, 0.0.0.0:443->443/tcp, 0.0.0.0:8022->8022/tcp nginx-proxy-manager_app_1
a033151b28ed jc21/mariadb-aria "/scripts/run.sh" 4 weeks ago Up 7 days 3306/tcp nginx-proxy-manager_db_1

nginx-proxy-manager会将配置写在data目录下面，可以直接编辑这些文件，Nginx reload之后便会生效，可以看到这些文件，具体的加载规则参考文档

➜ nginx-proxy-manager ls data/nginx
dead_host default_host default_www dummycert.pem dummykey.pem proxy_host redirection_host stream temp
➜ nginx-proxy-manager cat data/nginx/proxy_host/1.conf
# ------------------------------------------------------------
# dev.example.com
# ------------------------------------------------------------
server {
 set $forward_scheme http;
 set $server "192.168.33.14";
 set $port 80;

 listen 80;
listen [::]:80;

 server_name dev.example.com;

 access_log /data/logs/proxy_host-1.log proxy;

proxy_connect_timeout 600;
proxy_send_timeout 600;
proxy_read_timeout 600;
send_timeout 600;

 location /Login {
 proxy_set_header Host $host;
 proxy_set_header X-Forwarded-Scheme $scheme;
 proxy_set_header X-Forwarded-Proto $scheme;
 proxy_set_header X-Forwarded-For $remote_addr;
 proxy_pass https://login.example.com:443;

 }

 location /api/v2 {
 proxy_set_header Host $host;
 proxy_set_header X-Forwarded-Scheme $scheme;
 proxy_set_header X-Forwarded-Proto $scheme;
 proxy_set_header X-Forwarded-For $remote_addr;
 proxy_pass http://192.168.33.14:9070;

 }

 location /api/v3 {
 proxy_set_header Host $host;
 proxy_set_header X-Forwarded-Scheme $scheme;
 proxy_set_header X-Forwarded-Proto $scheme;
 proxy_set_header X-Forwarded-For $remote_addr;
 proxy_pass https://dev.ops.example.com:443;

 }

 location /Chat {
 proxy_set_header Host $host;
 proxy_set_header X-Forwarded-Scheme $scheme;
 proxy_set_header X-Forwarded-Proto $scheme;
 proxy_set_header X-Forwarded-For $remote_addr;
 proxy_pass https://dev.ops.example.com:443;

 }

 location /Catalog {
 proxy_set_header Host $host;
 proxy_set_header X-Forwarded-Scheme $scheme;
 proxy_set_header X-Forwarded-Proto $scheme;
 proxy_set_header X-Forwarded-For $remote_addr;
 proxy_pass http://192.168.33.1:3000;

 }

 location /static {
 proxy_set_header Host $host;
 proxy_set_header X-Forwarded-Scheme $scheme;
 proxy_set_header X-Forwarded-Proto $scheme;
 proxy_set_header X-Forwarded-For $remote_addr;
 proxy_pass http://192.168.33.1:3000;

 }

 location /css {
 proxy_set_header Host $host;
 proxy_set_header X-Forwarded-Scheme $scheme;
 proxy_set_header X-Forwarded-Proto $scheme;
 proxy_set_header X-Forwarded-For $remote_addr;
 proxy_pass http://192.168.33.1:3000;

 }

 location / {

 # Proxy!
 include conf.d/include/proxy.conf;
 }

 # Custom
 include /data/nginx/custom/server_proxy[.]conf;
}

➜ nginx-proxy-manager cat data/nginx/stream/1.conf
# ------------------------------------------------------------
# 8022 TCP: 1 UDP: 0
# ------------------------------------------------------------
server {
 listen 8022;
listen [::]:8022;

 proxy_pass 192.168.33.14:22;

 # Custom
 include /data/nginx/custom/server_stream[.]conf;
 include /data/nginx/custom/server_stream_tcp[.]conf;
}

在docker-compose.yml里面设置一下upstream监听转发的端口，就可以通过8022端口访问192.168.33.14的22端口了

➜  nginx-proxy-manager telnet 127.0.0.1 8022
Trying 127.0.0.1...
Connected to localhost.
Escape character is '^]'.
SSH-2.0-OpenSSH_5.3
^C^C^C^C^C^C^CConnection closed by foreign host.

不论是Kong还是nginx-proxy-manager均有提供API，极大的增强服务网关的可编程性，为动态上线/弹性扩展/自动化运维提供了便利。

参考链接：
从IaaS到FaaS—— Serverless架构的前世今生
 聊一聊微服务网关 Kong
KONG网关 — KongA管理UI使用
 云原生架构下的 API 网关实践： Kong （二）
微服务 API 网关 -Kong 详解
 Creating a web API with Lua using Nginx OpenResty
Nginx基于TCP/UDP端口的四层负载均衡（stream模块）配置梳理
 Nginx支持TCP代理和负载均衡-stream模块
 聊聊 API Gateway 和 Netflix Zuul
Envoy 是什么？

MySQL事务隔离级别

Mon, 23 Sep 2019 14:52:34 +0800

MySQL的InnoDB存储引擎实现了事务，行级锁，优化主键查询，支持外键等等。事务遵循ACID特征：

A：原子性（atomicity），一个事务要么完全成功，要么完全失败
C：一致性（consistency），一个事务对数据的修改必须符合数据库预定义的约束，比如字段类型、外键约束等等
I：隔离性（isolation），多个事务同时进行时，事务之间数据的读写的隔离
D：持久性（Durability），事务提交成功后，对数据的修改即永久保存的，不会因为系统故障丢失

MySQL默认开启autocommit，除非碰到start transaction/commit/rollback等主动事务管理。事务保证了对于写的先后顺序问题，即A事务先开始变更，B事务的变更必须等A事务完成。此外事务也对读提供不容程度的隔离，与隔离级别有关，包括不同的等级：读未提交（Read uncommitted）、读已提交（read committed）、可重复读（repeatable read）和串行化（Serializable）。串行化为最高隔离级别，在这个隔离级别下面，读写都是顺序的，不会出现这些问题，但效率低下，MySQL默认隔离级别为可重复读。在其他隔离级别下面可能会出现不同的问题

隔离级别	脏读	不可重复读	幻读
读未提交(Read Uncommitted)	yes	yes	yes
读已提交(Read Committed)	no	yes	yes
可重复读(Repeatable Read)	no	no	yes
串行化(Searializable)	no	no	no

假设有一个表test结构为

CREATE TABLE `test` (
 `id` int(11) unsigned NOT NULL AUTO_INCREMENT,
 `total` int(11) DEFAULT 0,
 `status` int(11) NOT NULL DEFAULT '1',
 PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

INSERT INTO `test` (`id`, `total`, `status`) VALUES (1, 0, 1);

脏读是指A事务读到B事务未提交的事务，B事务可能取消更改，那么A事务读取的数据不可靠

操作顺序	事务A	事务B
1	`start transaction;`	`start transaction;`
2		`update total set total=100 where id=1;`
3	`select total from test where id=1;`
4		`rollback;`
5	`commit;`

结果

隔离级别	事务A	事务B
`读未提交(Read Uncommitted)`	由于可以读取到未提交的数据，total值为100	数据未更新
`读已提交(Read Committed)`	由于A事务读取数据时，事务B尚未提交，total值为原始数据	数据未更新
`可重复读（repeatable read）`	由于A事务开始前total值未发生改变，total值为原始数据	数据未更新

不可重复读是指A事务内，读取的记录数据不恒定，两次读取同一记录的值不一样，

操作顺序	事务A	事务B
1	`start transaction;`	`start transaction;`
2	`select total from test where id=1;`
3		`update test set total=100 where id=1;`
4		`commit;`
5	`select total from test where id=1;`
6	`commit;`

结果

隔离级别	事务A	事务B
`读未提交(Read Uncommitted)`	由于读取数据时不管是否提交，两次读取的total值不一样	数据已更新
`读已提交(Read Committed)`	由于A事务读取数据时，事务B已提交，两次读取的total值不一样	数据已更新
`可重复读（repeatable read）`	由于A事务开始前total值未发生改变，total值为原始数据，两次读取的total值一样	数据已更新

幻读是指A事务内读取的记录跟实际更改的记录不一致，比如查询表内所有符合条件的记录，并使结果加100

操作顺序	事务A	事务B
1	`start transaction;`	`start transaction;`
2	`select * from test;`
3		insert into `test` (`id`, `total`, `status`) values (2，0, 1);
4		`commit;`
5	`update test set total=total+100;`
6	`select * from test;`
7	`commit;`

结果

隔离级别	事务A	事务B
`读未提交(Read Uncommitted)`	由于事务A开始时id为2的记录尚未存在，于是更新所有数据；但由于事务B插入数据，于是事务A也更新事务B插入的数据；A事务第二次读取数据时，读出了事务B的数据	数据插入成功，但随后被事务A更新
`读已提交(Read Committed)`	由于A事务第一次读取数据时，id为2的记录尚未存在，于是更新所有数据；但由于事务B插入数据，于是事务A也更新事务B插入的数据；A事务第二次读取数据时，读出了事务B的数据	数据插入成功，但随后被事务A更新
`可重复读（repeatable read）`	由于A事务开始前total值未发生改变，id为2的记录尚未存在，于是更新所有数据；但由于事务B插入数据，于是事务A也更新事务B插入的数据；A事务第二次读取数据时，并没有读到事务B的数据	数据插入成功，但随后被事务A更新

或者当数据库里面没有记录时则增加

操作顺序	事务A	事务B
1	`start transaction;`	`start transaction;`
2	`select * from test;`
3		insert into `test` (`id`, `total`, `status`) values (3, 0, 1);
4		`commit;`
5	insert into `test` (`id`, `total`, `status`) values (3, 0, 1);
6	`select * from test;`
7	`commit;`

结果

隔离级别	事务A	事务B
`读未提交(Read Uncommitted)`	由于事务A读取记录时，id为3的记录不存在，于是插入数据；但由于事务B插入数据，于是事务A插入失败；A事务第二次读取时，读取到id为3的数据	数据插入成功
`读已提交(Read Committed)`	由于A事务读取数据时，id为3的记录不存在，于是插入数据；但由于事务B插入数据，于是事务A插入失败；A事务第二次读取时，读取到id为3的数据	数据插入成功
`可重复读（repeatable read）`	由于A事务开始前id为3的记录尚未存在，于是插入数据；但由于事务B插入数据，于是事务A插入失败；A事务第二次读取时，未读取到id为3的数据	数据插入成功

可重复读与读已提交是互斥的，区别在于是否可以读取到已提交的变更，譬如Oracle的隔离级别为读已提交，可以通过 SET TRANSACTION ISOLATION LEVEL READ COMMITTED更改。

除了串行化，其他隔离级别对读是不加锁的，这可能会造成一种情况：事务A读取了数据然后做其他事情了（进入循环或耗时计算），事务B也读取了同一行数据并先提交变更，此后事务A也提交变更但没有重新获取最新值，此时事务B的变更丢失（被覆盖），即更新丢失

操作顺序	事务A	事务B
1	`start transaction;`	`start transaction;`
2	`select id,total,status from test where id=1;`	`select status from test where id=1;`
3		`update test set status=2 where id=1;`
4		`commit;`
5	`update test set total=200, status=1 where id=1;`
6	`select * from test where id=1;`
7	`commit;`

结果

隔离级别	事务A	事务B
`读未提交(Read Uncommitted)`	由于事务A第一次读取记录时status为1，A事务更新时，事务B已提交，A事务提交变更重新改写status为1。重新读取记录最新数据可以解决	更新丢失
`读已提交(Read Committed)`	由于A事务第一次读取记录时status为1，A事务更新时，事务B已提交，A事务提交变更重新改写status为1。重新读取记录最新数据可以解决	更新丢失
`可重复读（repeatable read）`	由于A事务开始前id为1的status为1，A事务提交变更覆盖B事务的变更，重新改写status为1。重新读取记录最新数据不能解决。	更新丢失

在隔离级别为串行化的情况下可解决更新丢失，因为它对读也加锁，另一事务的读操作必须等待当前事务完成。可以在查询里面使用SELECT…FOR UPDATE为当前事务记录加锁，这样其他事务读取该记录也必须等待，即拿到最新值。其他事务也可以使用NOWAIT快速失败或者SKIP LOCKED跳过对该记录的查询。

SELECT…FOR UPDATE申请的锁为排他锁，锁有不同类型，比如行锁，区间锁，next-key锁等。此外SELECT…FOR SHARE可以加读锁（共享锁），即本次事务获得锁了，其他事务可以读，但是不能更新；如果其他事务先获得锁并开始更新，则本次事务等待。

对于更新丢失问题，可以将表拆小，这样更新的操作更加细致，比如status和total分开，减少不同进程更新数据的冲突；更新时带上更多条件，比如status=1条件，失败则返回或重试；更前再次刷新数据，比较cache中的版本；其他手段加锁等等。

SELECT…FOR UPDATE对记录加锁，要注意不同事务之间避免互相等待，造成死锁，比如不同先后为不同记录申请锁

操作顺序	事务A	事务B
1	`start transaction;`	`start transaction;`
2	`select * from test where id=1 for update;`
3		`select * from test where id=2 for update;`
4	`select * from test where id=2 for update;`
5		`select * from test where id=1 for update;`
6	`deadlock;`	`deadlock;`

这样会造成事务A、B互相等待对方事务完成（释放）超时。或者A事务对记录加读锁后等待写锁，而B事务获得写锁了，等待读锁，也会造成死锁

操作顺序	事务A	事务B
1	`start transaction;`	`start transaction;`
2	`select * from test where id=1 for update;`
3		insert into `test` (`id`, `total`, `status`) values (4, 0, 1);
4	insert into `test` (`id`, `total`, `status`) values (5, 0, 1);
5		`select * from test where id=1 for update;`
6	`deadlock;`	`deadlock;`

这个问题应该通过合理的程序设计，先避免不同程序对同一记录竞争加锁；分解大事务为小事务，加速事务提交；减少不必要的锁的申请；当需要排他锁时不应先申请共享锁；降级事务隔离等级为读已提交等等。

参考资料：
深入学习MySQL事务：ACID特性的实现原理
 解析MySQL事务隔离级别
 MySQL 四种事务隔离级的说明
 MySQL 锁机制
 【BAT面试题系列】面试官：你了解乐观锁和悲观锁吗？

使用pack/unpack打包/解包二进制数据

Wed, 14 Aug 2019 14:24:47 +0800

web开发中，通常使用的API接口协议都是基于HTTP(S)的文本协议，比如JSON或XML。这对于跨编程语言的通信已经没有问题了，但有时候会采用二进制的数据来通信，以便获得更高的性能，比如Apache Thrift、gRPC/Protocol Buffer。各个编程语言都有对应的pack/unpack函数，PHP可以使用pack/unpack函数对数据进行二进制编码/解码，它与Perl的pack函数比较类似。
PHP的pack函数至少需要两个参数，第一个参数为打包格式，第二个参数开始为打包的数据。每个格式化字符后面可以跟字节长度，对应打包一个数据；也可以用*自动匹配所有后面的数据，具体的格式化字符可以参考pack函数页面。来看下面的例子pack.php

<?php
declare(strict_types=1);

$data = array(
 array(
 'title' => 'C Programming',
 'author' => 'Nuha Ali',
 'subject' => 'C Programming Tutorial',
 'book_id' => 6495407
 ),
 array(
 'title' => 'Telecom Billing',
 'author' => 'Zara Ali',
 'subject' => 'Telecom Billing Tutorial',
 'book_id' => 6495700
 ),
 array(
 'title' => 'PHP Programinng',
 'author' => 'Channing Huang',
 'subject' => 'PHP Programing Tutorial',
 'book_id' => 6495701
 )
);
$fp = \fopen("example","wb");
foreach ($data as $row) {
 $bin = \pack('Z50Z50Z100i', ...\array_values($row));
 \fwrite($fp, $bin);
}
\fclose($fp);

这里有个books数组，每个book包含4个数据：title、author、subject、bookid，对应的格式化是Z50、Z50、Z100、i。Z50意思是打包成50的字节的二进制数据，剩余部分使用NULL填充，这个跟使用a50是类似的，如果要用空格填充则格式化字符应该是A50。Z100类似Z50，不过字节长度为100。i的意思是打包成有符号的整型对应C里面的signed integer，占4个字节。所以每个book应该占50+50+100+4=204字节，3个book总占用612字节。查看一下

[vagrant@localhost bin]$ ls -la | grep example
-rw-r--r--. 1 vagrant vagrant 612 Aug 14 02:22 example

使用xxd查看它的二进制内容，确定是使用NULL填充不足部分

[vagrant@localhost bin]$ xxd -b example 
0000000: 01000011 00100000 01010000 01110010 01101111 01100111 C Prog
0000006: 01110010 01100001 01101101 01101101 01101001 01101110 rammin
000000c: 01100111 00000000 00000000 00000000 00000000 00000000 g.....
0000012: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000018: 00000000 00000000 00000000 00000000 00000000 00000000 ......
000001e: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000024: 00000000 00000000 00000000 00000000 00000000 00000000 ......
000002a: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000030: 00000000 00000000 01001110 01110101 01101000 01100001 ..Nuha
0000036: 00100000 01000001 01101100 01101001 00000000 00000000 Ali..
000003c: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000042: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000048: 00000000 00000000 00000000 00000000 00000000 00000000 ......
000004e: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000054: 00000000 00000000 00000000 00000000 00000000 00000000 ......
000005a: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000060: 00000000 00000000 00000000 00000000 01000011 00100000 ....C 
0000066: 01010000 01110010 01101111 01100111 01110010 01100001 Progra
000006c: 01101101 01101101 01101001 01101110 01100111 00100000 mming 
0000072: 01010100 01110101 01110100 01101111 01110010 01101001 Tutori
0000078: 01100001 01101100 00000000 00000000 00000000 00000000 al....
000007e: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000084: 00000000 00000000 00000000 00000000 00000000 00000000 ......
000008a: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000090: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000096: 00000000 00000000 00000000 00000000 00000000 00000000 ......
000009c: 00000000 00000000 00000000 00000000 00000000 00000000 ......
00000a2: 00000000 00000000 00000000 00000000 00000000 00000000 ......
00000a8: 00000000 00000000 00000000 00000000 00000000 00000000 ......
00000ae: 00000000 00000000 00000000 00000000 00000000 00000000 ......
00000b4: 00000000 00000000 00000000 00000000 00000000 00000000 ......
00000ba: 00000000 00000000 00000000 00000000 00000000 00000000 ......
00000c0: 00000000 00000000 00000000 00000000 00000000 00000000 ......
00000c6: 00000000 00000000 10101111 00011100 01100011 00000000 ....c.
00000cc: 01010100 01100101 01101100 01100101 01100011 01101111 Teleco
00000d2: 01101101 00100000 01000010 01101001 01101100 01101100 m Bill
00000d8: 01101001 01101110 01100111 00000000 00000000 00000000 ing...
00000de: 00000000 00000000 00000000 00000000 00000000 00000000 ......
00000e4: 00000000 00000000 00000000 00000000 00000000 00000000 ......
00000ea: 00000000 00000000 00000000 00000000 00000000 00000000 ......
00000f0: 00000000 00000000 00000000 00000000 00000000 00000000 ......
00000f6: 00000000 00000000 00000000 00000000 00000000 00000000 ......
00000fc: 00000000 00000000 01011010 01100001 01110010 01100001 ..Zara
0000102: 00100000 01000001 01101100 01101001 00000000 00000000 Ali..
0000108: 00000000 00000000 00000000 00000000 00000000 00000000 ......
000010e: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000114: 00000000 00000000 00000000 00000000 00000000 00000000 ......
000011a: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000120: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000126: 00000000 00000000 00000000 00000000 00000000 00000000 ......
000012c: 00000000 00000000 00000000 00000000 01010100 01100101 ....Te
0000132: 01101100 01100101 01100011 01101111 01101101 00100000 lecom 
0000138: 01000010 01101001 01101100 01101100 01101001 01101110 Billin
000013e: 01100111 00100000 01010100 01110101 01110100 01101111 g Tuto
0000144: 01110010 01101001 01100001 01101100 00000000 00000000 rial..
000014a: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000150: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000156: 00000000 00000000 00000000 00000000 00000000 00000000 ......
000015c: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000162: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000168: 00000000 00000000 00000000 00000000 00000000 00000000 ......
000016e: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000174: 00000000 00000000 00000000 00000000 00000000 00000000 ......
000017a: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000180: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000186: 00000000 00000000 00000000 00000000 00000000 00000000 ......
000018c: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000192: 00000000 00000000 11010100 00011101 01100011 00000000 ....c.
0000198: 01010000 01001000 01010000 00100000 01010000 01110010 PHP Pr
000019e: 01101111 01100111 01110010 01100001 01101101 01101001 ogrami
00001a4: 01101110 01101110 01100111 00000000 00000000 00000000 nng...
00001aa: 00000000 00000000 00000000 00000000 00000000 00000000 ......
00001b0: 00000000 00000000 00000000 00000000 00000000 00000000 ......
00001b6: 00000000 00000000 00000000 00000000 00000000 00000000 ......
00001bc: 00000000 00000000 00000000 00000000 00000000 00000000 ......
00001c2: 00000000 00000000 00000000 00000000 00000000 00000000 ......
00001c8: 00000000 00000000 01000011 01101000 01100001 01101110 ..Chan
00001ce: 01101110 01101001 01101110 01100111 00100000 01001000 ning H
00001d4: 01110101 01100001 01101110 01100111 00000000 00000000 uang..
00001da: 00000000 00000000 00000000 00000000 00000000 00000000 ......
00001e0: 00000000 00000000 00000000 00000000 00000000 00000000 ......
00001e6: 00000000 00000000 00000000 00000000 00000000 00000000 ......
00001ec: 00000000 00000000 00000000 00000000 00000000 00000000 ......
00001f2: 00000000 00000000 00000000 00000000 00000000 00000000 ......
00001f8: 00000000 00000000 00000000 00000000 01010000 01001000 ....PH
00001fe: 01010000 00100000 01010000 01110010 01101111 01100111 P Prog
0000204: 01110010 01100001 01101101 01101001 01101110 01100111 raming
000020a: 00100000 01010100 01110101 01110100 01101111 01110010 Tutor
0000210: 01101001 01100001 01101100 00000000 00000000 00000000 ial...
0000216: 00000000 00000000 00000000 00000000 00000000 00000000 ......
000021c: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000222: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000228: 00000000 00000000 00000000 00000000 00000000 00000000 ......
000022e: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000234: 00000000 00000000 00000000 00000000 00000000 00000000 ......
000023a: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000240: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000246: 00000000 00000000 00000000 00000000 00000000 00000000 ......
000024c: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000252: 00000000 00000000 00000000 00000000 00000000 00000000 ......
0000258: 00000000 00000000 00000000 00000000 00000000 00000000 ......
000025e: 00000000 00000000 11010101 00011101 01100011 00000000 ....c.

PHP的unpack函数有三个参数，第一个为解包的格式化字符，第二个为打包过的数据，第三个为起始偏移量。解包后返回一个关联数组，可以在解包的格式化字符串后面跟对应的key。

<?php
declare(strict_types=1);

$fp = \fopen("example","rb");
while (!\feof($fp)) {
 $data = \fread($fp,204);
 if($data) {
 $arr = \unpack("Z50title/Z50author/Z100subject/ibook_id",$data);
 foreach ($arr as $key => $value) {
 echo $key. "->" . $value.PHP_EOL;
 }
 echo PHP_EOL;
 }
}
\fclose($fp);

这样就可以读取对应的二进制文件，并正确解析出来。
不同的编程语言都可以对二进制文件进行读写。比如C语言里面打包上面的数据

#include<stdio.h>
#include<stdlib.h>

struct book {
 char title[50];
 char author[50];
 char subject[100];
 int id;
};
 
 int main()
 {
 FILE *fp;
 struct book books[3] = {
 {"C Programming", "Nuha Ali", "C Programming Tutorial", 6495407},
 {"Telecom Billing", "Zara Ali", "Telecom Billing Tutorial", 6495700},
 {"PHP Programinng", "Channing Huang", "PHP Programing Tutorial", 6495701}
 };
 fp = fopen("newbook", "wb");
 
 if(fp == NULL)
 {
 printf("Error opening file\n");
 exit(1);
 }
 printf("sizeof books %10lu\n", sizeof(books));
 printf("sizeof book struct %10lu\n", sizeof(struct book));
 printf("sizeof book1 title %10lu\n", sizeof(books[0].title));
 printf("sizeof book1 author %10lu\n", sizeof(books[0].author));
 printf("sizeof book1 subject %10lu\n", sizeof(books[0].subject));
 printf("sizeof book1 id %10lu\n", sizeof(books[0].id));
 fwrite(books, sizeof(books), 1, fp);
 fclose(fp);
 return 0;
 }

编译运行一下

[vagrant@localhost bin]$ gcc -o pack pack.c
[vagrant@localhost bin]$ ./pack
sizeof books 612
sizeof book struct 204
sizeof book1 title 50
sizeof book1 author 50
sizeof book1 subject 100
sizeof book1 id 4
[vagrant@localhost bin]$ ls -lah | grep newbook
-rw-r--r--. 1 vagrant vagrant 612 Aug 14 02:50 newbook

可以看到生成的文件大小与上面的一样，使用xxd查看的内容也跟上面的一样，并且可以使用unpak.php解析。类似的也可以用C来解析PHP打包的二进制数据

#include<stdio.h>
#include<stdlib.h>

struct book {
 char title[50];
 char author[50];
 char subject[100];
 int id;
};
 
 int main()
 {
 int i;
 FILE *fp;
 struct book Book;
 fp = fopen("example", "rb");
 
 if(fp == NULL)
 {
 printf("Error opening file\n");
 exit(1);
 }
 for (i=0;i<3; i++)
 {
 fread(&Book,sizeof(struct book),1,fp);
 printf( "Book title : %s\n", Book.title);
 printf( "Book author : %s\n", Book.author);
 printf( "Book subject : %s\n", Book.subject);
 printf( "Book book_id : %d\n", Book.id);
 }
 fclose(fp);
 return 0;
 }

编译运行一下

[vagrant@localhost bin]$ gcc -o unpack unpack.c
[vagrant@localhost bin]$ ./unpack
Book title : C Programming
Book author : Nuha Ali
Book subject : C Programming Tutorial
Book book_id : 6495407
Book title : Telecom Billing
Book author : Zara Ali
Book subject : Telecom Billing Tutorial
Book book_id : 6495700
Book title : PHP Programinng
Book author : Channing Huang
Book subject : PHP Programing Tutorial
Book book_id : 6495701

这里使用C的struct定义打包解包数据，这里面有两个问题：字节对齐和NULL填充。字节对齐会导致生成的二进制文件大小与结构体里面定义的不一样，比如将title改为40个字节，整个book预计占用194字节，实际占用196字节（4的倍数），编译器自动填充了2个字节到title后面。所以要注意数据结构体的设计，避免过多对齐浪费。C语言的字符串其实是字符数组加上NUL结束符（\0）,像上面那样初始化字符串是编译器默认填充的是NUL，但如果声明时没有初始化而是在后面赋值，比如strcpy，则可能在NUL后面填充非NUL值，导致在PHP解析出这些不必要的字符，显示不准确，这也是为什么在PHP里面解析时我们使用Z而不是A解析符的原因，它在碰到NUL便返回，不管后面填充的内容了。可以使用memset手动填充不足部分为’\0’，这样子就可以保证剩余部分全为NULL了。
对于unsigned short，unsigned long，float，double还有大端序、小端序，字节顺序可以参考这里。通常网络设备传输的字节序为大端序，而大部分CPU（x86）处理的字节序为小端序。这里只要通信双方沟通统一使用大端序或小端序即可，不需要关心传输过程中的自动转换。比如在PHP里面发送一个数字（4字节）和8个字符（8字节）

<?php
declare(strict_types=1);

$host = "127.0.0.1";
$port = 9872;

$socket = \socket_create(AF_INET, SOCK_STREAM, SOL_TCP)
 or die("Unable to create socket\n");

@\socket_connect($socket, $host, $port) or die("Connect error.\n");

if ($err = \socket_last_error($socket))
{

 \socket_close($socket);
 die(\socket_strerror($err) . "\n");
}

$binarydata = \pack("Na8", "256", "Channing");
echo \bin2hex($binarydata).PHP_EOL;
$len = \socket_write ($socket , $binarydata, strlen($binarydata));
\socket_close($socket);

PHP里面数字的格式化字符是N，即采用大端序32位编码。在GO里面接收，使用大端序解析位数字

package main

import (
	"fmt"
	"net"
	"encoding/binary"
)

const BUF_SIZE = 12

func handleConnection(conn net.Conn) {
	defer conn.Close()
	buf := make([]byte, BUF_SIZE)
	n, err := conn.Read(buf)

	if err != nil {
		fmt.Printf("err: %v\n", err)
		return
	}

	//fmt.Printf("\nreceive：%d bytes，data：%x, %s\n", n, buf[:4], buf[4:])
	fmt.Printf("\nreceive：%d bytes，data：%d, %s\n", n, binary.BigEndian.Uint32(buf[:4]), buf[4:])
}

func main() {
	ln, err := net.Listen("tcp", ":9872")

	if err != nil {
		fmt.Printf("error: %v\n", err)
		return
	}

	for {
		conn, err := ln.Accept()
		if err != nil {
			continue
		}
		go handleConnection(conn)
	}
}

运行recieve.go 和 send.php，可以正常收发

[root@localhost bin]$ php send.php
000001004368616e6e696e67


[root@localhost bin]$ go run receive.go 

receive：12 bytes，data：256, Channing

如果在PHP里面使用了不匹配的格式化符号，比如i或者n，GO里面将解析错误。这里也可以采用小端序编码和解析。
pack后的二进制数据可以使用bin2hex转换为16进制查看，使用chr转换单个字节为可读性字符。
通常我们读写的是文本文件，这里读写的是二进制文件，文本文件到二进制文件有个编码过程，比如ASCII、UTF-8。其实文本文件，图片文件，都是二进制文件，都可以使用xxd查看，只不过特定软件能够解析（解码）对应的二进制字节数据。使用xxd查看时，它只能现显示ASCII可打印字符，不能显示的用点号表示。

参考链接：
Apache Thrift – 可伸缩的跨语言服务开发框架
 Google Protocol Buffer 的使用和原理
 高效的数据压缩编码方式 Protobuf
PHP: 深入pack/unpack
C Programming Files I/O
Unpacking binary data in PHP
大端和小端（Big endian and Little endian）
PHP RPC开发之Thrift

短网址生成

Wed, 07 Aug 2019 15:25:04 +0800

有时候我们想把一个URL分享给别人，如果URL参数太多，或者太长了，生成的二维码就不好扫描，不方便分享。于是便有了缩短网址的需求，比如微博的t.cn，微信的url.cn，Twitter的t.co。甚至有Bitly.com这样的第三方短网址服务商，提供url访问统计/营销。
怎么样将一个长URL映射成短的URL？如果只是单纯的字符串压缩，很难达到，没办法预计URL有多长。将URL MD5后看起来可行，但是有点长，我们不需要那么多位。最简单的就是在数据库里面存储，一个ID对应一个URL。事实上世界上的URL仍然没有超过2的64次方，因此我们采用自增数字ID就可以了，比如数据库自增量或分布式ID生成器。使用自增数字ID的好处是它可以作为数据库主键，通过它来查找对应的URL就很快来。但是随着ID的增长，它也会变得很长，我们还可以将它缩短：将一个10进制的数字转换为62进制的字符串，最多只要11个字符就可以了。

如果能预计需要生成的网址数量，还可以再缩短，譬如世界上的网址数量大概50亿，62的7次方远大于这个数，因此7个字符足够了。
当访问短网址时，需要301/302重定向到原本的长网址。如果是301永久重定向，则搜索引擎会直接显示重定向后的地址。
PHP函数base_convert可以在2和36进制之间转换，对于62进制就不行，这里分享一个Base62 的转换类，可以将10进制数字转换位62进制

<?php

declare(strict_types=1);

namespace Dig\Conversion;


class Base
{
 const BASE_MIN = 2;
 const BASE_MAX = 62;

 public function __construct(int $base, string $aplphabet)
 {
 if (($base < self::BASE_MIN) || ($base > self::BASE_MAX)) {
 throw new \Exception('base convert only require '.self::BASE_MIN.' <= base <= '.self::BASE_MAX);
 }
 if (empty($aplphabet)) {
 throw new \Exception('cannot have empty aplphabet');
 }
 if ($base > \strlen($aplphabet)) {
 throw new \Exception('base convert only require base <= aplphabet length ');
 }
 $this->base = $base;
 $this->alphabet = $aplphabet;
 }

 public function encode(int $number): string
 {
 $number = (string) $number;
 $base = (string) $this->base;
 $reminder = \bcmod($number, $base);
 $quotient = \bcdiv($number, $base);
 $result = $this->alphabet[$reminder];

 while ($quotient) {
 $reminder = \bcmod($quotient, $base);
 $quotient = \bcdiv($quotient, $base);
 $result = $this->alphabet[$reminder] . $result;
 }
 return $result;
 }
 public function decode(string $number): int
 {
 $base = (string) $this->base;
 $length = \strlen($number);
 $result = (string) \strpos($this->alphabet, $number[0]);

 for ($i = 1; $i < $length; $i++) {
 $result = \bcadd(\bcmul($base, $result), (string) \strpos($this->alphabet, $number[$i]));
 }
 return (int)$result;
 }
}

class Base62 extends Base
{
 public function __construct()
 {
 parent::__construct(62, '0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ');
 }
}

这里使用a-z表示10-36，A-Z表示37-62。注意这里需要用到BCMath扩展，否则对于超过2的32次方的大数字数不准确。也可以使用GMP扩展的gmp_strval函数直接转换。注意gmp使用A-Z表示10-36，a-z表示37-62。
测试一下：

include __DIR__.'/../vendor/autoload.php';

use Dig\Conversion\Base62;


$base62 = new Base62();
$id = 56800235584;

for ($i = 1; $i < 100; $i++) {
 $encode = $base62->encode($id);
 $decode = $base62->decode($encode);
 echo $id.'->'.$encode.'->'.$decode.PHP_EOL;
 $id += $i;
}

这里的起始ID可以自定义或者在分布式ID生成器里面更改CUSTOM_EPOCH生成合适的值。
由于这个ID本身就是唯一，映射为固定长度的字符，也可以用来做唯一标识，比如匿名用户的ID，Ngrok三级域名等等。
这个类可以扩展成支持任意2-64进制的转换，更改映射的字符串就行了。
注意这里的Base62转换于PHP函数base64_encode/base64_decode没有任何关系，即使在这个类的基础上增加2个字符支持Base64编码也不一样。Base64是使用64个可打印字符对二进制数据的编码解码，它的编码表与这里定义的不一样。

参考链接：
如何设计一个短网址服务(TinyURL)？
converting a number base 10 to base 62 (a-zA-Z0-9)
Generating IDs like Youtube or Bit.ly using PHP
PHP Base-62 encoding
Shortening Strings (URLs) using Base 62 Encoding
Base 2, 8, 16, 62, N Conversion – PHP

基于Swoole和Zookeeper的分布式ID生成器

Sun, 28 Jul 2019 11:48:22 +0800

大部分业务都需要一个唯一标识ID，比如订单ID、消息ID，通常使用的ID就是数据库的自增ID，比如MySQL的AUTO_INCREMENT；有时候这个ID还需要在不同系统里面传递、保存，又要保证唯一性。单机MySQL在高并发请求下面又可能存在锁/性能问题，于是Flicker使用两台MySQL来生成ID，一台从0开始，一台从1开始，步长为2，这样两台生成的ID不会互相重复，这个方案也可以扩展成N台，自增步长为N即可。
作为一个分布式ID应当避免在不同节点同步ID信息，通常都是基于时间戳和机器信息来生成。比如MongoDB的ObjectId是提前生成的为12字节=4字节UNIX时间戳+3字节机器码+2字节进程ID+2字节计数序列。
如果不需要访问数据库即能生成ID，性能可以更高。比如UUID V1，基于时间戳和网卡，采用128位，可以生成范围非常广的ID，但是生成的16进制值的36位字符串不好排序。在MySQL里面可以通过调整机器码（MAC）和时间戳位置顺序，并采用binary来存储以提高性能。
Twitter开源的Snowflake则生成64位数字ID，包括41时间戳，10位机器码/节点码，12位计数序列，另外1位保留。采用基于时间戳的数字ID的好处是这个ID可以当作主键，并且已经粗略按时间排好序，可以直接分页读取，省去在时间字段上建立索引。

分布式ID通常需要用到机器信息（节点ID或MAC），一个机器通常只运行一个服务进程，所以通常不采用Nginx/Apache + PHP。参考这里实现一个基于Swoole和Zookpeer的64位ID生成器。基于Swoole可以快速开发一个Web/Socket server，不同于Apache/Nginx，它的PHP进程启动后是常驻运行的，资源初始化后可以重复使用，使用Zookpeer来获取当前进程的节点ID，一旦PHP进程退出后便会销毁对应的节点ID。
首先是生成ID

<?php

declare(strict_types=1);

namespace Dig\Ticket;

use Dig\Ticket\Exception\IllegalTimeException;

class Number
{
 public const TOTAL_BIT = 64;
 public const EPOCH_BIT = 42;
 public const NODE_BIT = 10;
 public const SEQUENCE_BIT = 12;

 public const MAX_NODE_ID = 2 ** self::NODE_BIT - 1;
 public const MAX_SEQUENCE_NUMBER = 2 ** self::SEQUENCE_BIT - 1;
 public const CUSTOM_EPOCH = 1262332800000;

 private $lastTimestamp = 0;
 private $sequence = 0;

 private $nodeId = 0;

 public function __construct(int $nodeId)
 {
 $this->nodeId = $nodeId;
 }

 public function getNodeId(): int
 {
 return $this->nodeId;
 }

 public function getTimestamp(): int
 {
 return (int) (\microtime(true) * 1000) - self::CUSTOM_EPOCH;
 }

 public function generate(): int
 {
 $current = $this->getTimestamp();
 if ($current < $this->lastTimestamp) {
 throw new IllegalTimeException('current timestamp cannot less than before');
 }
 if ($current === $this->lastTimestamp) {
 $this->sequence = ($this->sequence + 1) & self::MAX_SEQUENCE_NUMBER;
 if (0 === $this->sequence) {
 $current = $this->_waitNextTimestamp($current);
 }
 } else {
 $this->sequence = 0;
 }
 $this->lastTimestamp = $current;
 $id = $current << (self::TOTAL_BIT - self::EPOCH_BIT);
 $id = $id | ($this->getNodeId() << (self::TOTAL_BIT - self::EPOCH_BIT - self::NODE_BIT));
 $id = $id | $this->sequence;

 return $id;
 }

 private function _waitNextTimestamp($current)
 {
 while ($current === $this->lastTimestamp) {
 $current = $this->getTimestamp();
 }

 return $current;
 }
}

这里只涉及到ID生成，包括时间戳，序列号获取，而节点ID由其他对象生成并传入。2的42次方减1等于4398046511103，大概就是2109年5月15日，可以使用(2^42-1)/(365*24*60*60*1000)≈139年，距离现在还有90年可以用，仍然是一个非常大的可使用范围。CUSTOM_EPOC是自定义的时间戳偏移量，以便选取合适的ID生成下限和上限。距离现在节点生成的接口定义

<?php

declare(strict_types=1);

namespace Dig\Ticket;

interface NodeInterface
{
 public const MAX_NODE_ID = 2 ** Number::NODE_BIT - 1;

 public function getId(): int;
}

这里定义了最大节点序号不能超过1023，可以依据自己的需求更改范围。节点ID的实现可以是基于网卡/进程ID/文件配置等等实现，但是不同机器或多进程之间需要不一样的ID或者需要锁保证上面的generate函数。

<?php

declare(strict_types=1);

namespace Dig\Zookeeper;

class Client extends \Zookeeper
{
 public function makePath(string $path, string $value = ''): bool
 {
 $arrPath = \explode('/', $path);
 if (!empty($arrPath)) {
 $arrPath = \array_filter($arrPath);
 $subpath = '';
 $flag = true;
 foreach ($arrPath as $p) {
 $subpath .= '/'.$p;
 if (!$this->exists($subpath)) {
 if (!$this->makeNode($subpath, $value)) {
 $flag = false;
 break;
 }
 }
 }

 return $flag;
 }

 return false;
 }

 public function makeNode(string $path, string $value, array $acls = [], int $flag = 0): bool
 {
 if (empty($acls)) {
 $acls = [
 [
 'perms' => \Zookeeper::PERM_ALL,
 'scheme' => 'world',
 'id' => 'anyone',
 ],
 ];
 }
 if ($this->create($path, $value, $acls, $flag)) {
 return true;
 }

 return false;
 }

 public function deletePath(string $path): bool
 {
 $children = $this->getChildren($path);
 if (!empty($children)) {
 foreach ($children as $child) {
 $subpath = $path.'/'.$child;
 $this->deletePath($subpath);
 }
 }

 return $this->delete($path);
 }
}

这里使用Zookeeper实现

<?php

declare(strict_types=1);

namespace Dig\Ticket\Node;

use Dig\Ticket\Exception\UnavailableNodeIdException;
use Dig\Ticket\NodeInterface;
use Dig\Zookeeper\Client;

class Zookeeper implements NodeInterface
{
 private $zk;
 private $dsn;
 private $pool;
 private $basePath = '/dig/ticket';
 private $acls = [
 [
 'perms' => \Zookeeper::PERM_ALL,
 'scheme' => 'world',
 'id' => 'anyone',
 ],
 ];
 private $id;

 public function __construct(string $dsn, string $path = '/sim/ticket')
 {
 $this->dsn = $dsn;
 $this->pool = new \SplQueue();
 if (!empty($path)) {
 $this->basePath = $path;
 }
 }

 public function getZookeeper(): Client
 {
 if (null === $this->zk) {
 $this->zk = new Client($this->dsn);
 }

 return $this->zk;
 }

 public function getId(): int
 {
 if (null === $this->id) {
 if (!$this->getZookeeper()->exists($this->basePath)) {
 $this->getZookeeper()->makePath($this->basePath);
 }
 $i = 1;
 $length = \mb_strlen((string) self::MAX_NODE_ID);
 $nodeId = \sprintf('%0'.$length.'d', $i);
 $children = $this->getZookeeper()->getChildren($this->basePath);
 $children = empty($children) ? [] : $children;
 for (; $i <= self::MAX_NODE_ID; ++$i) {
 $nodeId = \sprintf('%0'.$length.'d', $i);
 if (!\in_array($nodeId, $children)) {
 $path = $this->basePath.'/'.$nodeId;
 if ($this->getZookeeper()->exists($path)) {
 //throw new UnavailableNodeIdException('node already exist: '.$path);
 continue;
 }
 try {
 $this->getZookeeper()->makeNode($path, $nodeId, $this->acls, \Zookeeper::EPHEMERAL);
 break;
 } catch (\ZookeeperException $e) {
 //throw new UnavailableNodeIdException('cannot create node in zookeeper: '.$e->getMessage());
 continue;
 }
 }
 }
 if (self::MAX_NODE_ID === $i) {
 throw new UnavailableNodeIdException('cannot create node in zookeeper: reach max node limit '.self::MAX_NODE_ID);
 }
 $this->id = $i;
 }

 return $this->id;
 }
}

这里遍历查询1-1023之间的节点是否都已在Zookeeper上注册，如果没有则注册，Zookeeper会保证只有一个客户端注册成功。注册的节点类型位Zookeeper::EPHEMERAL，在客户端退出时，该节点会被自动删除，方便其他机器/进程申请。在这篇文章里面我们也使用Zookeeper::EPHEMERAL配合Zookeeper::EPHEMERAL，生成序列号，用来确定进程的master/slave。
初始化并运行Swoole Web server，需要传入Zookeeper的连接字符串，可以使用docker快速部署

<?php
include __DIR__.'/../vendor/autoload.php';
use Dig\Ticket\Number;
use Dig\Ticket\Node\Zookeeper as ZookeeperNode;


/** 
 * swoole - zookeeper tick dispatch issue: https://github.com/php-zookeeper/php-zookeeper
*/
$host = getenv("ZOOKEEPER_CONNECTION");
$host = empty($host) ? "192.168.33.1:2181" : $host;
$node = new ZookeeperNode($host);

$http = new \Swoole\Http\Server("0.0.0.0", 9501);

$http->on("start", function ($server) {
 echo "Swoole http server is started at http://0.0.0.0:9501\n";
});

$http->on("WorkerStart", function ($server, $workerId) use($node) {
 // https://wiki.swoole.com/wiki/page/325.html
 // https://wiki.swoole.com/wiki/page/852.html
 // https://wiki.swoole.com/wiki/page/865.html
 // use lazy initial zk here, so that each worker can hold its own zk resource
 // if we only run swoole http server in 1 worker process (1 CPU), then no need to consider this
 $id = $node->getId();
 $server->nodeId = $id;
 $server->number = new Number($server->nodeId);
});

$http->on("request", function ($request, $response) use ($http) {
 $data = $http->number->generate();
 $response->end($data);
});

$http->start();

访问本机的9501端口即可以得到ID了，完整代码在这里。Swoole默认运行与CPU核数量相同的worker进程数，注意这里需要WorkerStart里初始化获取Node节点ID，如果只是运行一个Swoole worker进程，也可以在外面获取节点ID。可以将Swool\Htpp\Server替换成React\Http\Server或者Amp\Http\Server，它们在单个进程里面loop，每个进程分别持有自己的节点序号，可以保证生成的ID不冲突，性能方面Swoole > Amp > ReactPHP。
可以采用Swoole\Server + thrift/gRPC改造这些代码，提供RPC服务。
注意ID的生成是随时间递增的，依赖于时间戳，如果出现了时间回拨，将会抛出异常。一般解决方案包括：

等待重试
使用Int64原子自增量代替时间戳，跳过时间戳判断
使用预留的节点ID
关闭时钟同步
使用备选自增量方案

生成的ID并不是严格递增的，只是千分一秒递增，对于微博、Twiter的Timeline够用；但也有好处，比如别人不能通过ID相减了解美团的订单量。

参考链接：
如何设计一个分布式ID生成器(Distributed ID Generator)，并保证ID按时间粗略有序？
生成全局唯一ID的3个思路，来自一个资深架构师的总结
 Distributed unique id generation
Unique ID generation in distributed systems
Optimised UUIDs in mysql
Storing UUID Values in MySQL Tables
Mysql 8.0: UUID support
How to store a 128 bit number in a single column in MySQL?
Generating unique IDs in a distributed environment at high scale
Leaf——美团点评分布式ID生成系统
 分布式ID增强篇–优化时钟回拨问题
 Ticket Servers: Distributed Unique Primary Keys on the Cheap
Sharding & IDs at Instagram

使用Composer和Docker创建Swoole项目

Mon, 01 Jul 2019 16:56:31 +0800

最近有一个小功能使用swoole扩展来开发，并没有使用框架，从零开始。这里采用类用似Symfony的目录结构：

.
├── bin
├── config
├── src
├── tests
├── vendor
├── phpunit.xml
├── composer.json
├── .gitignore
├── Dockerfile
├── LICENSE
├── phpunit.xml
└── README.md

项目代码放置在src下面，测试代码则在tests里面，config目录存放配置文件，bin文件夹则是一些命令行工具，vendor目录则是composer安装第三方依赖库的目录。composer.json是借鉴k911/swoole-bundle，内容如下

{
 "name": "llitllie/swoole-sample",
 "type": "library",
 "description": "Swoole Sample",
 "keywords": [
 "Swoole"
 ],
 "license": "MIT",
 "homepage": "https://github.com/llitllie/swoole-sample.git",
 "authors": [{
 "name": "llitllie",
 "email": "xxx@yyy.zzz",
 "homepage": "https://github.com/llitllie/swoole-sample.git"
 }],
 "require": {
 "php": "^7.2",
 "ext-swoole": "^4.3.4"
 },
 "require-dev": {
 "phpunit/phpunit": "^8",
 "phpstan/phpstan": "^0.11.8",
 "friendsofphp/php-cs-fixer": "^2.15",
 "swoole/ide-helper": "@dev"
 },
 "scripts": {
 "static-analyse-src": [
 "phpstan analyze src -l 7 --ansi"
 ],
 "cs-analyse": [
 "php-cs-fixer fix -v --dry-run --diff --stop-on-violation --ansi"
 ],
 "analyse": [
 "@static-analyse-src",
 "@cs-analyse"
 ],
 "test": [
 "@analyse",
 "@unit-tests"
 ],
 "unit-tests": [
 "phpunit tests --testdox --colors=always"
 ],
 "fix": "php-cs-fixer fix -v --ansi"
 },
 "suggest": {
 "ext-uv": "^0.2.4",
 "ext-ev": "^1.0.6"
 }
}

这里require里面指定了PHP版本>=7.2和Swoole扩展，composer安装时会自动检查。require-dev里面指定了单元测试工具phpunit、代码分析工具phpstan和代码风格检查php-cx-fixer。phpstan可以帮助分析代码，检测语法，在代码运行前发现问题。php-cx-fixer则可以帮忙格式化代码，保持代码统一风格。scripts里面定义了调用它们的命令，可以使用composer运行

$ ls -la vendor/bin/
total 4
drwxrwxr-x. 2 vagrant vagrant 69 Jul 1 07:24 .
drwxrwxr-x. 24 vagrant vagrant 4096 Jul 1 07:25 ..
lrwxrwxrwx. 1 vagrant vagrant 41 Jul 1 07:24 php-cs-fixer -> ../friendsofphp/php-cs-fixer/php-cs-fixer
lrwxrwxrwx. 1 vagrant vagrant 33 Jul 1 07:24 php-parse -> ../nikic/php-parser/bin/php-parse
lrwxrwxrwx. 1 vagrant vagrant 30 Jul 1 07:24 phpstan -> ../phpstan/phpstan/bin/phpstan
lrwxrwxrwx. 1 vagrant vagrant 26 Jul 1 07:24 phpunit -> ../phpunit/phpunit/phpunit
$ ./vendor/bin/phpunit --testdox tests

$ composer test
> phpstan analyze src -l 7 --ansi
 7/8 [▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓░░░░] 87%

 8/8 [▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓] 100% 
 [OK] No errors 
 

> php-cs-fixer fix -v --dry-run --diff --stop-on-violation --ansi
Loaded config default from "/home/ticket/.php_cs.dist".
Using cache file ".php_cs.cache".
SSSSSSSSSSS
Legend: ?-unknown, I-invalid file syntax, file ignored, S-Skipped, .-no changes, F-fixed, E-error

Checked all files in 0.070 seconds, 6.000 MB memory used
> phpunit tests --testdox --colors=always
PHPUnit 8.2.4 by Sebastian Bergmann and contributors.

Sim\Ticket\Node\Zookeeper
 ✓ Get id

Sim\Ticket\Number
 ✓ Load
 ✓ Get timestamp
 ✓ Get node id
 ✓ Generate
 ✓ Generate with zookeeper node

Sim\Zookeeper\Client
 ✓ Zookeeper
 ✓ Zookeeper extension

Time: 841 ms, Memory: 4.00 MB

OK (8 tests, 23 assertions)

phpuit.xml里面则是一些测试配置，可以在里面定义自动加载和变量

<?xml version="1.0" encoding="UTF-8"?>

<!-- https://phpunit.readthedocs.io/en/7.3/configuration.html -->
<phpunit xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
 xsi:noNamespaceSchemaLocation="https://schema.phpunit.de/7.3/phpunit.xsd"
 colors="true"
 bootstrap="vendor/autoload.php"
>
 <filter>
 <whitelist processUncoveredFilesFromWhitelist="true">
 <directory suffix=".php">src/</directory>
 </whitelist>
 </filter>
 <testsuites>
 <testsuite name="Unit tests suite">
 <directory>tests</directory>
 </testsuite>
 </testsuites>
 <php>
 <includePath>.</includePath>
 <const name="SERVICE" value="192.168.33.1"/>
 <env name="SERVICE" value="192.168.33.1"/>
 </php>
</phpunit>

PHP Composer支持使用已有的代码作为模板，快速克隆创建一个新项目，方便重复使用。将代码保存到GitHub上面然后在packagist.org上面提交就可以了。使用composer create-project：

composer create-project llitllie/swoole-sample example dev-master

这里使用Docker来构建运行代码，Dockerfile内容如下

ARG PHP_TAG="7.2-cli-alpine3.9"

FROM php:$PHP_TAG

ENV COMPOSER_ALLOW_SUPERUSER 1

RUN set -ex \
 	&& apk update \
 && apk add --no-cache --virtual .build-deps curl gcc g++ make build-base autoconf \
 && apk add libstdc++ openssl-dev libffi-dev \
 && docker-php-ext-install sockets \
 && docker-php-source extract \
 && printf "yes\nyes\nno\nyes\nno\n" | pecl install swoole \
 && docker-php-ext-enable swoole \
 && docker-php-source delete \
 && curl -sS https://getcomposer.org/installer | php -- --install-dir=/usr/local/bin --filename=composer \
 && apk del .build-deps \
 && rm -rf /tmp/* 

WORKDIR /usr/src/app
COPY . ./
ARG COMPOSER_ARGS="install"
RUN composer ${COMPOSER_ARGS} --prefer-dist --ignore-platform-reqs --no-progress --no-suggest --no-scripts --ansi

EXPOSE 9501
CMD ["php", "bin/server.php"]

这里声明了swoole将会监听9501端口，默认运行bin目录下面的serverphp文件。使用pecl安装swoole会要求回答几个问题，比如是否启用socket/http2/mysqlnd等等，这里使用printf输出答案。构建，然后运行

docker build -t llitllie/swoole-project .
docker run --name swoole -d -p 9501:9501 llitllie/swoole-project
#docker run --name web -dit -p 9501:9501 --mount type=bind,source=/Users/vagrant/example,target=/opt/app llitllie/swoole-project /bin/sh

这样一个swoole项目模板算是好了，可以继续往composer文件里面添加需要的库或脚本；也可以继承在已经构建好的docker镜像基础上继续添加所需的软件，更改监听端口等等。
可以在Docker Cloud上面配置对应的git，并配置对应自动化构建规则，这样就可以方便的自动构建了。

Jupyter Notebook

Mon, 03 Jun 2019 15:30:07 +0800

对于编程初学者，如果有一个开箱即用的环境，比如web页面，就可以进行编程交互，那是极友好。有时候我们想在远程服务器上执行一些脚本，输出一些结果，比如科学计算；有时候又想在服务器上执行一些命令但又不能直接登录服务器，如果能够在web界面上操作或作为跳板机，那也是极友好的。Jupyter Notebook是基于IPython的一个基于web交互执行的在线环境，支持Python，也支持其他编程语言，比如Julia和R。所创建Notebook文档可以自动保存执行过的代码、结果，方便进行回放。
Jupyter Notebok的安装很方便，可以使用Anaconda来安装，或者手动安装。Python3下手动安装，

pip3 install jupyter
export PATH=$PATH:/usr/local/python3/bin

查看一下

[root@localhost local]# pip3 show jupyter
Name: jupyter
Version: 1.0.0
Summary: Jupyter metapackage. Install all the Jupyter components in one go.
Home-page: http://jupyter.org
Author: Jupyter Development Team
Author-email: jupyter@googlegroups.org
License: BSD
Location: /usr/local/python3/lib/python3.7/site-packages
Requires: jupyter-console, notebook, ipywidgets, nbconvert, qtconsole, ipykernel
Required-by:

如果直接运行jupyter notebook，那么会生成一个本地可以访问的带token的url，每次都不一样，不是很方便。设置密码，以便登录

[root@localhost opt]# jupyter notebook password
Enter password: 
Verify password: 
[NotebookPasswordApp] Wrote hashed password to /root/.jupyter/jupyter_notebook_config.json
[root@localhost bin]# cat /root/.jupyter/jupyter_notebook_config.json 
{
 "NotebookApp": {
 "password": "sha1:e04153005102:961b12eef91987a06b497f915fc3f18c62d8f714"
 }

由于是在虚拟机里面，我们并不需要Jupyter自动打开浏览器，但需要监听来自任意IP的请求，指定端口9030。这里使用root用户运行Jupyter，默认是不允许的：

[root@localhost opt]# jupyter notebook --no-browser --allow-root --ip 0.0.0.0 --port 9030
[I 02:13:44.320 NotebookApp] Serving notebooks from local directory: /opt
[I 02:13:44.320 NotebookApp] The Jupyter Notebook is running at:
[I 02:13:44.320 NotebookApp] http://(localhost.localdomain or 127.0.0.1):9030/
[I 02:13:44.320 NotebookApp] Use Control-C to stop this server and shut down all kernels (twice to skip confirmation).
[I 02:13:59.664 NotebookApp] 302 GET / (192.168.33.1) 1.22ms
[I 02:14:23.597 NotebookApp] Kernel started: 7ad63717-7a65-4dec-9d5a-9af654c28f75
[I 02:14:25.204 NotebookApp] Adapting to protocol v5.1 for kernel 7ad63717-7a65-4dec-9d5a-9af654c28f75
[I 02:14:37.350 NotebookApp] Starting buffering for 7ad63717-7a65-4dec-9d5a-9af654c28f75:ea68853b742c40f8bcf8745529ea95de
[I 02:14:43.735 NotebookApp] Kernel started: 5b569c8d-6936-4bd2-9674-0317c46948f6
[I 02:14:44.124 NotebookApp] Adapting to protocol v5.0 for kernel 5b569c8d-6936-4bd2-9674-0317c46948f6
[2019-06-03 02:14:43] kernel.DEBUG: Connection settings {"processId":6751,"connSettings":{"shell_port":39990,"iopub_port":48184,"stdin_port":40113,"control_port":43426,"hb_port":49075,"ip":"127.0.0.1","key":"d5f89bba-890ecf15e6b20718411170ad","transport":"tcp","signature_scheme":"hmac-sha256","kernel_name":"jupyter-php"},"connUris":{"stdin":"tcp://127.0.0.1:40113","control":"tcp://127.0.0.1:43426","hb":"tcp://127.0.0.1:49075","shell":"tcp://127.0.0.1:39990","iopub":"tcp://127.0.0.1:48184"}} []
[2019-06-03 02:14:44] KernelCore.DEBUG: Initialized sockets {"processId":6751} []

然后打开浏览器，访问http://192.168.33.70:9030，输入账号密码，就可以在web里面运行Python了

Jupyter默认带了SQL扩展，使用ipython-sql来执行，只需要安装对应的驱动，这里使用PyMySQL

python3 -m pip install PyMySQL

然后在Web里面执行就可以了

Jupyter还有其他扩展，参考这里。
除了可以执行Python和SQL，Jupyter Notebook也可以支持其他语言，在这里列出了。通常执行方式是通过Bash执行，或者通过ZeroMQ来通信，参考这里实现。一个Jupyter的kernal将需要监听以下几个socket：

Shell：执行命令
IOPub：推送执行结果
Stdin：接收输入
Control：接收控制命令，比如关闭、终端
Heartbeat：心跳检测

这个思路也可以用来做IOT设备的远程监控，交互执行。
这里安装一下PHP 7这个kernel，作者甚至还提供了installer，但是首先要安装ZeroMQ以便与Jupyter服务通信

yum install php-pecl-zmq
wget https://litipk.github.io/Jupyter-PHP-Installer/dist/jupyter-php-installer.phar
./jupyter-php-installer.phar install

查看安装文件

[root@localhost opt]# ls -la /usr/local/share/jupyter/kernels/
total 0
drwxr-xr-x. 4 root root 34 May 10 06:10 .
drwxr-xr-x. 3 root root 20 May 9 07:30 ..
drwxr-xr-x. 2 root root 24 May 9 07:30 jupyter-php
drwxr-xr-x. 2 root root 40 May 10 06:10 lgo

[root@localhost opt]# cat /usr/local/share/jupyter/kernels/jupyter-php/kernel.json 
{"argv":["php","\/opt\/jupyter-php\/pkgs\/vendor\/litipk\/jupyter-php\/src\/kernel.php","{connection_file}"],"display_name":"PHP","language":"php","env":{}}

这个扩展使用了react/zmq来监听Jupyter请求，使用psysh来交互执行PHP代码。

如果想要更改Jupyter的web模板，可以在以下目录找到

[root@localhost vagrant]# ls -la /usr/local/python3/lib/python3.7/site-packages/notebook/templates
total 92
drwxr-xr-x. 2 root root 4096 May 9 06:33 .
drwxr-xr-x. 19 root root 4096 May 9 06:33 ..
-rw-r--r--. 1 root root 147 May 9 06:33 404.html
-rw-r--r--. 1 root root 499 May 9 06:33 browser-open.html
-rw-r--r--. 1 root root 4258 May 9 06:33 edit.html
-rw-r--r--. 1 root root 856 May 9 06:33 error.html
-rw-r--r--. 1 root root 4256 May 9 06:33 login.html
-rw-r--r--. 1 root root 1179 May 9 06:33 logout.html
-rw-r--r--. 1 root root 23162 May 9 06:33 notebook.html
-rw-r--r--. 1 root root 6559 May 9 06:33 page.html
-rw-r--r--. 1 root root 1089 May 9 06:33 terminal.html
-rw-r--r--. 1 root root 12130 May 9 06:33 tree.html
-rw-r--r--. 1 root root 544 May 9 06:33 view.html

Jupyter Notebook Web前端采用WebSocket与服务器交互，服务器接收消息并转发给对应的kernel执行或控制，并将结果推送给前端。Jupyter Notebook也可以直接打开Terminal，在远程服务器上执行命令。注意这里的用户就是刚才运行jupyter的用户

许多web terminal也都是采用WebSocket来做交互，比如xterm.js，webtty。
Juypter Notebook适合单用户（单机）使用，如果提供多用户使用（比如教学），可以使用Jupyter Hub，可以使用docker快捷部署。

参考链接：
Jupyter Notebook Extensions
Jupyter – How do I decide which packages I need?
PsySH——PHP交互式控制台
 Jupyter项目
 WebSocket 教程

Nginx + Frp/Ngrok反向代理Webhook至本地

Wed, 15 May 2019 20:21:20 +0800

跟第三方平台打交道，经常需要设置一个接受通知的Webhook，比如微信/Skype的回调。它们要求有一个可以在互联网上访问得了的入口，比如某个域名，如果是在本地开发的话，不好调试。通常使用花生壳来代理本地服务，但是花生壳有一些限制，比如端口。有些域名服务商，比如DNSPOD，Linode，提供相应的API，也可以自己搭建DDNS服务，但是也可能有端口访问限制。Frp/Ngrok都是Go语言开发的内网穿透工具，可以自己部署搭建。Frp是国人开发的一款反向代理软件，可以转发请求给位于NAT后面的机器，支持TCP，UDP，HTTP/HTTPS。Ngrok则是国外的一款内网穿透软件，也支持HTTP/HTTPS转发。这里使用Nginx作为反向代理服务器，接收互联网回调并转发给本地的Frp/Ngrok服务，由它们接收webhook请求并转发至本地开发环境。
前面使用OpenVpn搭建了私有网络，可以在Nginx里面配置转发给目标机器就可以了

vim /etc/nginx/conf.d/100-dev.example.conf

内容如下

server {
 listen 80;
 server_name dev.example.com;
 return 301 https://$host$request_uri;
}

server {

 listen 443;
 server_name dev.example.com;

 ssl_certificate /etc/letsencrypt/live/example.com/cert.pem;
 ssl_certificate_key /etc/letsencrypt/live/example.com/privkey.pem;

 ssl on;
 ssl_session_cache builtin:1000 shared:SSL:10m;
 ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
 ssl_ciphers HIGH:!aNULL:!eNULL:!EXPORT:!CAMELLIA:!DES:!MD5:!PSK:!RC4;
 ssl_prefer_server_ciphers on;

 location / {
 proxy_set_header Host $host;
 proxy_set_header X-Real-IP $remote_addr;
 proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
 proxy_set_header X-Forwarded-Proto $scheme;

 proxy_pass http://10.9.0.2/;
 proxy_redirect off;

 }
}

这里使用了let’s encryt的泛域名证书，官方并没有对应的插件，但是DNSPOD有提供相应的API，第三方开发了一个插件自certbot-dns-dnspod，安装这个插件并且配置Dnspod的API Token：

$ yum install certbot python2-certbot-nginx
$ certbot --nginx
$ curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py
$ pip install certbot-dns-dnspod
$ vim /etc/letsencrypt/dnspod.conf
certbot_dns_dnspod:dns_dnspod_email = "123@163.com"
certbot_dns_dnspod:dns_dnspod_api_token = "123,ca440********"

$ chmod 600 /etc/letsencrypt/dnspod.conf

手动请求证书

$ certbot certonly -a certbot-dns-dnspod:dns-dnspod --certbot-dns-dnspod:dns-dnspod-credentials /etc/letsencrypt/dnspod.conf --server https://acme-v02.api.letsencrypt.org/directory -d example.com -d "*.example.com"
Saving debug log to /var/log/letsencrypt/letsencrypt.log
Plugins selected: Authenticator certbot-dns-dnspod:dns-dnspod, Installer None
Starting new HTTPS connection (1): acme-v02.api.letsencrypt.org
Obtaining a new certificate
Performing the following challenges:
dns-01 challenge for example.com
dns-01 challenge for example.com
Starting new HTTPS connection (1): dnsapi.cn
Waiting 10 seconds for DNS changes to propagate
Waiting for verification...
Cleaning up challenges
Resetting dropped connection: acme-v02.api.letsencrypt.org

IMPORTANT NOTES:
 - Congratulations! Your certificate and chain have been saved at:
 /etc/letsencrypt/live/example.com/fullchain.pem
 Your key file has been saved at:
 /etc/letsencrypt/live/example.com/privkey.pem
 Your cert will expire on 2019-08-04. To obtain a new or tweaked
 version of this certificate in the future, simply run certbot
 again. To non-interactively renew *all* of your certificates, run
 "certbot renew"
*/1 * * * * /usr/local/qcloud/stargate/admin/start.sh > /dev/null 2>&1 &
 - If you like Certbot, please consider supporting our work by:

 Donating to ISRG / Let's Encrypt: https://letsencrypt.org/donate
 Donating to EFF: https://eff.org/donate-le


$ ls -la /etc/letsencrypt/live/example.com/
total 12
drwxr-xr-x 2 root root 4096 May 6 12:06 .
drwx------ 3 root root 4096 May 6 12:06 ..
lrwxrwxrwx 1 root root 34 May 6 12:06 cert.pem -> ../../archive/example.com/cert1.pem
lrwxrwxrwx 1 root root 35 May 6 12:06 chain.pem -> ../../archive/example.com/chain1.pem
lrwxrwxrwx 1 root root 39 May 6 12:06 fullchain.pem -> ../../archive/example.com/fullchain1.pem
lrwxrwxrwx 1 root root 37 May 6 12:06 privkey.pem -> ../../archive/example.com/privkey1.pem
-rw-r--r-- 1 root root 692 May 6 12:06 README

配置证书自动更新

0 0,12 * * * python -c 'import random; import time; time.sleep(random.random() * 3600)' && certbot renew

Frp的开发者已经提供了编译好的frp服务端和客户端，下载即可使用。这里使用docker来运行Frp服务，使用这个Dockerfile，更改版本号为0.26.0，并编译

$ docker build . -t frps:0.26
$ docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
frps 0.26 8a87cb91d4de 2 hours ago 21.1MB

测试一下SSH代理服务，创建服务端配置文件

mkdir -p frp/conf
vim frp/conf/frps.ini

frps.ini内容

[common]
bind_port = 7000

运行一下frp服务端

#清除先前运行的容器
$ docker rm frp-server
$ docker run --name frp-server -v /root/frp/conf:/conf -p 7000:7000 -p 6000:6000 frps:0.26
2019/04/22 06:41:17 [I] [service.go:136] frps tcp listen on 0.0.0.0:7000
2019/04/22 06:41:17 [I] [root.go:204] Start frps success
2019/04/22 06:41:27 [I] [service.go:337] client login info: ip [110.87.98.82:61894] version [0.26.0] hostname [] os [linux] arch [386]
2019/04/22 06:41:27 [I] [tcp.go:66] [e8783ecea2085e15] [ssh] tcp proxy listen port [6000]
2019/04/22 06:41:27 [I] [control.go:398] [e8783ecea2085e15] new proxy [ssh] success
2019/04/22 06:41:41 [I] [proxy.go:82] [e8783ecea2085e15] [ssh] get a new work connection: [110.*.*.*:61894]

这里映射了2个端口，端口7000是frp服务端监听的端口，以便客户端能够连接上；端口6000是需要服务端监听这个端口，以便提供反向代理服务，比如SSH。如果使用的是腾讯云，相应的端口需要在安全组放行。
客户端直接下对应的包，里面有配置试例。创建本地配置文件frpc.ini如下

[common]
server_addr = 123.*.*.*
server_port = 7000

[ssh]
type = tcp
local_ip = 127.0.0.1
local_port = 22
remote_port = 6000

这个配置即告诉服务端，将服务端的6000端口转发到本地的22端口。本地运行

$ ./frpc -c ./frpc.ini.ssh 
2019/04/22 06:41:27 [I] [service.go:221] login to server success, get run id [e8783ecea2085e15], server udp port [0]
2019/04/22 06:41:27 [I] [proxy_manager.go:137] [e8783ecea2085e15] proxy added: [ssh]
2019/04/22 06:41:27 [I] [control.go:144] [ssh] start proxy success

然后在服务端连接客户端。这里连接的是服务端的6000端口，会被转发给远程（局域网内）主机

[rth@centos72]$ ssh -oPort=6000 vagrant@123.*.*.*
The authenticity of host '[123.*.*.*]:6000 ([123.*.*.*]:6000)' can't be established.
RSA key fingerprint is SHA256:NhBO/PDL***********************.
RSA key fingerprint is MD5:20:70:e2:*:*:*:*:*:*:*:*:*:*:*:*:*.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '[123.*.*.*]:6000' (RSA) to the list of known hosts.
vagrant@123.*.*.*'s password:
Last login: Mon Apr 22 06:39:07 2019 from 10.0.2.2
[vagrant@centos64 ~]$ exit
logout
Connection to 123.*.*.* closed.

Frp转发http服务很简单。在conf目录下创建配置frps.ini监听本机来自8080端口的HTTP请求

[common]
bind_port = 7000
vhost_http_port = 8080

[root@VM_1_218_centos frp]# docker run --name frp-server -v /root/frp/conf:/conf -p 7000:7000 -p 8080:8080 frps:0.26
2019/05/06 07:26:28 [I] [service.go:136] frps tcp listen on 0.0.0.0:7000
2019/05/06 07:26:28 [I] [service.go:178] http service listen on 0.0.0.0:8080
2019/05/06 07:26:28 [I] [root.go:204] Start frps success
2019/05/06 07:26:51 [I] [service.go:337] client login info: ip [123.*.*.*:56758] version [0.26.0] hostname [] os [linux] arch [386]
2019/05/06 07:26:51 [I] [http.go:72] [19f60a30aa924343] [web] http proxy listen for host [test.example.com] location []
2019/05/06 07:26:51 [I] [control.go:398] [19f60a30aa924343] new proxy [web] success
2019/05/06 07:27:05 [I] [proxy.go:82] [19f60a30aa924343] [web] get a new work connection: [123.*.*.*:56758]
2019/05/06 07:27:05 [I] [proxy.go:82] [19f60a30aa924343] [web] get a new work connection: [123.*.*.*:56758]
2019/05/06 07:27:06 [I] [proxy.go:82] [19f60a30aa924343] [web] get a new work connection: [123.*.*.*:56758]

然后配置Nginx转发请求

$ vim /etc/nginx/conf.d/100-dev.example.conf

 location / {
 proxy_set_header Host $host;
 proxy_set_header X-Real-IP $remote_addr;
 proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
 proxy_set_header X-Forwarded-Proto $scheme;

 proxy_pass http://127.0.0.1:8080/;
 proxy_redirect off;

 }

创建本地web传教客户端配置frpc.ini，将来自服务器dev.example.com:8080端口的HTTP请求转发至本地80端口

[common]
server_addr = 123.*.*.*
server_port = 7000

[web]
type = http
local_port = 80
custom_domains = dev.example.com

运行本地客户端

[root@vagrant-centos64 frp]# ./frpc -c ./frpc.ini
2019/05/06 07:26:51 [I] [service.go:221] login to server success, get run id [19f60a30aa924343], server udp port [0]
2019/05/06 07:26:51 [I] [proxy_manager.go:137] [19f60a30aa924343] proxy added: [web]
2019/05/06 07:26:51 [I] [control.go:144] [web] start proxy success
2019/05/06 07:27:37 [E] [control.go:127] work connection closed, EOF
2019/05/06 07:27:37 [I] [control.go:228] control writer is closing
2019/05/06 07:27:37 [I] [service.go:127] try to reconnect to server...

访问dev.example.com既可以看到本地web服务器页面。Frp还可以代理其他请求，也有在它基础上二次加工提供基于token认证的转发服务。
Ngrok 2.0以后不再开源，只能使用1.3版本的搭建。这里使用docker-ngrok来构建。Ngrok构建需要SSL证书，复制刚才生成的letsencypt证书并更改server.sh

$ git clone https://github.com/hteen/docker-ngrok
$ cp /etc/letsencrypt/live/example.com/fullchain.pem myfiles/base.pem
$ cp /etc/letsencrypt/live/example.com/fullchain.pem myfiles/fullchain.pem
$ cp /etc/letsencrypt/live/example.com/privkey.pem myfiles/privkey.pem

$ vim server.sh
#!/bin/sh
set -e

if [ "${DOMAIN}" == "**None**" ]; then
 echo "Please set DOMAIN"
 exit 1
fi

if [ ! -f "${MY_FILES}/bin/ngrokd" ]; then
 echo "ngrokd is not build,will be build it now..."
 /bin/sh /build.sh
fi


${MY_FILES}/bin/ngrokd -tlsKey=${MY_FILES}/privkey.pem -tlsCrt=${MY_FILES}/fullchain.pem -domain="${DOMAIN}" -httpAddr=${HTTP_ADDR} -httpsAddr=${HTTPS_ADDR} -tunnelAddr=${TUNNEL_ADDR}

构建Ngrok镜像

[root@VM_1_218_centos docker-ngrok]# docker build -t ngrok:1.3 .
[root@VM_1_218_centos docker-ngrok]# docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
ngrok 1.3 dc70190d6377 13 seconds ago 260MB
frps 0.26 8a87cb91d4de 2 hours ago 21.1MB
alpine latest cdf98d1859c1 12 days ago 5.53MB

然后交叉编译生成Linux/Mac/Windows平台的客户端

$ rm -rf assets/client/tls/ngrokroot.crt
$ cp /etc/letsencrypt/live/example.com/chain.pem assets/client/tls/ngrokroot.crt
$ rm -rf assets/server/tls/snakeoil.crt
$ cp /etc/letsencrypt/live/example.com/cert.pem assets/server/tls/snakeoil.crt
$ rm -rf assets/server/tls/snakeoil.key
$ cp /etc/letsencrypt/live/example.com/privkey.pem assets/server/tls/snakeoil.key
$ GOOS=linux GOARCH=amd64 make release-client
$ GOOS=windows GOARCH=amd64 make release-client
$ GOOS=darwin GOARCH=amd64 make release-client

在服务器上运行Ngrok服务，将8090端口请求转发给容器的80端口，并且映射容器的4443端口到服务器的7000端口，以便客户端连接

[root@VM_1_218_centos docker-ngrok]# docker run --name ngrok -e DOMAIN='example.com' -p 8090:80 -p 8091:443 -p 7000:4443 -v /root/docker-ngrok/myfiles:/myfiles ngrok:1.3 /bin/sh /server.sh
[09:18:21 UTC 2019/05/07] [INFO] (ngrok/log.(*PrefixLogger).Info:83) [registry] [tun] No affinity cache specified
[09:18:21 UTC 2019/05/07] [INFO] (ngrok/log.Info:112) Listening for public http connections on [::]:80
[09:18:21 UTC 2019/05/07] [INFO] (ngrok/log.Info:112) Listening for public https connections on [::]:443
[09:18:21 UTC 2019/05/07] [INFO] (ngrok/log.Info:112) Listening for control and proxy connections on [::]:4443
[09:18:21 UTC 2019/05/07] [INFO] (ngrok/log.(*PrefixLogger).Info:83) [metrics] Reporting every 30 seconds
[09:18:27 UTC 2019/05/07] [INFO] (ngrok/log.(*PrefixLogger).Info:83) [tun:18e8cd42] New connection from 123.*.*.*:50529
[09:18:27 UTC 2019/05/07] [DEBG] (ngrok/log.(*PrefixLogger).Debug:79) [tun:18e8cd42] Waiting to read message
[09:18:27 UTC 2019/05/07] [DEBG] (ngrok/log.(*PrefixLogger).Debug:79) [tun:18e8cd42] Reading message with length: 125
[09:18:27 UTC 2019/05/07] [DEBG] (ngrok/log.(*PrefixLogger).Debug:79) [tun:18e8cd42] Read message {"Type":"Auth","Payload":{"Version":"2","MmVersion":"1.7","User":"","Password":"","OS":"linux","Arch":"amd64","ClientId":""}}
[09:18:27 UTC 2019/05/07] [INFO] (ngrok/log.(*PrefixLogger).Info:83) [ctl:18e8cd42] Renamed connection tun:18e8cd42
[09:18:27 UTC 2019/05/07] [INFO] (ngrok/log.(*PrefixLogger).Info:83) [registry] [ctl] Registered control with id 1957f20b9b3ce3b76c7d8fc8b16276ed
[09:18:27 UTC 2019/05/07] [DEBG] (ngrok/log.(*PrefixLogger).Debug:79) [ctl:18e8cd42] [1957f20b9b3ce3b76c7d8fc8b16276ed] Writing message: {"Type":"AuthResp","Payload":{"Version":"2","MmVersion":"1.7","ClientId":"1957f20b9b3ce3b76c7d8fc8b16276ed","Error":""}}
[09:18:27 UTC 2019/05/07] [DEBG] (ngrok/log.(*PrefixLogger).Debug:79) [ctl:18e8cd42] [1957f20b9b3ce3b76c7d8fc8b16276ed] Writing message: {"Type":"ReqProxy","Payload":{}}
[09:18:27 UTC 2019/05/07] [DEBG] (ngrok/log.(*PrefixLogger).Debug:79) [ctl:18e8cd42] [1957f20b9b3ce3b76c7d8fc8b16276ed] Waiting to read message

将刚才编译的客户端下载下来，创建grok.cfg，连接服务器的7000端口

server_addr: "example.com:7000"
trust_host_root_certs: false

指定要监听的域名，及本地web端口

./ngrok -config=ngrok.cfg -subdomain=dev 9010

ngrok (Ctrl+C to quit)
 
Tunnel Status online 
Version 1.7/1.7 
Forwarding http://dev.flexkit.cn -> 127.0.0.1:9010 
Forwarding https://dev.flexkit.cn -> 127.0.0.1:9010 
Web Interface 127.0.0.1:4040 
# Conn 2 
Avg Conn Time 46.84ms 
 


HTTP Requests 
------------- 
 
GET /teams 200 OK

请求dev.example.com即可以访问到本机9010端口的web服务。
附：ZeroTier是一个软件定义网络（SDN）软件，可以免费组建私有网络，当然也可以用来转发服务器请求至本地。

参考链接：：
CentOS7搭建ngrok服务器
 inconshreveable/ngrok
hteen/ngrok
搭建自己的 Ngrok 服务器, 并与 Nginx 并存
 使用Docker部署Ngrok实现内网穿透
 Laravel DDNS package，可代替花生壳之类的软件
 通过DNSPod API实现动态域名解析
 借助dnspod-api定时更新域名解析获取树莓派公网ip
使用Let’s Encrypt生成通配符SSL证书
 Letsencrypt使用DNSPOD验证自动更新证书
 在 OpenWrt 环境下使用 DnsPod 来实现动态域名解析
 利用ssh反向代理以及autossh实现从外网连接内网服务器
 How To Configure Nginx with SSL as a Reverse Proxy for Jenkins

使用SkPy创建Skype群组会话

Wed, 08 May 2019 09:30:56 +0800

每一次产品发布或故障支持，都需要将相关人员拉到同一个Skype群聊会话，以便讨论、测试、支持。如果每次都需要手动做这些动作是比较累；如果复用已有会话，又会影响本次无关人员。于是有了这样一个需求：在Web后台定义相关组员及关联关系，在Web前台点击即可以创建或加入相关会话。这要求提供一个HTTP的接口，接收会话人员及主题，创建聊天室。搜了一圈，发现SkPy这个库最简单，支持创建会话，发送/接收消息，事件监听等等，其他的库要么功能太简单不满足，要么需要安装Skype客户端，要么不支持最新（live）注册的Skype用户，决定使用这个来开发。由于只是一个简单的HTTP接口，决定使用web.py。
首先安装SkPy和web.py，注意如果是CentOS 6，Python certifi版本只能是2015.04.28，否则会报错

sudo pip install SkPy
sudo pip install web.py
#you need to do follow steps on Centos 6.x, to make requests works
sudo pip uninstall -y certifi
sudo pip install certifi==2015.04.28

web.py只要单个文件就可以工作了，创建chat.py如下

import web
from skpy import Skype
from skpy import SkypeAuthException
import logging
import hashlib
import os.path
import io
 
 
urls = (
 '/', 'index',
 '/chat', 'chat'
)
'''
try:
 import http.client as http_client
except ImportError:
 # Python 2
 import httplib as http_client
http_client.HTTPConnection.debuglevel = 1
logging.basicConfig()
logging.getLogger().setLevel(logging.DEBUG)
requests_log = logging.getLogger("requests.packages.urllib3")
requests_log.setLevel(logging.DEBUG)
requests_log.propagate = True
'''
 
 
class SkypeService:
 def __init__(self):
 self.username = '<skype account>'
 self.password = '<skype password>'
 self.token_file="/tmp/tokens-app"
 self.skype = Skype(connect=False)
 self.skype.conn.setTokenFile(self.getTokenFile())
 
 def getTokenFile(self):
 if not os.path.isfile(self.token_file):
 with io.open(self.token_file, 'a') as file:
 file.close()
 return self.token_file
 
 def connect(self):
 try:
 self.skype.conn.readToken()
 except SkypeAuthException:
 self.skype.conn.setUserPwd(self.username, self.password)
 self.skype.conn.getSkypeToken()
 
 def creatChatRoom(self, member, topic):
 ch = self.skype.chats.create(members=member)
 ch.setTopic(topic)
 return ch
 
 def getShardLink(self, channel):
 return channel.joinUrl
 
 def createAndGetSharedLink(self, member, topic):
 self.connect()
 ch = self.creatChatRoom(member, topic)
 # ch.sendMsg("welcome")
 # return {"id": ch.id, "url": self.getShardLink(ch)}
 return self.getShardLink(ch)

 def getConversationIdByUrl(self, url):
 id = self.skype.chats.urlToIds(url)["Resource"]
 return id
 
 def getChatroomByUrl(self, url):
 id = self.getConversationIdByUrl(url)
 ch = getChatroomByConversationId(id)
 return ch

 def getChatroomByConversationId(self, id):
 ch = self.skype.chats.chat(id)
 return ch

 def sendMessageByConversationId(self, id, message):
 ch = self.getChatroomByConversationId(id)
 return ch.sendMsg("Hello world!")

 def getMessagesByConversationId(self, id):
 ch = self.getChatroomByConversationId(id)
 return ch.getMsgs()
 
 
class Storage:
 def __init__(self):
 self.cache_path = '/tmp/'
 
 def set(self, key, value):
 cache_file = self.cache_path + key
 try:
 with io.open(cache_file, 'w') as file:
 file.write(value)
 except:
 raise Exception('file: {0} write failure'.format(cache_file))
 return True
 
 def get(self, key):
 cache_file = self.cache_path + key
 try:
 with io.open(cache_file) as file:
 value = file.read()
 except:
 raise Exception('file: {0} not exists'.format(cache_file))
 return value
 
 
class index:
 def GET(self):
 return "Hello, world!"
 
 
class chat:
 def GET(self):
 url = web.ctx.home + web.ctx.path + web.ctx.query
 key = hashlib.md5(url).hexdigest()
 storage = Storage()
 try:
 join_url = storage.get(key)
 except:
 param = web.input()
 users = param.user
 member = tuple(users.split(','))
 topic = param.topic
 sk = SkypeService()
 join_url = sk.createAndGetSharedLink(member, topic)
 storage.set(key, join_url)
 
 return join_url
 
 
if __name__ == "__main__":
 app = web.application(urls, globals())
 app.run()

然后运行chat.py，默认监听8080端口

python chat.py [port]

在浏览器访问，

http://127.0.0.1:8080/chat?user=user1,user2&topic=19.5Release

即可以创建一个聊天会话，并且返回join url，点击这个URL会尝试打开Skype应用。注意这个会话默认是开放的，允许任何人加入

https://join.skype.com/LRRUuan7kNH3

去掉logging注释，可以看到API调用的过程，作者也作了详细的协议文档，可以看出登录流程相当复杂，也可以根据这个开放出其他语言的SDK。
注意这个bot运行的是个人账号，使用的是与web.skype.com相同的HTTP API，最好是在Skype 开发者平台上注册，官方也提供了NodeJS的SDK。
之前许多QQ机器人使用都是Web QQ的接口，目前已关闭。同时官方的API，发现并没有创建任意群聊的API。对比国外软件，国内的API真的是不开放。国外公司甚至有专门的API Platform团队，负责API开发开放，以及与第三方平台的集成。

参考连接：
SkPy

Django + Celery处理异步任务/计划任务

Fri, 03 May 2019 09:33:31 +0800

在Web开发的过程中，难免有一些操作是耗时任务，有时候我们不想阻塞Web进程，希望提交到后台处理，有结果了再通知前端；有时候用户不需要实时结果，可以异步处理的，比如发送邮件通知；有时候我们希望定时执行某些任务，复用已有的一些Web代码。对于第一种情况，可以是RPC或调用其他接口处理；第二种情况则是放入队列，由后台进程异步处理；第三种情况可以是在定时任务内处理，也可以是触发消息放入队列，由后台进程任务处理，同第二种情况。对于第一种情况，也可以是放入队列由后台进程处理，Web前端，定时轮询队列/接口是否有结果。这样三种情况都可以统一为一种情况，即不同来源事件（用户/定时器）触发消息，放入队列由后台任务进程异步处理，异步查询结果。
之前的一个Python项目即类似。不管代码是PHP还是Python思想都是类似，只是不同语言有不同工具/优势来处理。Web前端展示统计报表，后台进程定时查询Impala，分析统计数据；Web前端也可以触发事件比如统计、发送邮件报告等，后台进程监听并处理。Web前端选择Django，是Python写的一个MVT框架，提供了登录认证、管理后台模块，还有命令行助手工具可以生成项目，易于快速搭建并扩展Web站点。后台任务处理选择Celery，是Python写的一个分布式的任务处理平台，支持各种消息队列，比如RabbbitMQ、Redis，并提供Flower监控工具。Django本身是一个Web框架，生产环境最好使用性能更好的HTTP服务器，Gunicorn是Python写的一个WSGI HTTP服务器，用来监听HTTP请求，调用Django。Gunicorn前端最好使用Nginx来做代理，分发请求，结构如下：

安装Python 3和Django，并生成项目框架代码。注意：由于机器上面本来就有Pyton 2.7，所以要重命名下。

yum -y update
yum -y install yum-utils
yum -y groupinstall development
yum install zlib-devel bzip2-devel openssl-devel ncurese-devel expat-devel gdbm-devel readline-devel sqlite-devel libffi-devel
wget https://www.python.org/ftp/python/3.6.2/Python-3.6.2.tar.xz
tar Jxvf Python-3.6.2.tar.xz
mv Python-3.6.2 /opt/Python-3.6.2
cd /opt/Python-3.6.2
./configure --enable-shared --prefix=/usr/local/python3
make && make install
vim /etc/ld.so.conf
/usr/local/python3/lib/
/sbin/ldconfig -v
ln -s /usr/local/python3/bin/python3.6 /usr/bin/python3.6
ln -s /usr/bin/python3.6 /usr/bin/python3
#ln -s /usr/local/python3/bin/python3.6 /usr/bin/python
ln -s /usr/local/python3/bin/pip3 /usr/bin/pip3
python3 -V
pip3 -V
pip3 install Django
python3 -m django --version
ln -s /usr/local/python3/bin/django-admin /usr/bin/django-admin/
cd /home/rc
django-admin startproject qrd
cd qrd
python3 manage.py startapp master
vim qrd/settings.py

编辑settings.py，监听相应域名、IP的请求

ALLOWED_HOSTS = ['dev.example.com','localhost','127.0.0.1','10.1.*.*]
INSTALLED_APPS = [
 'django.contrib.admin',
 'django.contrib.auth',
 'master',
 'django.contrib.contenttypes',
 'django.contrib.sessions',
 'django.contrib.messages',
 'django.contrib.staticfiles',
]

测试一下

python3 manage.py runserver 0:80

然后安装Gunicorn

$ pip3 install gunicorn
$ pip3 install greenlet
$ pip3 install ConfigParser
$ ln -s /usr/local/python3/bin/gunicorn /usr/bin/gunicorn

测试运行

$ cd ~/qrd/qrd
$ gunicorn -w 4 qrd.wsgi --bind unix:/tmp/gunicorn.sock
$ sudo vim /etc/systemd/system/gunicorn.service

创建Gunicorn服务

[Unit]
Description=gunicorn daemon
After=network.target
[Service]
User=root
Group=root
WorkingDirectory=/home/rc/qrd/qrd
ExecStart=/usr/bin/gunicorn --access-logfile - --workers 3 --bind unix:/tmp/gunicorn.sock qrd.wsgi
[Install]
WantedBy=multi-user.target

开机启动

systemctl start gunicorn
systemctl enable gunicorn
#systemctl stop gunicorn

接下来安装Nginx

yum install nginx
vim /etc/nginx/conf.d/default.conf

配置Nginx与Gunicorn通过UNIX Sockect通信

server {
 listen 80;
 server_name localhost;
 #charset koi8-r;
 #access_log /var/log/nginx/host.access.log main;
 #location / {
 # root /usr/share/nginx/html;
 # index index.html index.htm;
 #
 location / {
 proxy_pass http://unix:/tmp/gunicorn.sock;
 proxy_set_header Host $host;
 proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
 }
}

启动Nginx

systemctl start nginx
systemctl enable nginx

安装MySQL及RabbitMQ

yum install mysql-community-devel
pip3 install mysqlclient


yum install rabbitmq-server
rabbitmq-server -detached
rabbitmqctl status

创建RabbitMQ vhost

$ rabbitmqctl add_user qrdweb <password>
Creating user "qrdweb" ...
...done.
$ rabbitmqctl add_vhost qrdweb
Creating vhost "qrdweb" ...
...done.
$ rabbitmqctl set_user_tags qrdweb management
Setting tags for user "qrdweb" to [management] ...
...done.
$ rabbitmqctl set_permissions -p qrdweb qrdweb ".*" ".*" ".*"
Setting permissions for user "qrdweb" in vhost "qrdweb" ...
...done.
$ netstat -apn | grep rabbitmq
$ rabbitmqctl status

安装Celery

pip3 install celery
ln -s /usr/local/python3/bin/celery /usr/bin/celery

测试Celery的异步任务worker及计划任务schedule

$ cd /home/qrd/qrd/
$ ls
dashboard db.sqlite3 manage.py master qrd static
$ celery -A qrd worker -l info
/usr/local/python3/lib/python3.6/site-packages/celery/platforms.py:795: RuntimeWarning: You're running the worker with superuser privileges: this is
absolutely not recommended!
Please specify a different user using the -u option.
User information: uid=0 euid=0 gid=0 egid=0
 uid=uid, euid=euid, gid=gid, egid=egid,
 -------------- celery@localhost.localdomain v4.1.0 (latentcall)
---- **** -----
--- * *** * -- Linux-3.10.0-693.2.2.el7.x86_64-x86_64-with-centos-7.4.1708-Core 2017-09-22 08:19:39
-- * - **** ---
- ** ---------- [config]
- ** ---------- .> app: qrd:0x7fda62e705c0
- ** ---------- .> transport: amqp://qrdweb:**@localhost:5672/qrdweb
- ** ---------- .> results: disabled://
- *** --- * --- .> concurrency: 1 (prefork)
-- ******* ---- .> task events: OFF (enable -E to monitor tasks in this worker)
--- ***** -----
 -------------- [queues]
 .> celery exchange=celery(direct) key=celery
 
[tasks]
 . dashboard.tasks.debug_task
[2017-09-22 08:19:39,769: INFO/MainProcess] Connected to amqp://qrdweb:**@127.0.0.1:5672/qrdweb
[2017-09-22 08:19:39,781: INFO/MainProcess] mingle: searching for neighbors
[2017-09-22 08:19:40,811: INFO/MainProcess] mingle: all alone
[2017-09-22 08:19:40,860: WARNING/MainProcess] /usr/local/python3/lib/python3.6/site-packages/celery/fixups/django.py:202: UserWarning: Using settings.DEBUG leads to a memory leak, never use this setting in production environments!
 warnings.warn('Using settings.DEBUG leads to a memory leak, never '
[2017-09-22 08:19:40,860: INFO/MainProcess] celery@localhost.localdomain ready.
[2017-09-22 08:20:55,023: INFO/MainProcess] Received task: dashboard.tasks.debug_task[71e6c0e1-92e1-494e-b5e9-163eeb7bd24e]
[2017-09-22 08:20:55,027: INFO/ForkPoolWorker-1] Task dashboard.tasks.debug_task[71e6c0e1-92e1-494e-b5e9-163eeb7bd24e] succeeded in 0.001253978000022471s: 'debug_task'
[2017-09-22 08:22:21,179: INFO/MainProcess] Received task: dashboard.tasks.debug_task[b81fe9a0-1725-4702-ba0e-13196c9b5977]
[2017-09-22 08:22:21,180: INFO/ForkPoolWorker-1] Task dashboard.tasks.debug_task[b81fe9a0-1725-4702-ba0e-13196c9b5977] succeeded in 0.00018433199147693813s: 'debug_task'
 
 
$ celery -A qrd beat -l info -s /tmp/celerybeat-schedule
celery beat v4.1.0 (latentcall) is starting.
__ - ... __ - _
LocalTime -> 2017-09-24 04:20:37
Configuration ->
 . broker -> amqp://qrdweb:**@localhost:5672/qrdweb
 . loader -> celery.loaders.app.AppLoader
 . scheduler -> celery.beat.PersistentScheduler
 . db -> /tmp/celerybeat-schedule
 . logfile -> [stderr]@%INFO
 . maxinterval -> 5.00 minutes (300s)
[2017-09-24 04:20:37,823: INFO/MainProcess] beat: Starting...
[2017-09-24 04:20:37,866: INFO/MainProcess] Scheduler: Sending due task add every 10 (qrd.celery.test)
[2017-09-24 04:20:47,856: INFO/MainProcess] Scheduler: Sending due task add every 10 (qrd.celery.test)
[2017-09-24 04:20:57,858: INFO/MainProcess] Scheduler: Sending due task add every 10 (qrd.celery.test)
[2017-09-24 04:20:57,861: INFO/MainProcess] Scheduler: Sending due task qrd.celery.test('world') (qrd.celery.test)
[2017-09-24 04:21:07,858: INFO/MainProcess] Scheduler: Sending due task add every 10 (qrd.celery.test)
[2017-09-24 04:21:17,859: INFO/MainProcess] Scheduler: Sending due task add every 10 (qrd.celery.test)

运行成功，可以使用Supervisord来守护监控Celery的运行，参考这里。
Django项目结果如下

先配置Celery使用RabbitMQ作为Broker，使用Django DB来保存调用结果settings.py

import os
from configparser import RawConfigParser

#https://code.djangoproject.com/wiki/SplitSettings
config = RawConfigParser()
config.read('/home/qrd/setting/settings.ini')

STATIC_URL = '/static/'
STATIC_ROOT = os.path.join(BASE_DIR, 'static')

CELERY_BROKER_URL = 'amqp://usr:pwd@localhost:5672/qrdweb'
CELERY_RESULT_BACKEND = 'django-db'

然后在Django项目下创建celery.py文件，

from __future__ import absolute_import, unicode_literals
import os
from celery import Celery
from celery.schedules import crontab

# set the default Django settings module for the 'celery' program.
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'qrd.settings')

app = Celery('qrd')

# Using a string here means the worker doesn't have to serialize
# the configuration object to child processes.
# - namespace='CELERY' means all celery-related configuration keys
# should have a `CELERY_` prefix.
app.config_from_object('django.conf:settings', namespace='CELERY')

# Load task modules from all registered Django app configs.
app.autodiscover_tasks()


app.conf.beat_schedule = {
 'hue-tasks-debug_task': {
 'task': 'hue.tasks.debug_task',
 'schedule': 10.0,
 'args': ()
 },
}

并且在__init__.py引入Celery即可集成

from __future__ import absolute_import, unicode_literals

# This will make sure the app is always imported when
# Django starts so that shared_task will use this app.
from .celery import app as celery_app

__all__ = ['celery_app']

Django的异步任务只能定义在各个app的task.py文件里，比如qrd.hue.tasks定义了一个定时任务

from celery import task

@task
def debug_task():
 #print(arg)
 return 'debug_task'

也可以在其模块里面调用

from tasks import debug_task

def save(data):
 debug_task.delay()

顺便推荐一个Bootstrap管理后台模板：gentelella。

参考链接：
异步任务神器 Celery
Django配置celery执行异步任务和定时任务
 淺談 Gunicorn 各個 worker type 適合的情境

CentOS 7上安装OpenVPN

Wed, 17 Apr 2019 16:19:29 +0800

之前做的一些树莓派机器因为分布分散，不好远程调试，最近看了CentOS 7.0 Set Up OpenVPN Server In 5 Minutes，决定备份一下。
首先需要有一台公网服务器，比如阿里云、腾讯云服务器，以便这些设备能连接上。阿里云、腾讯云的服务器外部IP并不是直接绑定在你的服务器上的，而是NAT转发到服务器上的，这与Linode不一样，虽然可以方便换IP。查看服务器公网IP，也可以在云管理后台查看

ip a show eth0
dig +short myip.opendns.com @resolver1.opendns.com
dig TXT +short o-o.myaddr.l.google.com @ns1.google.com | awk -F'"' '{ print $2}'

然后是一键安装脚步

yum update
wget https://raw.githubusercontent.com/Angristan/openvpn-install/master/openvpn-install.sh -O centos7-vpn.sh
chmod +x centos7-vpn.sh
./centos7-vpn.sh

Welcome to the OpenVPN installer!
The git repository is available at: https://github.com/angristan/openvpn-install

I need to ask you a few questions before starting the setup.
You can leave the default options and just press enter if you are ok with them.

I need to know the IPv4 address of the network interface you want OpenVPN listening to.
Unless your server is behind NAT, it should be your public IPv4 address.
IP address: 10.0.2.15

It seems this server is behind NAT. What is its public IPv4 address or hostname?
We need it for the clients to connect to the server.
Public IPv4 address or hostname: 110.*.*.*

Checking for IPv6 connectivity...

Your host does not appear to have IPv6 connectivity.

Do you want to enable IPv6 support (NAT)? [y/n]: n

What port do you want OpenVPN to listen to?
 1) Default: 1194
 2) Custom
 3) Random [49152-65535]
Port choice [1-3]: 1

What protocol do you want OpenVPN to use?
UDP is faster. Unless it is not available, you shouldn't use TCP.
 1) UDP
 2) TCP
Protocol [1-2]: 1

What DNS resolvers do you want to use with the VPN?
 1) Current system resolvers (from /etc/resolv.conf)
 2) Self-hosted DNS Resolver (Unbound)
 3) Cloudflare (Anycast: worldwide)
 4) Quad9 (Anycast: worldwide)
 5) Quad9 uncensored (Anycast: worldwide)
 6) FDN (France)
 7) DNS.WATCH (Germany)
 8) OpenDNS (Anycast: worldwide)
 9) Google (Anycast: worldwide)
 10) Yandex Basic (Russia)
 11) AdGuard DNS (Russia)
DNS [1-10]: 3

Do you want to use compression? It is not recommended since the VORACLE attack make use of it.
Enable compression? [y/n]: n

Do you want to customize encryption settings?
Unless you know what you're doing, you should stick with the default parameters provided by the script.
Note that whatever you choose, all the choices presented in the script are safe. (Unlike OpenVPN's defaults)
See https://github.com/angristan/openvpn-install#security-and-encryption to learn more.

Customize encryption settings? [y/n]: n

Okay, that was all I needed. We are ready to setup your OpenVPN server now.
You will be able to generate a client at the end of the installation.
Press any key to continue...

这个脚本省掉了许许多多配置，基本上按照默认一路enter就可以了，唯一需要输入的就是你的公网IP和生成的OpenVPN客户端连接文件名字，比如client.ovpn
然后启动服务

systemctl stop openvpn@server
systemctl enable openvpn@server
systemctl restart openvpn@server
systemctl status openvpn@server

查看生成的服务器配置

[root@li846-239 ~]# cat /etc/openvpn/server.conf
port 1194
proto udp6
dev tun
user nobody
group nobody
persist-key
persist-tun
keepalive 10 120
topology subnet
server 10.8.0.0 255.255.255.0
ifconfig-pool-persist ipp.txt
#client-to-client
#push "dhcp-option DNS 1.0.0.1"
#push "dhcp-option DNS 1.1.1.1"
#push "redirect-gateway def1 bypass-dhcp"
#server-ipv6 fd42:42:42:42::/112
#tun-ipv6
#push tun-ipv6
#push "route-ipv6 2000::/3"
#push "redirect-gateway ipv6"
dh none
ecdh-curve prime256v1
tls-crypt tls-crypt.key 0
crl-verify crl.pem
ca ca.crt
cert server_Yfej6xnJrDu3vs6K.crt
key server_Yfej6xnJrDu3vs6K.key
auth SHA256
cipher AES-128-GCM
ncp-ciphers AES-128-GCM
tls-server
tls-version-min 1.2
tls-cipher TLS-ECDHE-ECDSA-WITH-AES-128-GCM-SHA256
status /var/log/openvpn/status.log
verb 3

10.8.0.0是默认的组网网段，可以改成别的。腾讯云并不支持IPV6，注释掉。push “dhcp-option DNS 1.0.0.1″是推送DNS服务器给客户端。push “redirect-gateway def1 bypass-dhcp”是重定向客户端所有流量到服务器，建议按需添加需要互访的子网段（默认只有10.8.0.0可以互相访问)，否则所有流量重定向，可能会引起连接问题，比如ssh腾讯云服务器公网22端口进不去。Push和Route还有高级应用，建议参考OpenVPN: 2x HOW TO
查看连接状况。

journalctl --identifier openvpn -f

配置腾讯云服务器安全组，开放1194端口

将刚才生成的client.ovpn下载下来，mac上双击，使用Tunnelblick打开导入即可。但是使用最新的OpenVPN 2.6提示连不上，报错：tls-crypt unwrap error: packet too short。
在Linux上安装OpenVPN，启动连接

yum install openvpn
cp client.ovpn /etc/openvpn/client.conf #一定要复制到这里
openvpn --client --config /etc/openvpn/client.conf #测试一下
systemctl start openvpn@client
systemctl enable openvpn@client

测试一下

ping 10.8.0.1
ip route

如果有问题的话，可以查看iptable配置、网络及进程

cat /etc/iptables/add-openvpn-rules.sh
iptables -t nat -A POSTROUTING -s 10.8.0.0/24 -o eth0 -j MASQUERADE
iptables -A INPUT -i tun0 -j ACCEPT
iptables -A FORWARD -i eth0 -o tun0 -j ACCEPT
iptables -A FORWARD -i tun0 -o eth0 -j ACCEPT
iptables -A INPUT -i eth0 -p udp --dport 1194 -j ACCEPT

iptables -t nat -L -n -v 
net.ipv4.ip_forward
netstat -tulpn | grep :1194
ps aux | grep openvpn

当再一次运行脚本的时候，会提示是否创建新用户配置，注意不同用户不能共享同一个配置。这里创建的用户可以是支持用户名密码也可以是无账号密码的。

[root@tc ~]# ./centos7-vpn.sh
Welcome to OpenVPN-install!
The git repository is available at: https://github.com/angristan/openvpn-install

It looks like OpenVPN is already installed.

What do you want to do?
 1) Add a new user
 2) Revoke existing user
 3) Remove OpenVPN
 4) Exit
Select an option [1-4]:

连上OpenVPN服务器都处于同一个网络了，可以使用内部IP访问。现在使用docker来部署OpenVPN服务也很方便，比如rancher-openvpn，支持LDAP验证。
如果是两个及以上的局域网互通，可以使用Openswan建立虚拟网络连接。
更新：发现resin更新成了balena，免费支持10台设备，并且开放了IOT相关的系统、软件。
发现一个新的组网服务zerotier，可以快速的创建属于自己的私有网络。

参考链接：
How To Set Up and Configure an OpenVPN Server on CentOS 7
Tunnel Your Internet Traffic Through an OpenVPN Server
OpenVPN configuration examples
云服务器 ECS Linux CentOS OpenVPN 配置概述
 使用OpenVPN搞定远程办公
 使用openvpn打通两个异地网络
 How To Install Openswan And Create Site-to-Site VPN On CentOS 7
Setting up an IPSEC VPN using OpenSwan in cloud environments
Openswan L2TP/IPsec VPN client setup
在Raspberry Pi上面运行Docker
使用 Zerotier 组建虚拟局域网实现内网穿透
 trying to route between two openvpn clients
Site-to-site VPN routing explained in detail

Let’s encrypt

Sun, 11 Feb 2018 15:21:18 +0800

最近域名主机双双到期了，原来的服务商建议域名迁出，于是转移到了Godaddy，过程很顺利。主机迁到了linode，一个是因为它便宜，另一个是因为想给自己的网站加个SSL证书。
首先是服务器环境Apache, PHP, MaraiDB(MySQL)的配置。 linode 创建主机很简单，点点就好了，然后可以去启动机器，设置SSH访问。

yum update
yum install httpd php php-cli php-mbstring php-pdo php-mysql php-gd php-tidy

启动Apache

systemctl start httpd.service
systemctl enable httpd.service

然后直接访问你的服务器ip，可以看到默认的欢迎界面

ip addr show eth0 | grep inet | awk '{ print $2; }' | sed 's/\/.*$//'
curl 1.139.x.x

CentOS 7目前默认不提供Mysql Server，而是Mariadb。MySQL的命令行仍然可以使用并兼容， PHP仍然可以使用PDO及MySQL扩展访问它。

yum install mariadb-server mariadb
systemctl start mariadb

然后设置管理员密码及安全设置

mysql_secure_installation

开机启动Mariadb服务

systemctl enable mariadb.service

可以在/var/www/html目录下创建一个测试脚本来验证安装情况

<?php
phpinfo();

WordPress则是从原本的数据库全部导出，文件全部打包回来。
在Linode上创建对应的数据库，用户及导入脚本

MariaDB [(none)]> CREATE database courages_wordpress;

MariaDB [(none)]> CREATE USER courages_wp IDENTIFIED BY '*************';

MariaDB [(none)]> grant all privileges on courages_wordpress.* to courages_wp@localhost identified by '*************';

导入数据库

mysql -uroot -p courages_wordpress < /tmp/wordpress.sql

将文件解压并复制到/var/www/html目录

tar -xzvf backup.tar.gz
cp -R backup/public_html/* /var/www/html/*
chown -R apache:apache /var/www/html

更改Apache设置AllowOverride 为all，以便支持WordPress的链接重定向。

vim /etc/httpd/conf/httpd.conf

<Directory "/var/www/html">
 #
 # Possible values for the Options directive are "None", "All",
 # or any combination of:
 # Indexes Includes FollowSymLinks SymLinksifOwnerMatch ExecCGI MultiViews
 #
 # Note that "MultiViews" must be named *explicitly* --- "Options All"
 # doesn't give it to you.
 #
 # The Options directive is both complicated and important. Please see
 # http://httpd.apache.org/docs/2.4/mod/core.html#options
 # for more information.
 #
 Options Indexes FollowSymLinks

 #
 # AllowOverride controls what directives may be placed in .htaccess files.
 # It can be "All", "None", or any combination of the keywords:
 # Options FileInfo AuthConfig Limit
 #
 AllowOverride All

 #
 # Controls who can get stuff from this server.
 #
 Require all granted
</Directory>

重启Apache

systemctl restart httpd.service

在linode的DNS manager那里新增一个新的domain，在服务器列表里面选中对应的服务器就可以了，然后就可以看到对应的域名解析信息。
域名转移会要求一个key，从原注册商那里解锁并获得，在Godday输入Key后，它会发邮件与你确认，然后将DNS域名服务器改为linode的域名服务器就好了。

Let’s Encrypt提供免费90天的SSL证书，如果证书到期了就需要再次更新下。如果你有shell权限，它推荐使用Cerbot来安装和更新证书。CentOS 7 + Apache的安装非常简单。首先安装EPEL源，要不然找不到对应的安装包

yum install epel-release
yum install certbot-apache
certbot --authenticator webroot --installer apache

设置一下域名，网站目录及域名重定向

Saving debug log to /var/log/letsencrypt/letsencrypt.log
Plugins selected: Authenticator webroot, Installer apache
Enter email address (used for urgent renewal and security notices) (Enter 'c' to
cancel): <email@example.com>
Starting new HTTPS connection (1): acme-v01.api.letsencrypt.org

-------------------------------------------------------------------------------
Please read the Terms of Service at
https://letsencrypt.org/documents/LE-SA-v1.2-November-15-2017.pdf. You must
agree in order to register with the ACME server at
https://acme-v01.api.letsencrypt.org/directory
-------------------------------------------------------------------------------
(A)gree/(C)ancel: A

-------------------------------------------------------------------------------
Would you be willing to share your email address with the Electronic Frontier
Foundation, a founding partner of the Let's Encrypt project and the non-profit
organization that develops Certbot? We'd like to send you email about EFF and
our work to encrypt the web, protect its users and defend digital rights.
-------------------------------------------------------------------------------
(Y)es/(N)o: Y
Starting new HTTPS connection (1): supporters.eff.org
No names were found in your configuration files. Please enter in your domain
name(s) (comma and/or space separated) (Enter 'c' to cancel): courages.us
Obtaining a new certificate
Performing the following challenges:
http-01 challenge for courages.us
Input the webroot for courages.us: (Enter 'c' to cancel): /var/www/html
Waiting for verification...
Cleaning up challenges

We were unable to find a vhost with a ServerName or Address of courages.us.
Which virtual host would you like to choose?
(note: conf files with multiple vhosts are not yet supported)
-------------------------------------------------------------------------------
1: ssl.conf | | HTTPS | Enabled
-------------------------------------------------------------------------------
Press 1 [enter] to confirm the selection (press 'c' to cancel): 1
Deploying Certificate for courages.us to VirtualHost /etc/httpd/conf.d/ssl.conf

Please choose whether or not to redirect HTTP traffic to HTTPS, removing HTTP access.
-------------------------------------------------------------------------------
1: No redirect - Make no further changes to the webserver configuration.
2: Redirect - Make all requests redirect to secure HTTPS access. Choose this for
new sites, or if you're confident your site works on HTTPS. You can undo this
change by editing your web server's configuration.
-------------------------------------------------------------------------------
Select the appropriate number [1-2] then [enter] (press 'c' to cancel): 2
Created redirect file: le-redirect-courages.us.conf
Rollback checkpoint is empty (no changes made?)

-------------------------------------------------------------------------------
Congratulations! You have successfully enabled https://courages.us

You should test your configuration at:
https://www.ssllabs.com/ssltest/analyze.html?d=courages.us
-------------------------------------------------------------------------------

在浏览器访问一下域名即有小绿钥匙。可以在/etc/httpd/conf.d/ssl.conf查看相应的SSL证书配置

<VirtualHost _default_:443>
ServerName courages.us
SSLCertificateFile /etc/letsencrypt/live/courages.us/cert.pem
SSLCertificateKeyFile /etc/letsencrypt/live/courages.us/privkey.pem
Include /etc/letsencrypt/options-ssl-apache.conf
SSLCertificateChainFile /etc/letsencrypt/live/courages.us/chain.pem
</VirtualHost>

由于证书在90天后即将失效，可以加入crontab自动更新

certbot renew --dry-run
crontab -e

0 0,12 * * * python -c 'import random; import time; time.sleep(random.random() * 3600)' && certbot renew

另外一种更新证书的方法是使用acme.sh，不依赖python，同样支持DNS验证，并且还可以获取其他CA颁发的证书，比如ZeroSSL。
安装acme。sh脚本非常简单

➜ ~ curl https://get.acme.sh | sh -s email=llitllie@163.com
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 1032 0 1032 0 0 608 0 --:--:-- 0:00:01 --:--:-- 608
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 216k 100 216k 0 0 104k 0 0:00:02 0:00:02 --:--:-- 104k
[2023年 04月 07日 星期五 22:11:22 CST] Installing from online archive.
[2023年 04月 07日 星期五 22:11:22 CST] Downloading https://github.com/acmesh-official/acme.sh/archive/master.tar.gz
[2023年 04月 07日 星期五 22:11:25 CST] Extracting master.tar.gz
[2023年 04月 07日 星期五 22:11:26 CST] It is recommended to install socat first.
[2023年 04月 07日 星期五 22:11:26 CST] We use socat for standalone server if you use standalone mode.
[2023年 04月 07日 星期五 22:11:26 CST] If you don't use standalone mode, just ignore this warning.
[2023年 04月 07日 星期五 22:11:26 CST] Installing to /root/.acme.sh
[2023年 04月 07日 星期五 22:11:26 CST] Installed to /root/.acme.sh/acme.sh
[2023年 04月 07日 星期五 22:11:26 CST] Installing alias to '/root/.zshrc'
[2023年 04月 07日 星期五 22:11:26 CST] OK, Close and reopen your terminal to start using acme.sh
[2023年 04月 07日 星期五 22:11:26 CST] Installing alias to '/root/.cshrc'
[2023年 04月 07日 星期五 22:11:26 CST] Installing alias to '/root/.tcshrc'
[2023年 04月 07日 星期五 22:11:26 CST] Installing cron job
[2023年 04月 07日 星期五 22:11:26 CST] Good, bash is found, so change the shebang to use bash as preferred.
[2023年 04月 07日 星期五 22:11:28 CST] OK
[2023年 04月 07日 星期五 22:11:28 CST] Install success!

这里采用DNS验证获取证书，设置一下DNS厂商信息，比如DNSPOD，默认获取ZeroSSL证书，可以通过–server letsencrypt切换

➜ ~ export DP_Id="95731"
➜ ~ export DP_Key="***"
➜ ~ acme.sh --issue --dns dns_dp -d example.com -d "*.example.com"
[2023年 04月 07日 星期五 22:14:24 CST] Using CA: https://acme.zerossl.com/v2/DV90
[2023年 04月 07日 星期五 22:14:24 CST] Create account key ok.
[2023年 04月 07日 星期五 22:14:24 CST] No EAB credentials found for ZeroSSL, let's get one
[2023年 04月 07日 星期五 22:14:29 CST] Registering account: https://acme.zerossl.com/v2/DV90
[2023年 04月 07日 星期五 22:14:38 CST] Registered
[2023年 04月 07日 星期五 22:14:38 CST] ACCOUNT_THUMBPRINT='AY5noJZbSullM7fVQOnluxQJmWiiKJHl0vzVsYwwGsg'
[2023年 04月 07日 星期五 22:14:38 CST] Creating domain key
[2023年 04月 07日 星期五 22:14:38 CST] The domain key is here: /root/.acme.sh/example.com_ecc/example.com.key
[2023年 04月 07日 星期五 22:14:38 CST] Multi domain='DNS:example.com
[2023年 04月 07日 星期五 22:14:39 CST] Getting domain auth token for each domain
[2023年 04月 07日 星期五 22:14:56 CST] Getting webroot for domain='example.com'
[2023年 04月 07日 星期五 22:14:56 CST] Getting webroot for domain='*.example.com'
[2023年 04月 07日 星期五 22:14:56 CST] Adding txt value: q-pQccpOPbYbC4h_veQTSvj2OgUpgg9kBUFpms9fa9k for domain: _acme-challenge.example.com
[2023年 04月 07日 星期五 22:14:57 CST] Adding record
[2023年 04月 07日 星期五 22:14:57 CST] The txt record is added: Success.
[2023年 04月 07日 星期五 22:15:01 CST] Let's check each DNS record now. Sleep 20 seconds first.
[2023年 04月 07日 星期五 22:15:23 CST] You can use '--dnssleep' to disable public dns checks.
[2023年 04月 07日 星期五 22:15:23 CST] See: https://github.com/acmesh-official/acme.sh/wiki/dnscheck
[2023年 04月 07日 星期五 22:15:23 CST] Checking example.com for _acme-challenge.example.com
[2023年 04月 07日 星期五 22:15:23 CST] Please refer to https://curl.haxx.se/libcurl/c/libcurl-errors.html for error code: 35
[2023年 04月 07日 星期五 22:15:27 CST] Domain example.com '_acme-challenge.example.com' success.
[2023年 04月 07日 星期五 22:15:34 CST] All success, let's return
[2023年 04月 07日 星期五 22:15:34 CST] Verifying: example.com
[2023年 04月 07日 星期五 22:15:46 CST] Processing, The CA is processing your order, please just wait. (1/30)
[2023年 04月 07日 星期五 22:15:51 CST] Success
[2023年 04月 07日 星期五 22:15:51 CST] Verifying: *.example.com
[2023年 04月 07日 星期五 22:15:55 CST] Processing, The CA is processing your order, please just wait. (1/30)
[2023年 04月 07日 星期五 22:16:28 CST] Success
[2023年 04月 07日 星期五 22:16:28 CST] Removing DNS records.
[2023年 04月 07日 星期五 22:16:28 CST] Removing txt: q-pQccpOPbYbC4h_veQTSvj2OgUpgg9kBUFpms9fa9k for domain: _acme-challenge.example.com
[2023年 04月 07日 星期五 22:16:30 CST] Removed: Success
[2023年 04月 07日 星期五 22:16:34 CST] Verify finished, start to sign.
[2023年 04月 07日 星期五 22:16:35 CST] Lets finalize the order.
[2023年 04月 07日 星期五 22:16:40 CST] Order status is processing, lets sleep and retry.
[2023年 04月 07日 星期五 22:16:40 CST] Retry after: 15
[2023年 04月 07日 星期五 22:17:00 CST] Downloading cert.
[2023年 04月 07日 星期五 22:17:00 CST] Le_LinkCert='https://acme.zerossl.com/v2/DV90/cert/pcAU9PLEoObR7xYPTb9x7w'
[2023年 04月 07日 星期五 22:17:03 CST] Cert success.
-----BEGIN CERTIFICATE-----
MIIELzCCA7agAwIBAgIRAOO4Gyu...
QRwR2SSrAlEIeJXua7aYyyEEJQ==
-----END CERTIFICATE-----
[2023年 04月 07日 星期五 22:17:03 CST] Your cert is in: /root/.acme.sh/example.com_ecc/example.com.cer
[2023年 04月 07日 星期五 22:17:03 CST] Your cert key is in: /root/.acme.sh/example.com_ecc/example.com.key
[2023年 04月 07日 星期五 22:17:03 CST] The intermediate CA cert is in: /root/.acme.sh/example.com_ecc/ca.cer
[2023年 04月 07日 星期五 22:17:03 CST] And the full chain certs is there: /root/.acme.sh/example.com_ecc/fullchain.cer

最后安装证书

➜ ~ acme.sh --install-cert -d example.com -d "*.example.com"--key-file /etc/letsencrypt/live/example.com/privkey.pem --fullchain-file /etc/letsencrypt/live/example.com/chain.pem --reloadcmd "systemctl restart nginx"
[2023年 04月 07日 星期五 23:00:13 CST] The domain 'example.com' seems to have a ECC cert already, lets use ecc cert.
[2023年 04月 07日 星期五 23:00:13 CST] Installing key to: /etc/letsencrypt/live/example.com/privkey.pem
[2023年 04月 07日 星期五 23:00:13 CST] Installing full chain to: /etc/letsencrypt/live/example.com/chain.pem
[2023年 04月 07日 星期五 23:00:13 CST] Run reload cmd: systemctl restart nginx
[2023年 04月 07日 星期五 23:00:13 CST] Reload success

以后就可以自动更新了

➜ ~ crontab -l | grep acme 
26 0 * * * "/root/.acme.sh"/acme.sh --cron --home "/root/.acme.sh" > /dev/null

最近登录后台发现WordPress提示升级到PHP 7.3，按照它的指示

使用UpdraftPlus备份网站和数据库，支持Google Drive, Dropbox
使用PHP Compatibility Checker检测代码及扩展是否支持升级到PHP 7.3

在CentOS 7上升级PHP5.4 到PHP 7.3很简单：
首先安装Remi和EPEL仓库

yum install wget
wget https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm
wget http://rpms.remirepo.net/enterprise/remi-release-7.rpm
rpm -Uvh remi-release-7.rpm 
rpm -Uvh epel-release-latest-7.noarch.rpm

yum install yum-utils

启用remi-php73的源，yum update升级会自动升级PHP及扩展

[root@li846-239 ~]# yum-config-manager --enable remi-php73
[root@li846-239 ~]# yum repolist
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
 * base: mirrors.linode.com
 * epel: kartolo.sby.datautama.net.id
 * extras: mirrors.linode.com
 * remi-php73: mirror.xeonbd.com
 * remi-safe: mirror.xeonbd.com
 * updates: mirrors.linode.com
repo id repo name status
base/7/x86_64 CentOS-7 - Base 10,019
epel/x86_64 Extra Packages for Enterprise Linux 7 - x86_64 13,051
extras/7/x86_64 CentOS-7 - Extras 385
remi-php73 Remi's PHP 7.3 RPM repository for Enterprise Linux 7 - x86_64 305
remi-safe Safe Remi's RPM repository for Enterprise Linux 7 - x86_64 3,188
updates/7/x86_64 CentOS-7 - Updates 1,511
repolist: 28,825


yum update -y

检查PHP版本，重启Apache

[root@li846-239 ~]# php -v
PHP 7.3.4 (cli) (built: Apr 2 2019 13:48:50) ( NTS )
Copyright (c) 1997-2018 The PHP Group
Zend Engine v3.3.4, Copyright (c) 1998-2018 Zend Technologies
[root@li846-239 ~]# systemctl restart httpd

也可以禁用对应PHP版本的源，选择性升级PHP到对应版本

yum-config-manager --disable remi-php72

顺便升级下php-mcrypt和ZipArchive

yum install php-mcrypt
yum install php-pecl-zip

参考链接：
How To Install Linux, Apache, MySQL, PHP (LAMP) stack On CentOS 7
How to enable EPEL repository?
How to Secure Your Server
Introduction to FirewallD on CentOS
How to Upgrade PHP 5.6 to PHP 7.2 on CentOS VestaCP

Python使用Kerberos认证查询Impala

Sun, 22 Oct 2017 11:52:19 +0800

最近做QoS报告，数据来源于Impala，客户端认证采用的是Kerberos。
Impala是Cloudera公司开发并开源的一款基于HDFS/Hbase的MPP SQL引擎，它提供SQL语义，能够查询存储在Hadoop的HDFS和HBase中的PB级大数据。Kerberous本身是一个网络认证授权协议，借由中心服务器认证，对通信双方的客户端/服务端进行授权而不需要传递双方的密码。Kerberos的认证流程比较有意思，分为三个阶段：

客户端认证
1 客户端发送自己用户名
2 认证服务器返回使用客户端密钥加密的Client/TGS会话密钥和使用票据授权服务器密钥加密的TGT，包括sessions key，用户信息及有效期
3 客户端使用自己的密钥解密出Client/TGS会话密钥
服务授权
1 客户端发送两条消息：接收到的TGT和所请求的服务ID；使用Client/TGS会话密钥加密的用户ID和时间戳
2 票据授权服务器使用自己的密钥解密TGT得到客户端的Client/TGS会话密钥，然后使用它解密出用户ID并进行认证。返回使用所请求服务端密钥加密的client-server票据和使用Client/TGS会话密钥加密的Client/Server会话密钥
3 客户端使用Client/TGS会话密钥(Client/TGS Session Key)解密出Client/Server会话密钥
服务请求
1 客户端发送两条消息：使用所请求服务端密钥加密的client-server票据及使用Client/Server会话密钥加密的用户ID和时间戳
2 服务端使用自己的密钥解密client-server票据从而得到Client/Server会话密钥，使用该密钥解密获得用户信息并认证。返回使用Client/Server会话密钥的新时间戳
3 客户端使用Client/Server会话密钥解密该消息，认证结束并请求服务
4 服务端提供服务

在CentOS上安装Kerberos

yum install krb5-devel pam_krb5 krb5-libs krb5-workstation

编辑配置

vim /etc/krb5.conf

配置KDC，认证服务器

[logging]
default = FILE:/var/log/krb5libs.log
kdc = FILE:/var/log/krb5kdc.log
admin_server = FILE:/var/log/kadmind.log
[libdefaults]
default_realm = EXAMPLE.COM
dns_lookup_realm = false
dns_lookup_kdc = true
ticket_lifetime = 24h
renew_lifetime = 7d
forwardable = true
default_tkt_enctypes = rc4-hmac
default_tgs_enctypes = rc4-hmac
permitted_enctypes = rc4-hmac
[realms]
EXAMPLE.COM = {
default_domain = example.com
kdc = kdc01.example.com
kdc = kdc02.example.com
admin_server = adc01.example.com
admin_server = adc02.example.com
}
[domain_realm]
.example.com = EXAMPLE.COM
example.com = EXAMPLE.COM

测试一下

[root@localhost rc]# kinit abc.xyz@EXAMPLE.COM
Password for abc.xyz@EXAMPLE.COM:

注意这个配置文件每行前面的空格被删掉，是因为在VirtualBox里面每行开头有莫名其妙的乱码，Linux下并不可见，在EditPlus下面才发现，否则会乱报错

kinit: Improper format of Kerberos configuration file while initializing Kerberos 5 library
kinit: Cannot find KDC for realm "EXAMPLE.COM" while getting initial credentials

查看一下认证的ticket

[root@localhost vagrant]# klist
Ticket cache: FILE:/tmp/krb5cc_0
Default principal: abc.xyz@EXAMPLE.COM

Valid starting Expires Service principal
09/21/2017 08:30:50 09/21/2017 18:30:50 krbtgt/EXAMPLE.COM@EXAMPLE.COM
 renew until 09/28/2017 08:30:42

这个ticket在28号就会过期了，到时候又要输入密码，这样也不便于自动化程序使用。可以使用ktutil创建keytab文件

$ ktutil
ktutil: addent -password -p abc.xyz@EXAMPLE.COM -k 1 -e RC4-HMAC
Password for abc.xyz@EXAMPLE.COM:
ktutil: wkt abc.xyz.keytab
ktutil: q
$ ls
abc.xyz.keytab

测试一下

$ kinit -kt abc.xyz.keytab abc.xyz@EXAMPLE.COM
$ klist -k abc.xyz.keytab
Keytab name: FILE:abc.xyz.keytab
KVNO Principal
---- --------------------------------------------------------------------------
 1 abc.xyz@EXAMPLE.COM

之后便可以使用kinit自动更新ticket了。注意，如果更换了密码，需要重新生成新的keytab。
另外，相同用户生成的授权ticket在任意一台机器上都是相同的， kinit时会自动同步回来的。
公司的大数据平台使用Hue来提供基于web界面的查询，Impala也支持使用ODBC方式查询。在Python里使用的是impyla来查询，首先安装sasl的依赖

yum install libgsasl-devel cyrus-sasl-devel cyrus-sasl-gssapi
pip install impyla thrift_sasl

测试脚本

from impala.dbapi import connect
conn = connect(host="impalad.example.com", port=21050, auth_mechanism='GSSAPI', kerberos_service_name='impala', database='acme')
cur = conn.cursor()
cur.execute(r'SELECT * FROM acme WHERE dt="2017-09-12" LIMIT 5')
print(cur.fetchall())

运行下

python test.py

如下报错，则是服务器不能连接，检查一下网络，DNS/hosts及VPN

thriftpy.transport.TTransportException: TTransportException(type=1, message="Could not connect to ('impalad.example.com', 21050)")

如下报错，CentOS则是需要cyrus-sasl-gssapi模块

thriftpy.transport.TTransportException: TTransportException(type=1, message="Could not start SASL: b'Error in sasl_client_start (-4) SASL(-4): no mechanism available: No worthy mechs found'")

参考链接：
Impala：新一代开源大数据分析引擎
 大数据时代快速SQL引擎-Impala
CDH 5.2中Impala认证集成LDAP和Kerberos
Kerberos
Configuring Kerberos Authentication for Windows
Speaking Kerberos with KNIME Big Data Extensions

使用Supervisor 管理监控进程

Sat, 30 Sep 2017 09:38:29 +0800

Supervisor是用Python写的一款应用程监控管理工具，能够启动，停止，重启死进程，提供web管理界面，XML-RPC接口及事件监听。通常我们写了一些脚本都不会带有daemon功能，而是加&或者nohub，screen什么的丢到后台去运行，同时使用corntab定时检测脚本是否存活，以便重新运行脚本。使用Supervisor可以将这些脚本，程序转为守护进程，自动重启它们；还可以监控机器的进程运行状况，输出警报等。
Supervisor只能运行于Python 2.x的环境，但子进程可以为其他任意程序，比如Python 3，PHP等。这里使用pip来安装

$ wget https://bootstrap.pypa.io/get-pip.py
$ python -V
$ sudo python get-pip.py
$ sudo pip install supervisor

生成配置文件及日志目录

$ sudo echo_supervisord_conf > /etc/supervisord.conf
$ mkdir /var/log/supervisor
$ chmod 655 /var/log/supervisor

启动supervisord

$ sudo supervisord -c /etc/supervisord.conf
$ supervisorctl
$ Server requires authentication
$ Username:user
$ Password:

$ supervisor> status
$ supervisor> help

default commands (type help <topic>):
=====================================
add exit open reload restart start tail
avail fg pid remove shutdown status update
clear maintail quit reread signal stop version
$ supervisor> quit

这里没有任何进程。以下为常用命令：

supervisorctl stop program 停止某个进程
supervisorctl start program 启动某个进程
supervisorctl restart program 重启某个进程
supervisorctl stop group 重启属于group分组的所有进程(start,restart同理)
supervisorctl stop all 停止全部进程，注：start、restart、stop都不会载入最新的配置文件
supervisorctl reload 载入最新配置文件，停止原有进程并按新配置启动进程
supervisorctl update 根据最新配置文件，启动新配置或有改动的进程，没有改动的进程不受影响

编辑supervisord.conf启用web界面，账号密码为web及supervisorctl共用，必须更改

$ sudo vim /etc/supervisord.conf
#取消以下行的注释
[inet_http_server] ; inet (TCP) server disabled by default
port=*:9002 ; ip_address:port specifier, *:port for all iface
username=user ; default is no username (open server)
password=123 ; default is no password (open server)

#添加新应用qrd
[program:qrd]
command = /usr/bin/gunicorn --access-logfile - --workers 3 --bind 127.0.0.1:8000 qrd.wsgi
directory = /home/qrd/qrd/
user = root
autostart = true
autorestart = true
startsecs = 5
startretries = 3
stdout_logfile = /var/log/supervisor/qrd.log
stderr_logfile = /var/log/supervisor/qrd.log

重启使HTTP配置生效

ps aux | grep supervisord 
kill 
supervisord -c /etc/supervisord.conf

关于supervisord.conf配置项，命令释义可以参考这里。

command 为要运行的脚本或程序
directory 为脚本或程序运行时的工作目录
user 为脚本或程序运行时的用户
autostart 随supervisord启动
startsecs 启动后等待时间，过了这个时间没起来就重新启动
startretries 启动失败后重试的次数
stdout_logfile，stderr_logfile 为输出日志

重新加载所有应用

$ supervisorctl
Server requires authentication
Username:user
Password:

supervisor> reload
Really restart the remote supervisord process y/N? y
Restarted supervisord
supervisor> status
qrd RUNNING pid 3861, uptime 0:00:22

可以看到定义的qrd程序已经起来了。如果qrd程序意外退出了，那么supervisord将会重启它。如果杀掉了supervisord，那么qrd对应的进程也将被杀死。也可以去web界面查看http://127.0.0.1:9002/

可以通过web页面来启动，停止进程，查看日志等。
再增加下Celery的Worker，Beat配置

; ==================================
; celery worker supervisor example
; ==================================

[program:qrdworker]
; Set full path to celery program if using virtualenv
command=/usr/bin/celery worker -A qrd --loglevel=INFO

; Alternatively,
;command=celery --app=your_app.celery:app worker --loglevel=INFO -n worker.%%h
; Or run a script
;command=celery.sh

directory=/home/qrd/qrd/
user=nobody
numprocs=1
stdout_logfile=/var/log/supervisor/qrdworker.log
stderr_logfile=/var/log/supervisor/qrdworker.log
autostart=true
autorestart=true
startsecs=10

; Need to wait for currently executing tasks to finish at shutdown.
; Increase this if you have very long running tasks.
stopwaitsecs = 600

; Causes supervisor to send the termination signal (SIGTERM) to the whole process group.
stopasgroup=true

; Set Celery priority higher than default (999)
; so, if rabbitmq is supervised, it will start first.
priority=1000

; ================================
; celery beat supervisor example
; ================================

[program:qrdbeat]
; Set full path to celery program if using virtualenv
command=/usr/bin/celery -A qrd beat -l info -s /tmp/celerybeat-schedule

; remove the -A myapp argument if you aren't using an app instance

directory=/home/qrd/qrd/
user=nobody
numprocs=1
stdout_logfile=/var/log/supervisor/beat.log
stderr_logfile=/var/log/supervisor/beat.log
autostart=true
autorestart=true
startsecs=10

; Causes supervisor to send the termination signal (SIGTERM) to the whole process group.
stopasgroup=true

; if rabbitmq is supervised, set its priority higher
; so it starts first
priority=999

然后启用它们

supervisor> update
qrdbeat: added process group
supervisor> status
qrd RUNNING pid 4468, uptime 0:03:49
qrdbeat BACKOFF Exited too quickly (process log may have details)
qrdworker RUNNING pid 4469, uptime 0:03:49

查看下进程

$ sudo ps aux | grep python
root 1038 0.0 3.1 562392 15720 ? Ssl 01:49 0:01 /usr/bin/python -Es /usr/sbin/tuned -l -P
root 3992 0.1 3.0 222124 15224 ? Ss 03:49 0:00 /bin/python /bin/supervisord -c /etc/supervisord.conf
root 3993 0.3 3.8 211868 19296 ? S 03:49 0:00 /usr/local/python3/bin/python3.6 /usr/bin/gunicorn --access-logfile - --workers 3 --bind 127.0.0.1:8000 qrd.wsgi
root 3996 0.3 6.9 264048 34780 ? S 03:49 0:00 /usr/local/python3/bin/python3.6 /usr/bin/gunicorn --access-logfile - --workers 3 --bind 127.0.0.1:8000 qrd.wsgi
root 3998 0.3 6.9 264056 34784 ? S 03:49 0:00 /usr/local/python3/bin/python3.6 /usr/bin/gunicorn --access-logfile - --workers 3 --bind 127.0.0.1:8000 qrd.wsgi
root 3999 0.4 6.9 264024 34784 ? S 03:49 0:00 /usr/local/python3/bin/python3.6 /usr/bin/gunicorn --access-logfile - --workers 3 --bind 127.0.0.1:8000 qrd.wsgi
root 4014 0.0 0.1 112660 976 pts/0 R+ 03:50 0:00 grep --color=auto python

除了program标签，Supervisor也支持group标签，用来启动一系列的program，比如先启动数据库，再启动web服务器。
Supervisor也可以用来管理PHP进程，比如使用 Supervisor 管理 Laravel 队列进程。
Docker官方推荐一个docker容器只运行一个服务，如果你想启动多个脚本或程序，可以使用Supervisor会更简单点。
如果需要Supervisor开启启动，可以使用GitHub上的脚本和配置。CentOS 7上可以配置为service，由systemctl来管理：

$ sudo vim /etc/systemd/system/supervisord.service

内容如下：

# supervisord service for systemd (CentOS 7.0+)
# by ET-CS (https://github.com/ET-CS)
[Unit]
Description=Supervisor daemon

[Service]
Type=forking
ExecStart=/usr/bin/supervisord
ExecStop=/usr/bin/supervisorctl $OPTIONS shutdown
ExecReload=/usr/bin/supervisorctl $OPTIONS reload
KillMode=process
Restart=on-failure
RestartSec=42s

[Install]
WantedBy=multi-user.target

然后启用

$ sudo systemctl enable supervisord.service
Created symlink from /etc/systemd/system/multi-user.target.wants/supervisord.service to /etc/systemd/system/supervisord.service.
$ sudo systemctl start supervisord.service
$ sudo ps aux | grep python

虽然supervisorctl及web界面都只能管理本机，但是Supervisor提供了XML-RPC接口，可以获取进程运行信息，因此诞生了许多监控平台，以便监控服务器集群的进程的运行状况。
Supervisor还提供了event listener配置，在这里Supervisor将会通知脚本其他进程的运行状态变更的事件，可以用来发送警报监控等。

参考链接：
使用Supervisor3.2.1基于Mac10.10.3对系统进程进行管理
 supervisor的配置浅析
 Python 进程管理工具 Supervisor 使用教程
 Supervisor进程监护使用指南
 supervisord 的 XML-RPC API 使用说明
 Supervisor Event Listener
Dockerizing Nginx and SSH using Supervisord

PHP MongoDB Replica Set应用

Sat, 23 Sep 2017 16:10:53 +0800

MongoDB是个面向文档管理的NoSQL数据库，能够直接存取JSON数据，支持海量数据。公司内部的一个单点登录系统使用MongoDB来存储用户的session，以便在不同应用，服务器之间共享登录信息，解决了服务器切换用户状态丢失（被登出）的问题。单点登录系统前端采用PHP，与LDAP交互认证用户信息，提供登录界面，API等。MongoDB则采用Replica Set模式以便支持高可用。
在CentOS 6.5上安装MongoDB，首先添加源仓库

$ suod vim /etc/yum.repos.d/mongodb.repo
[mongodb]
name=MongoDB Repository
baseurl=http://downloads-distro.mongodb.org/repo/redhat/os/x86_64/
gpgcheck=0
enabled=0

安装，启动，连接MongoDB

$ sudo yum --enablerepo=mongodb install mongodb-org
$ sudo /sbin/chkconfig --levels 235 mongod on
$ sudo mongod --port 27017 --dbpath /data/db1
$ mongo --port 27017

创建用户SSOReplUser

> use admin 
> db.createUser( { user: "SSOReplUser", pwd: "<password>", roles: [ { role: "root", db: "admin" } ] });

创建集群要用到的key

$ sudo openssl rand -base64 741 > /home/sso/mongodb-keyfile 
$ sudo chmod 600 /home/sso/mongodb-keyfile

编辑MongoDB配置文件

$ sudo vim /etc/mongod.conf
# Replication Options 
# in replicated mongo databases, specify the replica set name here 
replSet=SSOReplSet 
# maximum size in megabytes for replication operation log 
#oplogSize=1024 
# path to a key file storing authentication info for connections # between replica set members keyFile=/home/sso/mongodb-keyfile

重启mongod服务

$ sudo /etc/init.d/mongod stop 
$ sudo /usr/bin/mongod -f /etc/mongod.conf

使用SSOReplUser登录

> use admin 
> db.auth("SSOReplUser", "<password>");

初始化集群

> rs.initiate()
> rs.conf() 
{
 "_id": "SSOReplSet",
 "version": 1,
 "members": [
 {
 "_id": 1,
 "host": "192.168.33.10:27017"
 }
 ]
}

在其他机器上按照上面步骤安装MongoDB，更改配置，复制对应的mongodb-keyfile并启动。
回到192.168.33.10并添加机器

SSOReplSet:PRIMARY> rs.add("192.168.33.11:27017") 
SSOReplSet:PRIMARY> rs.add("192.168.33.12:27017") 
SSOReplSet:PRIMARY> rs.add("192.168.33.13:27017")
#SSOReplSet:PRIMARY> rs.remove("192.168.33.13:27017")

在从机上认证查看

SSOReplSet:SECONDARY> use admin 
SSOReplSet:SECONDARY> db.auth("SSOReplUser", "<password>"); 
SSOReplSet:SECONDARY> rs.status()

MongoDB的Replica set模式最少要求3台机器，以便在PRIMARY机器故障时，能够自我选举出新的PRIMARY,但需要n/2+1的机器投票同意。例如刚才配置了4台机器，那么需要4/2+1=3台机器投票，能够承受一台机器故障。如果是集群有5台机器，则能够承受2台机器故障。因此再配置一台不存储数据的Arbiter机器比较合理。
按照上面的步骤安装，复制mongodb-keyfile文件，但需要更改mongod.conf

$sudo vim /etc/mongod.conf
nojournal=true

然后启动mongod服务并在PRIMARY机器上将这台机器加入机器

SSOReplSet:PRIMARY> use admin 
SSOReplSet:PRIMARY> db.auth("SSOReplUser", "<password>"); 
SSOReplSet:PRIMARY> rs.addArb("<ip of arbiter>");

PHP的mongo扩展安装比较简单，下载对应版本，启用即可。然而在应用过程中发现登录有点慢，启用看PHP mongo扩展profiling功能，查看PHP日志

<?php
\MongoLog::setLevel(\MongoLog::ALL);
\MongoLog::setModule(\MongoLog::ALL);
try{
 echo microtime(true) . PHP_EOL;
 echo "aaa01(primary)" . PHP_EOL;
 $m = new \MongoClient("mongodb://admin:XXXXXXXXX@192.168.33.10:27017/?replicaSet=SSOReplSet ");
 echo microtime(true) . PHP_EOL;
 echo "aaa01(primay), bbb01(secondary),ccc01(secondary),ddd01(secondary)" . PHP_EOL;
 $m = new \MongoClient("mongodb://admin:XXXXXXXXX@192.168.33.10:27017,192.168.33.11:27017,192.168.33.12:27017,192.168.33.13:27017/?replicaSet=SSOReplSet ");
 echo microtime(true) . PHP_EOL;
} catch (\MongoConnectionException $e) {
 var_dump($e);
}

发现PHP连接MongoDB集群是这样子的

即：

1）在连接里面配置了几个MongoDB连接服务器，PHP每个都会创建连接去查询
2）从每台服务器上查询出整个集群的服务器列表，再分别ping和连接这些服务器，如果连接不存在或不匹配则创建，无效的则销毁
3）汇总所有服务器返回集群列表
4）选择离自己最近的服务器并使用该与该服务器的连接

MongoDB 的写操作默认在Primary节点上操作完成即返回成功；读操作默认是也是从Primary上读取，所以需要去查询服务器。由于SSO应用部署在多个数据中心，网络抖动会造成较大影响，跨数据中心的查询并不会很快，如果每次都去连接并查询整个列表是比较耗时。另外如果在php里面配置的是IP而MongoDB Replica Set里面配置的是域名，则连接名会出现不匹配，而创建新的连接并销毁旧连接，也耗时。如果配置的是域名，则需要DNS解析。由于每台PHP服务器均已配置HA检测，最终每个应用只配置了一台服务器，并统一配置MongoDB集群为IP。而连接最快的是在Primary机器上，可以根据本机是否Primary来做HA：

#!/usr/bin/env bash
count=`ps -fe |grep "mongod" | grep -v "grep" | wc -l`
FILE="/home/scripts-bits/master.conf"
SERVER=`hostname`

if [ $count -lt 1 ]; then
 rm -f $FILE
else
 PRIMAY=`/usr/bin/mongo ${SERVER}:27017 --quiet --eval 'printjson(db.isMaster().ismaster);'`
 if [ "$PRIMAY" == "true" ]; then
 	if [ ! -f "$FILE" ]; then
 		touch "$FILE"
 	fi
 	REMOVE=`/usr/bin/mongo ${SERVER}:27017/admin --quiet /home/scripts-bits/mongo_status.js`
 fi
fi

删除故障节点(not reachable/healthy)的脚本mongo_status.js:

db.auth('admin','<password>');
conf=rs.status();
members=conf["members"];
for(i in members){
	if(members[i]["state"] == 8){
		rs.remove(members[i]["name"]);
	}
}

这中间也出现过因为网络/机器故障，导致PHP等待连接超时的情况的，将该机器从集群中移除即可。然而当服务器是启动的（可以到达）情况下，MongoDB故障，则不会超时。可以更改connectTimeoutMS，以便减少等待。
MongoDB的日志默认都是记录在/var/log/mongodb/下面并且会越来越大。创建Python脚本来定时清除它：

#!/bin/env python
import commands
import datetime,time

def rotate_log(path, expire = 30):
 str_now = time.strftime("%Y-%m-%d")
 dat_now = time.strptime(str_now, "%Y-%m-%d")
 array_dat_now = datetime.datetime(dat_now[0], dat_now[1], dat_now[2])
 lns = commands.getoutput("/bin/ls --full-time %s|awk '{print $6, $9}'" % path)
 for ln in lns.split('\n'):
 ws = ln.split()
 if len(ws) != 2:
 continue
 ws1 = time.strptime(ws[0], "%Y-%m-%d")
 ws2 = datetime.datetime(ws1[0], ws1[1], ws1[2])
 if (array_dat_now - ws2).days > expire:
 v_del = commands.getoutput("/bin/rm -rf %s/%s" % (path, ws[1]))


def rotate_mongo():
 # get mongo pid
 mongo_pid = commands.getoutput("/sbin/pidof mongod")
 #print mongo_pid
 # send Sig to mongo
 if mongo_pid != '':
 cmd = "/bin/kill -USR1 %s" % (mongo_pid)
 # print cmd
 mongo_rotate = commands.getoutput(cmd)
 else:
 print "mongod is not running..."

if __name__ == "__main__":
 log_path = "/var/log/mongodb/"
 expire = 30
 rotate_mongo()
 rotate_log(log_path, expire)

加入到crontab里面去执行

10 1 * * * /usr/bin/python /home/sso/mongo_rotate.py > /dev/null 2>&1

参考连接
mongodb与mysql相比的优缺点
 PHP MongoDB 复制集合
 MongoDB Replication
MongoDB Enable Auth
MongoDB Rotate Log Files
Blocking connect() leads to cumulative timeouts for multiple inaccessible servers
How Raft consensus algorithm will make replication even better in MongoDB 3.2
Write Concern for Replica Sets
MongoDB Read Preference

Vagrant CentOS 共享目录挂载问题解决

Sun, 17 Sep 2017 10:07:01 +0800

一直以来都是使用Vagrant与VirtualBox运行CentOS系统来搭建环境，然而有一天突然出现Windows下面的目录无法映射进去了，报错:

D:\project\vagrant\centos64php56>vagrant up
Bringing machine 'default' up with 'virtualbox' provider...
==> default: Clearing any previously set forwarded ports...
==> default: Clearing any previously set network interfaces...
==> default: Preparing network interfaces based on configuration...
 default: Adapter 1: nat
 default: Adapter 2: hostonly
==> default: Forwarding ports...
 default: 80 (guest) => 8080 (host) (adapter 1)
 default: 22 (guest) => 2222 (host) (adapter 1)
==> default: Booting VM...
==> default: Waiting for machine to boot. This may take a few minutes...
 default: SSH address: 127.0.0.1:2222
 default: SSH username: vagrant
 default: SSH auth method: private key
 default: Warning: Connection reset. Retrying...
 default: Warning: Connection aborted. Retrying...
 default: Warning: Connection reset. Retrying...
 default: Warning: Remote connection disconnect. Retrying...
==> default: Machine booted and ready!
[default] GuestAdditions versions on your host (5.1.26) and guest (4.3.6) do not matc
Loaded plugins: fastestmirror
Setting up Install Process
Loading mirror speeds from cached hostfile
 * base: mirrors.btte.net
 * epel: repo.fedoralinux.ir
 * extras: mirrors.btte.net
 * updates: mirrors.btte.net
No package kernel-devel-2.6.32-358.23.2.el6.x86_64 available.
Package gcc-4.4.7-18.el6.x86_64 already installed and latest version
Package binutils-2.20.51.0.2-5.47.el6_9.1.x86_64 already installed and latest version
Package 1:make-3.81-23.el6.x86_64 already installed and latest version
Package 4:perl-5.10.1-144.el6.x86_64 already installed and latest version
Package bzip2-1.0.5-7.el6_0.x86_64 already installed and latest version
Nothing to do
Copy iso file C:\Program Files\Oracle\VirtualBox\VBoxGuestAdditions.iso into the box
Installing Virtualbox Guest Additions 5.1.26 - guest version is 4.3.6
Verifying archive integrity... All good.
Uncompressing VirtualBox 5.1.26 Guest Additions for Linux...........
VirtualBox Guest Additions installer
Removing installed version 5.1.26 of VirtualBox Guest Additions...
vboxadd.sh: Stopping VirtualBox Additions.
Copying additional installer modules ...
Installing additional modules ...
vboxadd.sh: Starting the VirtualBox Guest Additions.
Failed to set up service vboxadd, please check the log file
/var/log/VBoxGuestAdditions.log for details.
An error occurred during installation of VirtualBox Guest Additions 5.1.26. Some func
In most cases it is OK that the "Window System drivers" installation failed.
vboxadd.sh: Starting the VirtualBox Guest Additions.
vboxadd.sh: failed: Look at /var/log/vboxadd-install.log to find out what went wrong.
vboxadd.sh: failed: modprobe vboxguest failed.
==> default: Checking for guest additions in VM...
 default: The guest additions on this VM do not match the installed version of
 default: VirtualBox! In most cases this is fine, but in rare cases it can
 default: prevent things such as shared folders from working properly. If you see
 default: shared folder errors, please make sure the guest additions within the
 default: virtual machine match the version of VirtualBox you have installed on
 default: your host and reload your VM.
 default:
 default: Guest Additions Version: 4.3.6
 default: VirtualBox Version: 5.1
==> default: Configuring and enabling network interfaces...
 default: SSH address: 127.0.0.1:2222
 default: SSH username: vagrant
 default: SSH auth method: private key
==> default: Mounting shared folders...
 default: /home/rc => D:/project/vagrant/centos64php56
Vagrant was unable to mount VirtualBox shared folders. This is usually
because the filesystem "vboxsf" is not available. This filesystem is
made available via the VirtualBox Guest Additions and kernel module.
Please verify that these guest additions are properly installed in the
guest. This is not a bug in Vagrant and is usually caused by a faulty
Vagrant box. For context, the command attempted was:

mount -t vboxsf -o uid=500,gid=500 home_rc_ /home/rc

The error output from the command was:

/sbin/mount.vboxsf: mounting failed with the error: No such device

这里提示虚拟机里CentOS的VBoxGuestAdditions与VirtualBox的版本匹配，需要升级：

[default] GuestAdditions versions on your host (5.1.26) and guest (4.3.6) do not matc

应该是升级了VirtualBox导致的。然而自动安装新插件失败:

vboxadd.sh: Starting the VirtualBox Guest Additions.
Failed to set up service vboxadd, please check the log file
/var/log/VBoxGuestAdditions.log for details.
An error occurred during installation of VirtualBox Guest Additions 5.1.26. Some func
In most cases it is OK that the "Window System drivers" installation failed.
vboxadd.sh: Starting the VirtualBox Guest Additions.
vboxadd.sh: failed: Look at /var/log/vboxadd-install.log to find out what went wrong.
vboxadd.sh: failed: modprobe vboxguest failed.

导致共享目录无法映射。但是虚拟机仍然是启动成功的，可以ssh进去，或者使用sftp挂载。
Google了下有说是VirtualBox bug的，也有说是Windows问题的，各种折腾不能解决。升级插件也无效：vagrant plugin install vagrant-vbguest。重新安装VirtualBox和Vagrant，并不会影响现有虚拟机及网络配置，但不能解决问题。
直到看到这篇文章，决定从CentOS入手解决。
启动虚拟机后，使用sftp上传VBoxGuestAdditions.iso，ssh进入手动安装：

$ sudo
$ mount VBoxGuestAdditions.iso -o loop /mnt
$ cd /mnt
$ sh VBoxLinuxAdditions.run

安装失败，查看日志：

Building the main Guest Additions module [FAILED]
(Look at /var/log/vboxadd-install.log to find out what went wrong)

vboxadd-install.log日志：

/tmp/vbox.0/Makefile.include.header:97: *** Error: unable to find the sources of your current Linux kernel. Specify KERN_DIR=<directory> and run Make again. Stop.

参照这篇文章，查看kernel版本

$ rpm -qa kernel\* | sort
kernel-2.6.32-358.23.2.el6.x86_64
kernel-devel-2.6.32-696.10.2.el6.x86_64
kernel-firmware-2.6.32-358.10.2.el6.noarch
kernel-headers-2.6.32-696.10.2.el6.x86_64

$ uname -r
2.6.32-358.10.2.el6.x86_64

其实一开始是更多版本不匹配的，尝试更新kernel:

yum update
yum install kernel-headers kernel-devel

结果部分更新失败：

Warning: No matches found for: kernel-devel
No Matches found

参照这里解除版本锁定，设置enabled = 0：

$ vim /etc/yum/pluginconf.d/versionlock.conf

再次运行升级kernel就可以了。安装成功后，重启后，再次运行sh VBoxLinuxAdditions.run 就可以了。事实上Vagrant启动时就会自动安装VBoxGuestAdditions：

[default] GuestAdditions 5.1.26 running --- OK.

Vagrant升级到后发现vagrant up初始化下载box卡住了，那是你的vagrant版本太高与对应的powershell版本对应不上，可以下载最新的powershell安装即可。
如果box下载很慢，可以参照这里的方法自我映射取得url单独下载：

https://app.vagrantup.com/box-cutter/boxes/centos73
==> https://atlas.hashicorp.com/box-cutter/boxes/centos73/versions/2.0.21/providers/virtualbox.box

参考链接：
Guest Additions Version error on VirtualBox5
VirtualBox下挂载共享文件目录问题处理
 Resolving GuestAdditions version mismatch in vagrant/homestead vm (failed to mount shared folders / modprobe vboxsf failed)
Problem installing virtualBox guest additions
Warning: No matches found for: kernel-devel
Vagrant up hangs forever on Windows 7, Vagrant 1.9.7, VirtualBox 5.1.22.r11512

TCP UDP探索

Sat, 03 Dec 2016 16:19:12 +0800

最近开发新接口，为实现更高的性能，深入考察了下TCP，UDP通信协议。之前的开发当中都是基于HTTP的接口开发，简单易用，各个编程语言都支持；web服务器、中间件成熟，方便扩展；支持安全加密等等。与自定义Socket通信相比，HTTP仍然不够高效。

TCP协议，也叫传输控制协议（Transmission Control Protocol）是一种面向连接的、可靠的、基于字节流的传输层通信协议。每建立一个TCP连接需要三次握手，关闭时又需要四次握手；传输过程当中，每发送一个包，都要接收一个确认回复，如果在一定时间内未收到，则重发，如果是同一块数据分包传输，则回复所需要的包序号；在发送和接收时都要计算校验和。由于有严格的数据包传输顺序和校验，因为接收到的数据将会是顺序。

UDP协议，也叫用户数据报协议（User Datagram Protocol）是一个简单的面向数据报的传输层协议。它只管数据包发送，并不没有TCP的连接控制、回复确认，并不知道对方是否接收成功。因为并不等待接收方回复，发送端可以连续发送数据，接收端接收到数据并不一定是顺序的。因此相比TCP，UDP的有更高的传输效率，更低的可靠性。如果需要可靠性，则需要发送确认包，类似TCP那样子。

通常HTTP协议基于TCP实现，保证收到的内容是完整、顺序的。在HTTP 1.0时，每一次请求都需要建立TCP连接，关闭TCP连接；在HTTP 1.1时，同一TCP连接则可以在活跃（Keep-Live）间期内复用。HTTP是无连接的，每次处理完成请求即断开连接，一方面可以节省服务器资源，另一方面却浪费连接时间。如果需要维持客户端的Keep-Alive状态，则又需要消耗更多服务器资源，需要权衡。

WebSocket是基于TCP 连接上进行全双工通讯的协议，允许服务端直接向浏览器发送消息，不再需要ajax轮询。它也是在TCP上面的实现，使用类似HTTP请求的握手协议，进行TCP通信切换。WebRTC，也叫Web即时通信（Web Real-Time Communication），则是一个支持浏览器之间进行实时语音对话或视频对话的API。它是建立于TCP/UDP之上的点对点通信，客户端基于上层RTCDataChannel进行通信而非底层TCP/UDP。

Google推出了基于UDP的QUIC协议（快速UDP网络连接）实现的HTTP传输，可以快速在两个端点间创建连接，支持多路复用连接。对于丢包问题，则采用冗余传输，能够根据接收到的包，对缺失的包进行恢复（类似RAID）。对于一个TCP连接，需要四个参数：源IP/端口，目的IP/端口，任何一个改变都需要重新建立连接。QUIC则不需要这些，因为UDP并不需要来源信；它使用UUID来标识一个连接，只要这个UUID在，那么这个连接会话就能够继续（与HTTP会话有点像）。因此在不同网络，特别是移动网络之间的切换，都将保持稳定（参考：Mosh）。目前Google的网站已经支持，并可以在Chrome浏览器的里面查看连接情况：chrome://net-internals/#quic。

通常说TCP是可靠连接，可用于数据流，复杂网络情况；UDP由于缺少确认机制等，属不可靠连接，通常应用于网络情况良好（内部）或者允许丢包的场景。事实上UDP也应用于游戏，VoIP等需要高效传输的场景。当网络状况糟糕时，使用TCP通信反而可能更差，因为需要更多步骤建立连接和确认。参考这里：QQ 为什么采用 UDP 协议，而不采用 TCP 协议实现？。TCP连接是有状态的，服务端需要去维持，及TIME_WAIT问题。如果连接一段时间没用，TCP并不能感知连接是否仍然有效，需要自定义心跳包，维持连接。UDP则是无连接状态的，只要知道目标IP及端口即可以发送。

UDP通信简单许多，不需要socket_connect和socket_connect，主动暴露一端（服务端）需要socket_bind。例如，服务端：

<?php
$socket = stream_socket_server("udp://127.0.0.1:1113", $errno, $errstr, STREAM_SERVER_BIND);
if (!$socket) {
 die("$errstr ($errno)");
}

do {
 $pkt = stream_socket_recvfrom($socket, 1024, 0, $peer);
 echo "$peer,$pkt\n";
 //客户端互相通信时，注释下面一行
 stream_socket_sendto($socket, date("D M j H:i:s Y\r\n"), 0, $peer);
} while ($pkt !== false);

客户端：

<?php
$sock = socket_create(AF_INET, SOCK_DGRAM, SOL_UDP);

$msg = "Ping !";
$len = strlen($msg);

socket_sendto($sock, $msg, $len, 0, '127.0.0.1', 1113);

//sleep(30)
$res = socket_recv( $sock , $reply , 2045 , MSG_WAITALL);
echo $reply;

socket_close($sock);

服务端的代码里面有个stream_socket_sendto（或者socket_sendto），向客户端发送消息。UDP并不需要向客户端回复消息，这并像TCP在同一个连接里面回复，而是另一次UDP通信罢了。实际上，两个客户端之间就能够互相通信（分别使用不同端口），任何能够拿到对方IP和端口，都能够向其发送消息。复制客户端代码，更改目标IP和端口为服务端打印出来的信息，然后运行，原先的客户端也将收到消息。利用中间服务器交换两个客户端的IP和端口，以便直接通信，是NAT穿透常用的方法。

综上，使用TCP可以保证数据可靠传输，复用连接，比如请求-应答模型；使用UDP则可以更高效发送数据，但能容忍部分丢包的场景，比如视频画面；或者只发送不需响应的数据，比如日志；或者无需连接状态的场景（类似HTTP会话），减少服务器压力和客户端等待。当然，也可以在UDP基础上自定义传输规则，实现譬如Mosh或则TCP那样的应用。选择TCP或者UDP，应该综合考虑使用场景，网络，数据包大小，效率，安全等，而不是盲从字面上的“面向可靠的”或者“不可靠的”或者“高效的”。

参考链接：
如何理解HTTP协议的 “无连接，无状态” 特点？
Google’s QUIC protocol: moving the web from TCP to UDP（Google QUIC协议：从TCP到UDP的Web平台）
如何看待谷歌 Google 打算用 QUIC 协议替代 TCP/UDP？ – 回答作者: Trotyl Yu
How Mosh works
使用TCP协议的NAT穿透技术
 PHP Socket通信
 日志系统设计
 可靠 UDP 传输
 DDOS（拒绝服务攻击）
php使用socket感悟–tcp和udp
UDP socket programming in php
Does WebRTC use TCP or UDP?

日志系统设计

Mon, 03 Oct 2016 22:35:33 +0800

日志系统是项目开发/运维当中非常重要的一部分，提供产品使用情况，跟踪调试信息等。以前都是各个项目各自实现日志记录，比如PHP、JAVA各自实现一套，如果要跨项目/服务器进行查询/跟踪/统计，则比较麻烦，比如Web后台–>业务模块–>基础组件，客户端–>公共接口–>业务模块等等。
目前的项目都是将日志写入本地，首先需要定义统一的规范：

格式
DateTime | ServerIP | ClientIP | PID | RequestID| Type | Level | Message| Code

解释
DateTime：记录日志的当前时间戳
ServerIP：当前服务器IP
ClientIP:客户端IP
PID：进程ID
RequestID：交易号，即请求的唯一标识，使用uniqid(+UserCode)或UUID或，一次请求会有多条日志，，用于关联本次请求内的相关日志
Type：日志类型，比如统计，操作（审计），业务等
Level：日志等级
Message：日志内容，当为值为数组或者对象时转为JSON
Type为RUNTIME时，表示运行日志，属性：自定义
Type为HTTP时，表示来源请求，属性：Url，Method（Get/Post），Params，RemoteIP，UserAgent，ReferUrl[，Action，Method]
Type为REST时，表示外部调用，属性：Type（Http/Https），Url,Port，RequestParams，Response，RunTime；
Type为SQL时，表示SQL执行，属性：Sql，RunTime
Code：标识码，记录错误码、响应码、统计码、版本、自定义信息，方便统计

这里的RequestID由入口处自动产生，用于标识一次请求，关联所产生的所有日志，需要在各个项目之间传递。为了减少日志，Level通常为Info级别，避免产生过多日志。为了方便调试追踪，RequestID和Level也可以在其他参数中指明，比如HTTP头里面附加。
然后是日志收集：客户端收走日志系统，发送给日志系统服务端。
然后分析处理呈现：服务端将接收到的日志，发给处理其他组件分析处理，提供Web界面的查询系统。研发人员，可以错误信息，定位问题；获悉程序运行情况进行调优；大数据分析日志，得出产品使用情况；运维平台则可以进行业务报警。

日志产生由个语言依照规范自行实现，收集、保持则由Flume和Kafka实现。Flume是一个分布式的日志收集、合并、移动系统，能够监控文件变化，将变化部分传输出去。Kafka是一个分布式的发布/订阅的消息流平台，包括Broker，Consumer，Producer都支持分布式，依赖Zookeeper实现。

在PHP上面的实现，一开始使用log4php，看起来很美好，但是性能很差，对业务影响较大。决定再次简化，砍掉不必要的东西（Socket，邮件等等），在C语言开发的PHP日志扩展SeasLog基础上在做开发，将日志文件保存在本地。为了减少日志所占用内存，每超过一定的大小的日志即进行保存，否则在最后进行保存，利用了Nginx的fastcgi_finish_request特性。生产上发现，每天产生的文件日志太大了，需要控制日志信息大小、等级，并及时清理。
对于Web后台，还结合FirePHP，将日志直接输出到浏览器，方便边运行变调试。

参考链接：
最佳日志实践
 Optimal Logging
Flume+Kafka收集Docker容器内分布式日志应用实践
 基于Flume的美团日志收集系统(一)架构和设计
 Twitter是如何构建高性能分布式日志的
 开源日志系统比较
 Kafka剖析（一）：Kafka背景及架构介绍
 基于Flume的野狗实时日志系统的演进和优化
 EVODelavega/phpkafka
有赞统一日志平台初探
 RabbitMQ和kafka从几个角度简单的对比
 Flume-ng的原理和使用
 利用flume+kafka+storm+mysql构建大数据实时系统

HTTP文件分块上传下载

Sun, 02 Oct 2016 22:16:47 +0800

在开发中经常需要上传下载文件，涉及web页面，手机应用，线下服务器等，文件传输方式有HTTP，FTP，BT。。于是基于HTTP开发了统一文件上传下载接口。
由于上传涉及多端，网络状况复杂，需要能够支持断点续传，因此需要对文件进行分块和校验。
请求上传：

chunk：当前块编号
chunks：文件分块总数
md5：整个文件md5
content：文件块内容
size：文件块大小

服务端返回:

statu：状态，0失败，非0成功
chunk：需要上传的块编号
message：操作信息

服务端有几种情况

1. 上传成功，md5已经存在，说明文件已存在，则返回上传成功，并结束上传，类似秒传
2. 上传成功，md5已经不存在，但当前文件块已经存在，说明该文件已经上传过一部分，则返回成功，并给出需要开始上传的块号，类似断点续传
3. 上传成功，文件块不存在，当前块号小于总块数减一，则返回上传成功，并给出下一块块号
4. 上传成功，文件块不存在，当前块号等于总块数减一，进行合并，校验成功，则返回上传成功，并结束上传
5. 上传成功，文件块不存在，当前块号等于总块数减一，进行合并，校验成功，则返回上传失败，从第一块重新开始上传
6. 上传失败，服务端返回失败，则根据错误信息重传
7. 上传失败，服务端没有返回，则重传当前块

客户端依据自定义的大小对文件进行切割，每次传递一个块，当服务端接收到当前块号为总块数减一则认为全部上传完毕，进行文件块合并，清除临时文件块，计算MD5，如果MD5与传递过来的相等则认为上传成功，否则失败，要求客户端从第一块重传。
这个是基于客户端顺序上传的，假如是并发上传呢？那么就需要在每个分块上传结束后触发合并，需要借助锁来管理。
又拍云表单分块上传则分为3步骤：

1.初始化，上报文件信息
2.上传分块
3.上传结束，触发合并

而百度的WebUploader则支持浏览器向服务端的断点续传，利用HTML5或Flash对文件进行分块，计算MD5。
HTTP分块下载，也就是断点续传下载，是根据HTTP1.1协议（RFC2616）中定义的HTTP头 Range和Content-Range字段来控制的：

1. 客户端在HTTP请求头里面指明Range，即开始下载位置
2. 服务端在HTTP响应头里面返回Content-Range，告知下载其实点和范围

服务端可以将文件MD5等加入Etag或自定义Header字段里面，HTTP客户端便可以分开请求数据，最后合并；否则永远都是从头开始。其实也可以把大文件切成多个小文件，再一个个下载回来合并。
有些web服务器直接支持文件上传和下载的断点续传，比如Nginx。

刚才的文件分块传输过程，有点像TCP通信，也有建立连接，分片，校验，重发，断开连接。
而这个将大任务分解为多个小任务进行处理的思想，即准备–>循环（并行）处理–>结束，可以应用到很多项目里面，比如大数据，爬虫。为Web管理系统写了jQuery插件用来处理的耗时任务，将一个耗时任务分解为多个循环请求，避免超时

1. prepare：服务端返任务标示ID，总步骤，及附加参数
2. process：根据返回参数进行循环请求
3. complete:循环完成，触发结束

后面又延伸出另外一个插件，支持任意顺序步骤的处理。

参考链接：
聊聊大文件上传
 md5 javascript
HTTP协议－－断点续传
 http断点续传的秘密
 nginx-upload-module模块实现文件断点续传
 通过curl测试服务器是否支持断点续传

jQuery 插件开发

Sat, 01 Oct 2016 22:43:35 +0800

最近开发一个前端图表模块，使用jQuery和Highchart开发，然后提供给其他人用，发现调用时要写太多代码，能不能一行搞定。之前开发过几个jQuery扩展，于是也做成jQuery扩展，调用时类似$(‘#chart’).warning(options)这样子，简洁了不少。
jQuery扩展有两种，一种是$(‘#element’).func()，使用了选择器，定义是：

(function($) {
 //Plugin fucntions
 $.fn.PluginName = function(options) {
 // Plugin initial
 }
})(jQuery);

将PluginName这个插件注册到$.fn上面，另外一种$.func(options)，不绑定元素的，定义是：

(function($) {
 //Plugin fucntions
 $.PluginName = function(options) {
 // Plugin initial
 }
})(jQuery);

将PluginName直接挂在了$对象下面。
jQeury.extend方法可以用来扩展对象，也可以用来增加插件：

//$('＃el').PluginName方式
jQuery.fn.extend({
 PluginName: function(options) {
 // Plugin initial
 }
});


//对原有的PluginName插件再进一步扩展，也可用于升级插件而不修改原有代码
jQuery.fn.PluginName.extend({
 doSomething: function(options) {
 // Plugin extend
 }
});

jQuery.extend(true, jQuery.fn.PluginName.prototype, {});

//$.PluginName方式
jQuery.extend({
 PluginName: function(options) {
 // Plugin initial
 }
});

jQuery.PluginName.extend({
 doSomething: function(options) {
 // Plugin extend
 }
});

以下是一个简单的jQuery插件模板，来自这里：

/*
 * Project: 
 * Description: 
 * Author: 
 * License: 
 */

// the semi-colon before function invocation is a safety net against concatenated
// scripts and/or other plugins which may not be closed properly.
;(function ( $, window, document, undefined ) {

 // undefined is used here as the undefined global variable in ECMAScript 3 is
 // mutable (ie. it can be changed by someone else). undefined isn't really being
 // passed in so we can ensure the value of it is truly undefined. In ES5, undefined
 // can no longer be modified.

 // window is passed through as local variable rather than global
 // as this (slightly) quickens the resolution process and can be more efficiently
 // minified (especially when both are regularly referenced in your plugin).

 // Create the defaults once
 var pluginName = 'defaultPluginName',
 defaults = {
 propertyName: "value"
 };

 // The actual plugin constructor
 function Plugin( element, options ) {
 this.element = element;

 // jQuery has an extend method which merges the contents of two or
 // more objects, storing the result in the first object. The first object
 // is generally empty as we don't want to alter the default options for
 // future instances of the plugin
 this.options = $.extend( {}, defaults, options) ;

 this._defaults = defaults;
 this._name = pluginName;

 this.init();
 }

 Plugin.prototype.init = function () {
 // Place initialization logic here
 // You already have access to the DOM element and the options via the instance,
 // e.g., this.element and this.options
 };

 // You don't need to change something below:
 // A really lightweight plugin wrapper around the constructor,
 // preventing against multiple instantiations and allowing any
 // public function (ie. a function whose name doesn't start
 // with an underscore) to be called via the jQuery plugin,
 // e.g. $(element).defaultPluginName('functionName', arg1, arg2)
 $.fn[pluginName] = function ( options ) {
 var args = arguments;

 // Is the first parameter an object (options), or was omitted,
 // instantiate a new instance of the plugin.
 if (options === undefined || typeof options === 'object') {
 return this.each(function () {

 // Only allow the plugin to be instantiated once,
 // so we check that the element has no plugin instantiation yet
 if (!$.data(this, 'plugin_' + pluginName)) {

 // if it has no instance, create a new one,
 // pass options to our plugin constructor,
 // and store the plugin instance
 // in the elements jQuery data object.
 $.data(this, 'plugin_' + pluginName, new Plugin( this, options ));
 }
 });

 // If the first parameter is a string and it doesn't start
 // with an underscore or "contains" the `init`-function,
 // treat this as a call to a public method.
 } else if (typeof options === 'string' && options[0] !== '_' && options !== 'init') {

 // Cache the method call
 // to make it possible
 // to return a value
 var returns;

 this.each(function () {
 var instance = $.data(this, 'plugin_' + pluginName);

 // Tests that there's already a plugin-instance
 // and checks that the requested public method exists
 if (instance instanceof Plugin && typeof instance[options] === 'function') {

 // Call the method of our plugin instance,
 // and pass it the supplied arguments.
 returns = instance[options].apply( instance, Array.prototype.slice.call( args, 1 ) );
 }

 // Allow instances to be destroyed via the 'destroy' method
 if (options === 'destroy') {
 $.data(this, 'plugin_' + pluginName, null);
 }
 });

 // If the earlier cached method
 // gives a value back return the value,
 // otherwise return this to preserve chainability.
 return returns !== undefined ? returns : this;
 }
 };

}(jQuery, window, document));

根据这个就可以方便的开发jQuery插件了。
也可以使用jQuery.widget来开发一个插件，参考这里：

//新插件
$.widget( "custom.superDialog", {} );
//继承原有jQuery UI插件
$.widget( "custom.superDialog", $.ui.dialog, {} );

除此之外，也可以自己写插件/模块：

(function () {
	// 将插件/模块定义在闭包私有空间里，加载时候就会立即执行，初始化
	this.PluginName = function(options) {
	}
	PluginName.prototype.doSomething = function(options) {
	}
}());

然后就可以调用了

var plugin = new PluginName(options);
plugin.doSomething();

也可以这样子：

var MODULE = (function (my) {
	my.moduleMethod = function () {
		// method override, has access to old through old_moduleMethod...
	};
	return my;
}(MODULE || {}));

#子模块，挂在MODULE这个对象/命名空间下面
MODULE.sub = (function () {
	var my = {};
	// ...

	return my;
}());

模块多了就需要模块管理工具了，比如RequireJS：

//定义
define('myModule', 
 ['foo', 'bar'], 
 // module definition function
 // dependencies (foo and bar) are mapped to function parameters
 function ( foo, bar ) {
 // return a value that defines the module export
 // (i.e the functionality we want to expose for consumption)
 
 // create your module here
 var myModule = {
 doStuff:function(){
 console.log('Yay! Stuff');
 }
 }
 
 return myModule;
});
#使用
require(['app/myModule'], 
 function( myModule ){
 // start the main module which in-turn
 // loads other modules
 var module = new myModule();
 module.doStuff();
});

Javascript模块话加载可以参考这里。

参考链接：
JavaScript Module Pattern: In-Depth
Advanced Plugin Concepts
Learning JavaScript Design Patterns
jQuery Plugin Pattern
理解jquery的$.extend()、$.fn和$.fn.extend()
Making Use of jQuery UI’s Widget Factory
Building Your Own JavaScript Modal Plugin
Writing Modular JavaScript With AMD, CommonJS & ES Harmony
Javascript文件加载：LABjs和RequireJS
jQuery Boilerplate——流行的jQuery插件开发模板

在Raspberry Pi上面运行Docker

Fri, 30 Sep 2016 23:36:00 +0800

公司有个项目是运行在Raspberry Pi上面，这个项目涉及到Perl，Python，Java Applet，并且未来Pi的数量可能达到上千个。最近碰到了一样的代码遵循一样的部署脚本，在不同的树莓派上运行竟然到不同的结果。于是也想将Docker应用到树莓派上面去，使用docker主要优点：
1 消除环境差异，程序运行所依赖的环境已经一起打包，随身携带了
2 简化配置，只有docker相关配置，不再需要每个语言单独配置
3 重复利用
4 方便升级，之前有差异时，是重写镜像。。
5 方便管理，可以使用docker已有的工具来管理
6 性能接近原生应用

Raspberry Pi在jessie这个版本就已经支持了docker，检查版本：

$ lsb_release -da
No LSB modules are available.
Distributor ID: Raspbian
Description: Raspbian GNU/Linux 8.0 (jessie)
Release: 8.0
Codename: jessie

如果你的版本已经支持，直接执行以下命令就可以了：

curl -sSL https://get.docker.com | sh

如果你的版本不支持，你需要升级系统或重新刷镜像，可以采用hypriot

#下载
wget https://downloads.hypriot.com/hypriotos-rpi-v1.0.0.img.zip
#解压
unzip hypriotos-rpi-v1.0.0.img.zip
#查找 SD card ID
lsblk
#查找类似/dev/mmcblk0

#弹出SD卡
umount /run/media/mac/8734-1E4C
#将镜像写入 SD card
sudo dd if=hypriotos-rpi-v1.0.0.img of=/dev/mmcblk0 bs=1m

然后启动，默认的用户名/密码是pirate/hypriot。
当然也可以采用Debian或者是Alpine Linux来定制（Raspberry Pi仅支持 arm版本的系统，并且只能在arm平台上构建，或者这个）。
运行测试一下:

docker run -d -p 80:80 hypriot/rpi-busybox-httpd

访问以下树莓派的IP，就会看到一个非常神器的网页，而这个容器仅仅几M。在这里可以看到基于hypriot的好几个镜像，也可以搜索其他的raspberry pi镜像。
现在我们使用hypriot/rpi-python来构建一个使用Python Selenium测试带有Java Applet的网页：

docker run -idt -P --name web hypriot/rpi-python
docker attach web

进入到容器里面，执行以下命令：

sudo apt-get update
#安装openjdk
sudo apt-get install openjdk-7-jdk
#安装Firefox
sudo apt-get install iceweasel
#安装Java Applet插件
sudo apt-get install icedtea-7-plugin
#安装虚拟桌面
sudo apt-get install xvfb
#安装Python包管理工具
sudo apt-get install python-pip
#安装selenium
sudo pip install selenium
#安装Python虚拟桌面库
sudo pip install pyvirtualdisplay

创建测试test.py：

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import time
from pyvirtualdisplay import Display
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
from selenium.webdriver.firefox.firefox_binary import FirefoxBinary
display = Display(visible=0, size=(800, 600))
display.start()
caps = DesiredCapabilities.FIREFOX
caps["marionette"] = False
#caps["binary"] = "/usr/bin/firefox"
firefox_binary = FirefoxBinary("/usr/bin/firefox")
fp = webdriver.FirefoxProfile()
fp.set_preference("security.enable_java", True )
fp.set_preference("plugin.state.java", 2)
driver = webdriver.Firefox(firefox_profile=fp,firefox_binary=firefox_binary)
driver.maximize_window()
driver.get("http://businessconnect.telus.com/bandwidth/en_us/index.html?voip=on&voiplines=1&testlength=15&codec=g711&_=1470641590&startTest=on")
time.sleep(120)
mos = driver.find_element_by_class_name("sectiontitle18").find_element_by_tag_name("span").get_attribute("innerHTML")
print mos
driver.close()
display.stop()

运行测试用例：

python test.py

如果仅仅是这样子，是行不通的，Java Applet的安全询问弹窗超出了浏览器范围是点击不到的，需要更为强大的组件来做，比如。
这里采用取巧的方法，首先把pyvirtualdisplay相关代码注释掉，在界面上观察具体的执行效果，并点击安全询问，运行通过。然后取消注释，再次运行，就可以了。最后将运行通过的配置文件/root/.icedtea目录拷贝出来，放到其他的树莓派里面就可以了。
如果碰到报错”selenium.common.exceptions.WebDriverException: Can’t load the profile”，通常是说Firefox或selenium版本太低，如果检查都不是，需要修改WebDriver的超时时间

nano /usr/local/lib/python2.7/dist-packages/selenium/webdriver/firefox/webdriver.py

timeout从30秒改为120秒：

class WebDriver(RemoteWebDriver):


 # There is no native event support on Mac
 NATIVE_EVENTS_ALLOWED = sys.platform != "darwin"


 def __init__(self, firefox_profile=None, firefox_binary=None, timeout=120,

修改为容器后，提交变更：

root@black-pearl:/home/pirate# docker ps -l
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
04762770df2d hypriot/rpi-python "bash" 2 days ago Up 2 days web
root@black-pearl:/home/pirate# docker commit 04762770df2d hypriot/rpi-python
root@black-pearl:/home/pirate# docker rm web

运行新镜像

#docker run -idt -P --name web hypriot/rpi-python
#映射程序目录和配置文件进去
docker run -idt -P --name web -v /home/pi:/home/pi -v /home/pi/.icedtea:/root/.icedtea hypriot/rpi-python

程序正常运行后，可以将这个镜像打包：

docker save -o hypriot.tar hypriot/rpi-python:latest

分发给其他树莓派运行：

docker load --input hypriot.tar
docker images
docker run -idt -P --name web -v /home/pi:/home/pi -v /home/pi/.icedtea:/root/.icedtea hypriot/rpi-python

这样子便可以利用docker工具来管理这个应用程序，比起原本复杂的环境配置要简单很多。

在查找Pi可用镜像的时候，顺便发现了一个IOT（internet of things）管理平台：resin。

参考链接：
add support to install Docker on raspbian/jessie
Getting started with Docker on your Raspberry Pi
How to get Docker running on your Raspberry Pi using Linux
Getting selenium python to work on Raspberry Pi Model B

使用Docker Compose管理Docker容器

Fri, 30 Sep 2016 00:10:36 +0800

上一篇创建了一个PHP的运行环境，现在需要一个MySQL服务，直接运行：

root@thinkpad:~# docker run --name rocket-mysql -v /home/rocketfish/mysql/data:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=root -d mysql:5.7

就自动下载并得到一个mysql版本为5.7的服务镜像。
这时候，要运行一个Web服务我们需要运行两次的docker run才可以，如果还有更多的Web容器或其他的服务容器呢？
Docker官方提倡一个容器仅提供一个服务，多个服务/容器可以使用docker-compose来管理。
docker-compose本身是一个Python写的工具，可以直接通过pip安装：

root@thinkpad:~# sudo pip install --upgrade pip

如果你本地并没有Python环境，也可以采用docker-compose的docker镜像来运行：

root@thinkpad:/home/compose-web# curl -L https://github.com/docker/compose/releases/download/1.8.0/run.sh > /usr/local/bin/docker-compose
root@thinkpad:/home/compose-web# docker-compose --version
#开始下载镜像，建议用第一种

查看帮助

root@thinkpad:~# docker-compose -h
Define and run multi-container applications with Docker.

Usage:
 docker-compose [-f <arg>...] [options] [COMMAND] [ARGS...]
 docker-compose -h|--help

Options:
 -f, --file FILE Specify an alternate compose file (default: docker-compose.yml)
 -p, --project-name NAME Specify an alternate project name (default: directory name)
 --verbose Show more output
 -v, --version Print version and exit
 -H, --host HOST Daemon socket to connect to

 --tls Use TLS; implied by --tlsverify
 --tlscacert CA_PATH Trust certs signed only by this CA
 --tlscert CLIENT_CERT_PATH Path to TLS certificate file
 --tlskey TLS_KEY_PATH Path to TLS key file
 --tlsverify Use TLS and verify the remote
 --skip-hostname-check Don't check the daemon's hostname against the name specified
 in the client certificate (for example if your docker host
 is an IP address)

Commands:
 build Build or rebuild services
 bundle Generate a Docker bundle from the Compose file
 config Validate and view the compose file
 create Create services
 down Stop and remove containers, networks, images, and volumes
 events Receive real time events from containers
 exec Execute a command in a running container
 help Get help on a command
 kill Kill containers
 logs View output from containers
 pause Pause services
 port Print the public port for a port binding
 ps List containers
 pull Pulls service images
 push Push service images
 restart Restart services
 rm Remove stopped containers
 run Run a one-off command
 scale Set number of containers for a service
 start Start services
 stop Stop services
 unpause Unpause services
 up Create and start containers
 version Show the Docker-Compose version information

这些命令包括了创建/启动/停止/暂停/继续运行容器。
首先要创建docker-compose.yml，这是一个YAML格式的文档

mkdir docker
cd docker
mkdir web
mkdir db
vim docker-compose.yml

内容如下：

version: '2'
services:
 db:
 image: mysql:5.7
 ports:
 - "3306:3306"
 restart: always
 environment:
 MYSQL_ROOT_PASSWORD: root
 MYSQL_DATABASE: web
 MYSQL_USER: root
 MYSQL_PASSWORD: rootweb
 volumes:
 - ./db/data:/var/lib/mysql
 web:
 depends_on:
 - db
 image: nginx-php-fpm:phalcon
 ports:
 - "80:80"
 restart: always
 environment:
 WEB_DB_HOST: db:3306
 WEB_DB_PASSWORD: root
 volumes:
 - ./web/html:/var/www/html/
 links:
 - db

这里的environment定义了环境变量，比如host的MAC，就可以在docker容器的系统变量里面得到，各个编程语言都有获取系统环境变量的方法。这些变量也可以组织起来放在文件里面加载进去，参考这里。
这里的volumes定义了要映射进容器的文件或文件夹或者数据容器，可以参考这里。注意，多个容器共享同一个目录，会出现写冲突，比如MySQL，多个实例，数据目录需要分开。所以设计好你的程序，哪一部分是需要只读的（可以共享)，哪一部分是需要写的；写的部分是否可以放到各自临时目录，或者其他公共服务里面。
运行并查看

root@thinkpad:/home/compose-web# docker-compose up -d
Creating network "composeweb_default" with the default driver
Creating composeweb_db_1
Creating composeweb_web_1
root@thinkpad:/home/compose-web# docker-compose ps
 Name Command State Ports 
------------------------------------------------------------------------------------
composeweb_db_1 docker-entrypoint.sh mysqld Up 0.0.0.0:3306->3306/tcp 
composeweb_web_1 /start.sh Up 443/tcp, 0.0.0.0:80->80/tcp 
#也可以使用原来的命令
root@thinkpad:/home/compose-web# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
efbdaf257748 nginx-php-fpm:phalcon "/start.sh" 13 seconds ago Up 11 seconds 0.0.0.0:80->80/tcp, 443/tcp composeweb_web_1
a6935d20911e mysql:5.7 "docker-entrypoint.sh" 14 seconds ago Up 13 seconds 0.0.0.0:3306->3306/tcp composeweb_db_1

docker-compose up -d ，将会在后台启动并运行所有的容器。
docker-compose仅仅提供了对多个docker服务的管理，仍然可以在这些容器上运行原来的docker命令。检查下web容器的IP：

root@thinkpad:/home/compose-web# docker inspect composeweb_web_1 | grep IPAddress
 "SecondaryIPAddresses": null,
 "IPAddress": "",
 "IPAddress": "172.18.0.3",

然后访问：http://172.18.0.3/ 就可以看到web页面了。
如果想要停止服务，可以用docker-compose stop：

root@thinkpad:/home/compose-web# docker-compose stop db
Stopping composeweb_db_1 ... done
root@thinkpad:/home/compose-web# docker-compose stop web
Stopping composeweb_web_1 ... done

再次启动，得到相同名称的服务:

root@thinkpad:/home/compose-web# docker-compose up -d
Starting composeweb_db_1
Starting composeweb_web_1

各个容器的名称也可以在配置文件里面通过参数container_name来指定。
docker-compose的配置还有很多其他的参数，可以参考这里。比如刚才我们通过docker inspect来查找容器IP，也可以配置成静态IP：

version: '2'

services:
 app:
 image: nginx-php-fpm:phalcon
 networks:
 app_net:
 ipv4_address: 172.18.0.10
 ipv6_address: 2001:3984:3989::10

networks:
 app_net:
 driver: bridge
 driver_opts:
 com.docker.network.enable_ipv6: "true"
 ipam:
 driver: default
 config:
 - subnet: 172.18.0.0/24
 gateway: 172.18.0.1
 - subnet: 2001:3984:3989::/64
 gateway: 2001:3984:3989::1

也可以自定义网络。
刚才我们的配置文件里面直接指定了镜像，也可以指定Dockerfile镜像构建，假如Dockerfile在web目录下面:

build:
 context: ./web

或者直接指明Dockerfile：

build:
 context: .
 dockerfile: Dockerfile-alternate

实际上，docker-compose的配置已经覆盖了Dockerfile的配置项，也可以直接用于构建多个docker服务，比如指定运行的命令

command: [/bin/bash]

这里的入口程序，如果不能持续运行的话，运行完成后，docker就会退出。所以如果你需要可以后台运行的docker容器，那么入口程序，就必须保持一个程序在前台运行，不退出，比如运行crontab的镜像，入口程序可以是：

cron && bash

cron这个程序是在后台运行的，如果不配合前台程序bash，容器执行玩cron就会退出了。其他运行crontab的容器，大都是强制一个程序在前台不退出，比如这个：

cron && tail -f /var/log/cron.log

这里需要注意一下，通过docker设置的environment values在容器内的cli下面执行时取不到的，比如printenv，使用cron后台运行时取不到外部设置的变量，但是手动执行时又可以。这些外部环境变量只能在ENTRYPOINT或者CMD所执行的shell里面去设置，比如在CMD执行start.sh:

printenv | grep -E "^HOST" > /root/env.conf && cron && bash

Docker compose还可以跟Docker Swarm结合。

参考链接：
Install Docker Compose
Quickstart: Docker Compose and WordPress
YAML 模板文件
 Introduction to Docker Compose Tool for Multi-Container Applications
Dockerfile基本结构
 How to Get Environment Variables Passed Through docker-compose to the Containers
Access environment variables from crontab into a docker container
How can I access Docker set Environment Variables From a Cron Job
Dockerfile里指定执行命令用ENTRYPOING和用CMD有何不同？
What is the difference between CMD and ENTRYPOINT in a Dockerfile?
Docker difference between run, cmd, entrypoint commands

基于Docker的Nginx + PHP-FPM + Phalcon镜像

Wed, 28 Sep 2016 23:34:40 +0800

上一篇简单介绍了Docker的安装，运行，这一篇来构建一个基于Nginx和PHP-FPM的Phalcon镜像。在官方找了以下，单独的Nginx和PHP镜像更加流行，混合的反倒不是很受欢迎。其实官方并不提倡在一个容器里面运行多个服务，最好是一个容器只对外提供一个服务：一个容器启动时仅仅运行一个命令（其实里面可以包含多个），也方便部署扩展升级。多个服务之间可以使用Docker Compose来管理。但是Docker并不阻止创建包含多个服务器的镜像，为了方便，所以我们仍然可以自己构建。
构建镜像可以有好几种方式，比如基于Alpine Linux或phusion/baseimage-docker构建，或者基于Ubuntu，CentOS等构建，又或者在PHP，Nginx的基础镜像上构建。注意：如果要采用Ubuntu或者CentOS构建，可能需要一些额外的工作，以便保持镜像轻量稳定运行。
这里采用已有的richarvey/nginx-php-fpm来构建，它是一个基于Nginx官方镜像来构建的。
从Github上拉取相关文件从Dockerfile构建：

$ sudo git clone https://github.com/ngineered/nginx-php-fpm
$ sudo docker build -t nginx-php-fpm:latest .

关于Dockerfile的相关解释，可以参考这里。当然也可以直接拉取镜像使用

$ sudo docker pull richarvey/nginx-php-fpm
# 也可以直接运行，会自动拉取
#$ sudo docker run -d richarvey/nginx-php-fpm

查看本地的镜像，连单独的nginx也来了：

root@thinkpad:~# docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
nginx-php-fpm latest 4fc9ac9f2945 7 hours ago 228.5 MB
nginx mainline-alpine 00bc1e841a8f 5 days ago 54.21 MB

这里的mainline-alpine是指基于Alpine Linux构建的。Alpine Linux是一个仅有5M大小的linux系统，采用apk add/search来安装/查找相应软件，有许多镜像都是基于它构建的，官方PHP镜像也有基于它构建的Docker镜像。
然后运行nginx-php-fpm：

root@thinkpad:~# docker run --name web -d richarvey/nginx-php-fpm

docker inspect命令用来查看容器的相关信息，查看下分配的IP：

root@thinkpad:~# docker inspect web | grep IPAddress
 "SecondaryIPAddresses": null,
 "IPAddress": "172.17.0.2",
 "IPAddress": "172.17.0.2",

然后在浏览器里面访问：http://172.17.0.2/就可以看到phpinfo的页面。到这里，Nginx + PHP的web容器就已经运行起来了，对应的Nginx和PHP进程可以在宿主机器上直接查看：

root@thinkpad:~# ps aux | grep nginx
root 18167 0.0 0.0 13696 4300 pts/6 S 01:47 0:00 nginx: master process /usr/sbin/nginx
systemd+ 18168 0.0 0.0 14144 1868 pts/6 S 01:47 0:00 nginx: worker process
systemd+ 18169 0.0 0.0 14144 1868 pts/6 S 01:47 0:00 nginx: worker process
systemd+ 18170 0.0 0.0 14144 1868 pts/6 S 01:47 0:00 nginx: worker process
systemd+ 18171 0.0 0.0 14144 1868 pts/6 S 01:47 0:00 nginx: worker process
systemd+ 18172 0.0 0.0 14144 1868 pts/6 S 01:47 0:00 nginx: worker process
root 18190 0.0 0.0 21292 1012 pts/18 S+ 01:47 0:00 grep --color=auto nginx
root@thinkpad:~# ps aux | grep php-fpm
root 18166 0.0 0.2 167880 23364 pts/6 S 01:47 0:00 php-fpm: master process (/etc/php5/php-fpm.conf)
systemd+ 18173 0.0 0.1 167880 8620 pts/6 S 01:47 0:00 php-fpm: pool www
systemd+ 18174 0.0 0.1 167880 8620 pts/6 S 01:47 0:00 php-fpm: pool www
systemd+ 18175 0.0 0.1 167880 8620 pts/6 S 01:47 0:00 php-fpm: pool www
root 18192 0.0 0.0 21292 1032 pts/18 S+ 01:47 0:00 grep --color=auto php-fpm

接下来要为这个容器添加Phalcon扩展。首先要进入容器里面，使用docker attach命令进入：

root@thinkpad:~# docker attach web

结果在这里等了半天进不去。。。。查看下当前镜像入口程序：

root@thinkpad:~# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
94176348a939 nginx-php-fpm "/start.sh" 6 seconds ago Up 5 seconds 80/tcp, 443/tcp web

这个容器启动的时候运行的是start.sh这个脚本，这个脚本运行了Supervisor工具。于是重新启动容器，运行/bin/bash

#终止容器运行
root@thinkpad:~# docker stop web
web
#删除容器
root@thinkpad:~# docker rm web
web
#重新运行
root@thinkpad:~# docker run --name web -d -t -i nginx-php-fpm /bin/bash
ea21e10df702644a83ed75930b30c7764a786c4feabdf17cd868f86640137c47
root@thinkpad:~# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
ea21e10df702 nginx-php-fpm "/bin/bash" 6 seconds ago Up 5 seconds 80/tcp, 443/tcp web
root@thinkpad:~# docker attach web
#进来了
bash-4.3# ls
bin etc lib media proc run srv sys usr
dev home linuxrc mnt root sbin start.sh tmp var

就可以进去了。
先安装编译相关工具包：

bash-4.3# apk --no-cache add php5-dev
bash-4.3# apk --no-cache add gcc
bash-4.3# apk --no-cache add make
bash-4.3# apk --no-cache add autoconf
bash-4.3# apk --no-cache add libc-dev
fetch http://dl-cdn.alpinelinux.org/alpine/v3.4/main/x86_64/APKINDEX.tar.gz
fetch http://dl-cdn.alpinelinux.org/alpine/v3.4/community/x86_64/APKINDEX.tar.gz
(1/2) Installing musl-dev (1.1.14-r12)
(2/2) Installing libc-dev (0.7-r0)
OK: 334 MiB in 106 packages

编译安装Phalcon：

bash-4.3# cd /home
bash-4.3# git clone --depth=1 git://github.com/phalcon/cphalcon.git
bash-4.3# cd cphalcon/build
bash-4.3# ./install
bash-4.3# ls -la /usr/lib/php5/modules/ | grep phalcon
-rwxr-xr-x 1 root root 5045264 Sep 28 17:34 phalcon.so

更改PHP扩展的配置：

bash-4.3# cd /etc/php5/conf.d/
bash-4.3# vi phalcon.ini
#添加以下内容
#extension=phalcon.so

#检查扩展是否加载成功
bash-4.3# php -i | grep phalcon
/etc/php5/conf.d/phalcon.ini,
phalcon
phalcon => enabled
phalcon.db.escape_identifiers => On => On
phalcon.db.force_casting => Off => Off
phalcon.orm.cast_on_hydrate => Off => Off
phalcon.orm.column_renaming => On => On
phalcon.orm.enable_implicit_joins => On => On
phalcon.orm.enable_literals => On => On
phalcon.orm.events => On => On
phalcon.orm.exception_on_failed_save => Off => Off
phalcon.orm.ignore_unknown_columns => Off => Off
phalcon.orm.late_state_binding => Off => Off
phalcon.orm.not_null_validations => On => On
phalcon.orm.virtual_foreign_keys => On => On
OLDPWD => /home/cphalcon/build
_SERVER["OLDPWD"] => /home/cphalcon/build
_ENV["OLDPWD"] => /home/cphalcon/build

加载成功了，需要保持本次镜像变更。首先退出容器：

bash-4.3# cd /home
#删除各种不必要的东西，比如gcc
bash-4.3# rm -rf cphalcon/
bash-4.3# exit
exit

然后查看版本并提交变更：

root@thinkpad:~# docker ps -l
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
ea21e10df702 nginx-php-fpm "/bin/bash" 31 minutes ago Exited (0) 6 seconds ago web
root@thinkpad:~# docker commit ea2 nginx-php-fpm:phalcon
sha256:bb388df328ecc33fac02dba69759d5c992a145f650a0e5b20ca29a4b122fa933

docker commit命令可以用来提交变更，ea2是container id的前三位，也可以写全；然后跟的是要提交的镜像。这里提交到phalcon这个标签下，以便与原来的区分开。查看所有镜像，发现有两个不同的标签：

root@thinkpad:~# docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
nginx-php-fpm phalcon bb388df328ec 11 seconds ago 364.4 MB
nginx-php-fpm latest 4fc9ac9f2945 4 hours ago 228.5 MB

采用新镜像来运行，这里要讲程序运行入口改回/start.sh，以便能正常启动Nginx和PHP-FPM：

root@thinkpad:~# docker rm web
web
root@thinkpad:~# docker run --name web -d -t -i nginx-php-fpm:phalcon /start.sh
deecb19467cda2676b24248e3f55970a2481255c6022a80ffbf5087792ccb559
root@thinkpad:~# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
deecb19467cd nginx-php-fpm:phalcon "/start.sh" 4 seconds ago Up 3 seconds 80/tcp, 443/tcp web

入口程序改变了，需要再提交一次变更：

root@thinkpad:~# docker stop web
web
root@thinkpad:~# docker ps -l
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
c7600e62733d nginx-php-fpm:phalcon "/start.sh" 34 seconds ago Exited (137) 8 seconds ago web
root@thinkpad:~# docker commit c76 nginx-php-fpm:phalcon
sha256:1c97ee169a551dd8441f42b40beafd102c71f3e887e2317dc11ce0ef136ceaf0

运行最终的镜像：

root@thinkpad:~# docker rm web
web
root@thinkpad:~# docker run --name web -d -t -i nginx-php-fpm:phalcon
cb5b0c9e55913a538539e46c53ac7905b21def84a05eb00ef81c4b500853576c
root@thinkpad:~# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
cb5b0c9e5591 nginx-php-fpm:phalcon "/start.sh" 4 seconds ago Up 3 seconds 80/tcp, 443/tcp web

访问http://172.17.0.2/，便可以在页面找到phalcon扩展。
通常我们会将程序和数据分开，挂载外部文件目录到容器里面去：

root@thinkpad:~# docker stop web
web
root@thinkpad:~# docker rm web
web
root@thinkpad:~# docker run --name web -d -t -i -v /home/docker/nginx-php-fpm/src:/var/www/html/ nginx-php-fpm:phalcon
ffd64793fe8e7a2a95b68f514e221b7ec3b6cadfe668c016f55a7bb6d48bc702

-v参数可以用来挂载目录或者文件，可以又多个-v参数。
刚才容器里面做的那些已经添加到Dockerfile里面去，你直接使用它来构建。
至此Nginx + PHP-FPM + Phalcon镜像构建完成，介绍绍了如何进入容器，提交变更，网络访问和文件挂载。

参考链接：
A minimal Ubuntu base image modified for Docker-friendliness
eboraas/phalcon
基于Docker的PHP开发环境
 Docker for PHP Developers
Docker在PHP项目开发环境中的应用
 使用 Supervisor 来管理进程
 PHP C扩展框架Phalcon
Alpine Linux，一个只有5M的Docker镜像

Ubuntu 16.04 上安装Docker

Wed, 28 Sep 2016 21:32:11 +0800

Docker是一个轻量级的虚拟化容器技术，既可以为不同应用程序提供了隔离空间（内存，资源，网络），又可以将应用程序与环境一起打包，发布到其他机器上，避免环境的差异，这点像Vagrant。但是，它又与传统的虚拟机不容（如VirtualBox），它的应用程序仍然是跑在宿主机上面的，并且镜像里面通常仅包含所必须的组件而非完整的系统，因此拥有极高的性能。这又有点像Python的Virtual Environment，不过Docker更加强大，本质是是个Linux，可以打包的不同语言的应用程序。
Docker要求linux内核版本大于3.10，可以在通过以下命令查看是否支持

$ uname -r
4.4.0-38-generic

需要先更新以下apt仓库

$ sudo apt-get update
$ sudo apt-get install apt-transport-https ca-certificates
$ sudo apt-key adv --keyserver hkp://p80.pool.sks-keyservers.net:80 --recv-keys 58118E89F3A912897C070ADBF76221572C52609D
[/sell]
检查以下是否已经创建Docker软件仓库文件,如果没有需要手动创建，并添加以下内容

root@thinkpad:~# cat /etc/apt/sources.list.d/docker.list
deb https://apt.dockerproject.org/repo ubuntu-xenial main
[/sell]
确认是否配置成功

root@thinkpad:~# sudo apt-get update
root@thinkpad:~# apt-cache policy docker-engine
docker-engine:
 Installed: 1.12.1-0~xenial
 Candidate: 1.12.1-0~xenial
 Version table:
 *** 1.12.1-0~xenial 500
 500 https://apt.dockerproject.org/repo ubuntu-xenial/main amd64 Packages
 100 /var/lib/dpkg/status
 1.12.0-0~xenial 500
 500 https://apt.dockerproject.org/repo ubuntu-xenial/main amd64 Packages
 1.11.2-0~xenial 500
 500 https://apt.dockerproject.org/repo ubuntu-xenial/main amd64 Packages
 1.11.1-0~xenial 500
 500 https://apt.dockerproject.org/repo ubuntu-xenial/main amd64 Packages
 1.11.0-0~xenial 500
 500 https://apt.dockerproject.org/repo ubuntu-xenial/main amd64 Packages

Docker容器建立在Auf文件系统之上，以便支持将不同的目录挂载到同一虚拟文件系统下面，并设置不同的读写权限。需要安装linux-image-extra：

$ sudo apt-get install linux-image-extra-$(uname -r) linux-image-extra-virtual
[/sell]
现在可以开始安装Docker了：

$ sudo apt-get install docker-engine
$ sudo service docker start

试运行一下：

root@thinkpad:~# docker run hello-world

Hello from Docker!
This message shows that your installation appears to be working correctly.

To generate this message, Docker took the following steps:
 1. The Docker client contacted the Docker daemon.
 2. The Docker daemon pulled the "hello-world" image from the Docker Hub.
 3. The Docker daemon created a new container from that image which runs the
 executable that produces the output you are currently reading.
 4. The Docker daemon streamed that output to the Docker client, which sent it
 to your terminal.

To try something more ambitious, you can run an Ubuntu container with:
 $ docker run -it ubuntu bash

Share images, automate workflows, and more with a free Docker Hub account:
 https://hub.docker.com

For more examples and ideas, visit:
 https://docs.docker.com/engine/userguide/

如果你本地没有hello-world这个镜像，它是会自动去Docker官网上下载的。
查看最近运行过的容器，不加参数-l，是查看正在运行的容器

root@thinkpad:~# docker ps -l
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
1931765938dc hello-world "/hello" 4 minutes ago Exited (0) 4 minutes ago suspicious_lichterman

运行镜像的时候也可以指定名称（而不是suspicious_lichterman）

root@thinkpad:~# docker run --name hello hello-world

Hello from Docker!
...

root@thinkpad:~# docker ps -l
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
e4773606e6cf hello-world "/hello" 7 seconds ago Exited (0) 6 seconds ago hello

但是再次运行同样名称为hello的容器时会报错

root@thinkpad:~# docker run --name hello hello-world
docker: Error response from daemon: Conflict. The name "/hello" is already in use by container e4773606e6cf4222b786d5301ab38e4dddb90e11a0358f64d33109bf829f0b5a. You have to remove (or rename) that container to be able to reuse that name..
See 'docker run --help'.

这时候需要先把旧的给删掉，再运行就不会了

root@thinkpad:~# docker rm hello
hello

通过Docker stop停止运行指定容器。
查看本地的Docker镜像

root@thinkpad:~# docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
nginx-php-fpm phalcon 1c97ee169a55 3 hours ago 364.5 MB
nginx-php-fpm latest 4fc9ac9f2945 7 hours ago 228.5 MB
ubuntu 16.04 c73a085dc378 47 hours ago 127.1 MB
ubuntu latest c73a085dc378 47 hours ago 127.1 MB
nginx mainline-alpine 00bc1e841a8f 5 days ago 54.21 MB
mysql 5.7 4b3b6b994512 5 weeks ago 384.5 MB
hello-world latest c54a2cc56cbb 12 weeks ago 1.848 kB

这里先简单的介绍Docker的安装、运行，后续将介绍Docker命令行交互，网络，文件存储等。

参考链接：
Docker Overview
Docker：利用Linux容器实现可移植的应用部署
 Installation
on Ubuntu
Docker：具备一致性的自动化软件部署
 Docker — 从入门到实践
 Docker简介与入门
 剖析Docker文件系统：Aufs与Devicemapper
What is the runtime performance cost of a Docker container
Docker – The Linux Container
当流浪者(Vagrant)遇见码头工人(Docker): 实战

PagerDuty Integration Development

Wed, 18 May 2016 22:35:05 +0800

Download

参考链接：
PagerDuty
PHP测试框架初探：PHPUnit

Centos 6.4 安装 Python 2.7

Sat, 16 Apr 2016 12:10:31 +0800

终于又开始学Python了，不过这次是在Centos 6.4 上面，也碰到了好多问题。Centos6.4
并不能通过yum安装Python 2.7，系统自带的yum等使用的都是Python2.6.6，将系统的Python软链接指向2.7版本会有各种问题，包括依赖库等等；或者只能创建新的可执行命令，如Python27。最终按照这篇文章的介绍成功安装了Python2.7。
首先安装相关的工具，要不然等下编译Python会报各种各样的错：

$sudo yum groupinstall "Development tools"
$sudo yum install zlib-devel
$sudo yum install bzip2-devel
$sudo yum install openssl-devel
$sudo yum install ncurses-devel
$sudo yum install sqlite-devel

然后下载Python并安装，注意这里是make altinstall而不是make install，参考这里

$ wget https://www.python.org/ftp/python/2.7.11/Python-2.7.11.tar.xz
$ tar xf Python-2.7.11.tar.xz
$ cd Python-2.7.11
$ ./configure --prefix=/usr/local
$ sudo make 
$ sudo make altinstall

检查一下是不是安装到了/usr/local/bin/python2.7下面去了，后面Python 2.7相关的库也将安装到这里

$ ls -ltr /usr/local/bin/python*

检查一下Python2.6是不是还在/usr/bin/下面

$ ls -ltr /usr/bin/python*

检查一下系统路径变量PATH，保证/usr/local/bin在/usr/bin之前，然后将Python的软链接指向2.7。

$ echo $PATH
/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin
$ ln -s /usr/local/bin/python2.7 /usr/local/bin/python

这样子普通用户登录的时候就可以使用Python2.7了，而root用户（sudo）仍然使用Python2.6，yum等才不会出错。

$ which python
/usr/local/bin/python
$ python -V
Python 2.7.11

$ sudo -s
which python
#/usr/bin/python
python -V
#Python 2.6.6
exit

安装Python 2.7的包管理工具

$ wget https://bitbucket.org/pypa/setuptools/raw/bootstrap/ez_setup.py
$ sudo /usr/local/bin/python2.7 ez_setup.py
$ sudo /usr/local/bin/easy_install-2.7 pip

检查一下是不是对了

$ which pip
/usr/local/bin/pip

$ which easy_install
/usr/local/bin/easy_install

在普通用户下面操作使用easy_install 就是安装到Python2.7的目录下面去了

$ easy_install requests

这时候会报错，因为相关的Python 2.7目录并没有写的权限

$ sudo chmod 664 /usr/local/bin

或者

sudo /usr/local/bin/easy_install-2.7 requests

注意：如果是在root用户或者sudo命令下，使用的仍然是Python 2.6，所以必须要指明使用那个版本的easy_install。
接下来就可以愉快的使用pip安装Python2.7相关的库了。

参考链接：
Installing python 2.7 on centos 6.3. Follow this sequence exactly for centos machine only
How To Set Up Python 2.7.6 and 3.3.3 on CentOS 6.4
How to install Python 2.7 and Python 3.3 on CentOS 6
Centos 6.4 python 2.6 升级到 2.7
CENTOS 6.5 安装 Python 2.7 总结
 Difference in details between “make install” and “make altinstall”
Common Python Tools: Using virtualenv, Installing with Pip, and Managing Packages

分布式系统

Sat, 16 Apr 2016 10:50:33 +0800

好久以前写的了。在InfoQ上学习了分布式监控系统的设计与实现、微信朋友圈技术之道，在架构设计的基础思想并不复杂。
首先是微信朋友圈技术之道，介绍了微信朋友圈团队的开发，团队仅４个人，因为他们站在巨人的肩膀上：
基础环境
全部才用C＋＋开发
混合部署普通服务器
海量带宽

强大的基础设施
腾讯CDN，图片和视频上传、存储、分发
RPC框架
Key－Value（KV）存储系统
强大、方便、灵活的部署系统
强大的RPC框架
C＋＋的框架
支持protobuf描述接口
支持进程/线程/协程多种模式：支持数十万的并发协程，方便编写和调试“同步”的网络调用和服务
从CGI到叶子服务器，全系统透明支持过载保护和QOS
为每次CGI调用自动生成全系统调用关系图
每个服务自动内建500多个监控项
高性能Key-value存储系统
三机一组，三机间支持数据一致性，容忍一台机器出错、自动切换
三机分布在一个数据中心的三个独立园区，在任意一个园区提供本区读写服务，容忍一个园区网络隔离

微信架构
接入层，维持长连接，避免重复连接开销；推送消息
逻辑层，注册/登录，消息，朋友圈，LBS；批处理，群聊，通知，好友推荐
存储代理层，账号，消息，关系链，朋友圈，群管理
存储层，Key-value存储
性能水平扩展（sharding）
相册，按照用户做水平扩展
发表，按照发表key做水平扩展
评论，按照评论key做水平扩展
时间线，按照用户做水平扩展

发表流程
上传图片到CDN，查找最近节点
调用朋友圈CGI
添加新发表
在相册增加新发表索引
添加时间线更新任务，批处理，给好友时间线添加新索引
返回发表成功

浏览流程
调用朋友圈CGI
拉取时间线
拉取新发表元数据
拉取CDN上的图片

数据单副本、索引写扩散、检查更新单读取
数据（发表）单副本：减少内存开销
索引写扩散、检查更新单读取：减少检查更新时的读扩散
写比较慢，失败可以重试；读不可等待

赞、评论与浏览
往赞、评论表插入发表索引和对应赞、评论

微信部署、接入与容灾
1地3园区对等部署，对等接入（电信、移动、联通）；数据对等分布于同步；对等服务
容灾，任何两个园区都可以提供全量无损服务
数据中心分布：上海、深圳、香港、加拿大
通信优先专线服务；其次公网（加密）
各数据中心可独立提供服务
各数据中心通过idc queue异步同步写入（自动重试）

核心数据读写分析
相册与发表
本地idc写入，单向同步到其他idc
key的全局唯一性保证无冲突（根据idc预先生成）
时间线
本地idc只保存本地用户时间线的key，无需同步

跨洋同步的挑战和应对
挑战：大带宽延迟、丢包、乱序、低可靠性（专心中断）
应对：延迟、丢包、乱序达到一定程度自动从tcp切换到udp；专线中断自动切换到公网（AES加密）

评论、赞写冲突
因果一致性（不同数据中心保证key不重复，比如不同idc取模）

参考链接：
分布式监控系统的设计与实现
 微信朋友圈技术之道

MySql 慢日志分析

Mon, 05 Oct 2015 14:27:50 +0800

最近老是碰上MySql报错：1203:User already has more than ‘max_user_connections’ active，之前都没出现过，感觉应该是慢查询导致的。向运维拷贝慢日志分析，慢日志开、启配置参考这里。
拷贝出来的日志很大，需要按故障时间点做一下切割，以便缩小排查范围。按照这里提供的cutlogbytime.pl脚本运行却报错

[vagrant@centos64 mysql-log-filter-1.9]$ ./cutlogbytime.pl slow.log 1443103200 1443117600 > yestoday.log
: command not foundline 1:
: command not foundline 4:
./cutlogbytime.pl: line 5: use: command not found
: command not foundline 5:
./cutlogbytime.pl: line 6: use: command not found
: command not foundline 6:
: command not foundline 7:
'/cutlogbytime.pl: line 8: syntax error near unexpected token `{
'/cutlogbytime.pl: line 8: `if (@ARGV<2){

去掉顶行的空格后再运行，还是报错

[vagrant@centos64 mysql-log-filter-1.9]$ ./cutlogbytime.pl slow.log 1443103200 1443117600 > today.log
-bash: ./cutlogbytime.pl: /usr/bin/perl^M: bad interpreter: No such file or directory

最后参考stackoverflow上面的答案更改运行方式为Perl（而不是shell），就可以了。

[vagrant@centos64 mysql-log-filter-1.9]$ perl cutlogbytime.pl slow.log 1443103200 1443117600 > today.log

利用mysqlslowdump（perl脚本）来分析日志，-s参数表示排序方式：r表示影响行数（Rows），t表示耗时（Time），c表示查询次数（Count）

[vagrant@entos64 mysql-log-filter-1.9]$ perl mysqldumpslow.pl -s r -t 10 today4.log

Reading mysql slow query log from today4.log
Count: 1 Time=190.48s (190s) Lock=0.00s (0s) Rows=21829854.0 (21829854), xx[xxxx]@[192.168.10.139]
 SELECT /*!N SQL_NO_CACHE */ * FROM `errormessage`

Count: 32791 Time=40.95s (1342865s) Lock=0.05s (1512s) Rows=1.0 (32791), xx[xxxx]@10hosts
 select * from connectinfo where ID=N and AppType=N ORDER BY CreateDatetime DESC LIMIT N

Count: 3 Time=3.71s (11s) Lock=0.02s (0s) Rows=300.0 (900), xx[xxxx]@2hosts
 select SeverName from errormessage where ID='S' and ServerType=N and level=N and MsgType <= N

第一个语句返回行数21829854，查看具体慢日志，之后需要插入这张表的进程均处于等待状态。

# Time: 150924 1:03:12
# User@Host: xx[xxxx] @ [192.168.10.139] Id: 1493761
# Query_time: 190.479062 Lock_time: 0.000000 Rows_sent: 21829854 Rows_examined: 21829854
SET timestamp=1443027792;
SELECT /*!40001 SQL_NO_CACHE */ * FROM `errormessage`;
# Time: 150924 1:03:14
# User@Host: xx[xxxx] @ [192.168.10.168] Id: 1498010
# Query_time: 59.669817 Lock_time: 57.159403 Rows_sent: 0 Rows_examined: 0
SET timestamp=1443027794;
insert into errormessage (`ID`,`ServerType`,`MsgType`,`Level`,`dev`,`content`,`EventTime`,`SeverName`) values ( '1217', '3', '4', '4', '827', 'erc:start erc error,songid=46243,keymd5=ee1275b26762e85a7f00e9890bdc092e,ercmd5=abbc3ea9102dbd003b7aa0547dcbf6fa', '2015-09-23 21:49:27', '192.168.15.117');
# User@Host: xx[xxxx] @ [192.168.10.205] Id: 1494756
# Query_time: 157.211158 Lock_time: 154.673647 Rows_sent: 0 Rows_examined: 0
SET timestamp=1443027794;
insert into errormessage (`ID`,`ServerType`,`MsgType`,`Level`,`dev`,`content`,`EventTime`,`SeverName`) values ( '865', '3', '1', '2', '106', '检测正常！', '2015-09-24 01:01:18', '192.168.0.33');
# User@Host: xx[xxxx] @ [192.168.10.213] Id: 1496479
# Query_time: 100.733230 Lock_time: 98.210902 Rows_sent: 0 Rows_examined: 0
SET timestamp=1443027794;
insert into errormessage (`ID`,`ServerType`,`MsgType`,`Level`,`dev`,`content`,`EventTime`,`SeverName`) values ( '2472', '3', '2', '4', '809', 'videoseripnoconfig', '2015-09-24 01:02:26', '192.168.0.18');

分析这几天的日志，发现故障时间点附近都是这个语句引起后面的SQL堵塞。原来是每天早上1点开始备份并同步全表数据，锁住了这个表导致后面的所有这个表的insert操作处于等待状态。mysqldump应该使用–single-transaction来避免锁表，类似下面这个

mysqldump –uuser -p --skip-opt -q -R --single-transaction --default-character-set=utf8 --master-data=2 --create-option --no-autocommit –S ${sock} -B ${DBName} > backup.sql

但是这样仍然是全表扫描进行备份，如果能够增量备份的话，影响要小很多，或者数据做冷热/新旧之分，定期将新（每天）/热数据转入旧（历史）/冷数据中。后面运维的解决方案是：升级数据库机器从虚拟机变为实体机，配置从机，并从从机进行备份同步。

上面mysqlslowdump使用影响行数来排序，事实上用另外两个类型（时间，次数）分析结果是connectinfo比较频繁，一直以来都认为是这个表的操作引起的。这里还尝试了其他工具来分析，使用mysqlsla.pl进行分析，相关参数选项参考这里。

[vagrant@centos64 mysql-log-filter-1.9]$ perl mysqlsla.pl today.log
Auto-detected logs as slow logs
Report for slow logs: today4.log
60.57k queries total, 17 unique
Sorted by 't_sum'
Grand Totals: Time 5.38M s, Lock 3.22M s, Rows sent 21.86M, Rows Examined 184.46M


______________________________________________________________________ 001 ___
Count : 25.59k (42.24%)
Time : 3905525.574451 s total, 152.643069 s avg, 113.07488 s to 2720.338946 s max (72.64%)
 95% of Time : 3260112.482495 s total, 134.12789 s avg, 113.07488 s to 282.366041 s max
Lock Time (s) : 3168076.975558 s total, 123.820721 s avg, 108.548105 s to 311.639359 s max (98.45%)
 95% of Lock : 2961933.212121 s total, 121.860167 s avg, 108.548105 s to 123.487106 s max
Rows sent : 0 avg, 0 to 0 max (0.00%)
Rows examined : 54 avg, 0 to 4.92k max (0.75%)
Database :
Users :
 xx@ 192.168.10.147 : 10.65% (2724) of query, 10.26% (6215) of all users
 xx@ 192.168.10.209 : 10.33% (2643) of query, 10.16% (6156) of all users
 xx@ 192.168.10.205 : 10.16% (2599) of query, 9.97% (6036) of all users
 xx@ 192.168.10.211 : 10.13% (2591) of query, 9.98% (6042) of all users
 xx@ 192.168.10.207 : 9.93% (2541) of query, 9.95% (6024) of all users
 xx@ 192.168.10.161 : 9.83% (2515) of query, 9.84% (5960) of all users
 xx@ 192.168.10.149 : 9.81% (2510) of query, 9.95% (6028) of all users
 xx@ 192.168.10.215 : 9.76% (2498) of query, 9.85% (5963) of all users
 xx@ 192.168.10.168 : 9.71% (2485) of query, 9.69% (5868) of all users
 xx@ 192.168.10.213 : 9.69% (2480) of query, 9.66% (5851) of all users

Query abstract:
SET timestamp=N; UPDATE connectinfo SET devicetag='S', connectipaddress='S', updatedatetime=now() WHERE ID=N AND apptype=N;

Query sample:
SET timestamp=1443027797;
update connectinfo set DeviceTag='1070A416AF000000', ConnectIPAddress='60.174.116.165', UpdateDatetime=now() where ID=5358 and AppType=0;

______________________________________________________________________ 002 ___
Count : 32.79k (54.14%)
Time : 1344378.871914 s total, 40.99841 s avg, 2.000747 s to 1944.548192 s max (25.01%)
 95% of Time : 587407.556704 s total, 18.85678 s avg, 2.000747 s to 233.465042 s max
Lock Time (s) : 1512.917798 s total, 46.138 ms avg, 76 ▒s to 114.302 ms max (0.05%)
 95% of Lock : 1414.978902 s total, 45.423 ms avg, 76 ▒s to 50.514 ms max
Rows sent : 1 avg, 1 to 1 max (0.15%)
Rows examined : 4.92k avg, 4.92k to 4.92k max (87.41%)
Database :
Users :
 xx@ 192.168.10.209 : 10.24% (3359) of query, 10.16% (6156) of all users
 xx@ 192.168.10.149 : 10.16% (3331) of query, 9.95% (6028) of all users
 xx@ 192.168.10.147 : 10.11% (3315) of query, 10.26% (6215) of all users
 xx@ 192.168.10.211 : 10.03% (3288) of query, 9.98% (6042) of all users
 xx@ 192.168.10.207 : 10.02% (3285) of query, 9.95% (6024) of all users
 xx@ 192.168.10.161 : 9.97% (3268) of query, 9.84% (5960) of all users
 xx@ 192.168.10.215 : 9.96% (3266) of query, 9.85% (5963) of all users
 xx@ 192.168.10.205 : 9.92% (3254) of query, 9.97% (6036) of all users
 xx@ 192.168.10.168 : 9.86% (3234) of query, 9.69% (5868) of all users
 xx@ 192.168.10.213 : 9.73% (3191) of query, 9.66% (5851) of all users

Query abstract:
SET timestamp=N; SELECT * FROM connectinfo WHERE ID=N AND apptype=N ORDER BY createdatetime DESC LIMIT N;

Query sample:
SET timestamp=1443027795;
select * from connectinfo where ID=7646 and AppType=0 ORDER BY CreateDatetime DESC LIMIT 1;

______________________________________________________________________ 003 ___
Count : 842 (1.39%)
Time : 66663.314786 s total, 79.172583 s avg, 2.011408 s to 673.604537 s max (1.24%)
 95% of Time : 56684.989954 s total, 70.944919 s avg, 2.011408 s to 193.623235 s max
Lock Time (s) : 48221.988255 s total, 57.27077 s avg, 69 ▒s to 185.402303 s max (1.50%)
 95% of Lock : 40627.196184 s total, 50.847555 s avg, 69 ▒s to 166.67704 s max
Rows sent : 0 avg, 0 to 0 max (0.00%)
Rows examined : 0 avg, 0 to 0 max (0.00%)
Database :
Users :
 xx@ 192.168.10.207 : 11.64% (98) of query, 9.95% (6024) of all users
 xx@ 192.168.10.205 : 11.28% (95) of query, 9.97% (6036) of all users
 xx@ 192.168.10.213 : 10.93% (92) of query, 9.66% (5851) of all users
 xx@ 192.168.10.161 : 10.45% (88) of query, 9.84% (5960) of all users
 xx@ 192.168.10.149 : 10.33% (87) of query, 9.95% (6028) of all users
 xx@ 192.168.10.211 : 9.74% (82) of query, 9.98% (6042) of all users
 xx@ 192.168.10.147 : 9.38% (79) of query, 10.26% (6215) of all users
 xx@ 192.168.10.215 : 9.38% (79) of query, 9.85% (5963) of all users
 xx@ 192.168.10.168 : 9.03% (76) of query, 9.69% (5868) of all users
 xx@ 192.168.10.209 : 7.84% (66) of query, 10.16% (6156) of all users

Query abstract:
SET timestamp=N; INSERT INTO errormessage (id,servertype,msgtype,level,dev,content,eventtime,severname) VALUES ( 'S', 'S', 'S', 'S', 'S', 'S', 'S', 'S')1;

使用mysqlsla可以看SQL语句的执行数量/比例，影响行数，用户，占比等。，从这里看很可能认为是connectinfo表（95%以上）引起，SHOW PROCESSLIST也是如此。
由于这个文件我是单独下载回来的，运行mysqlsla.pl时候碰到很多错误，逐个安装解决了

[vagrant@centos64 mysql-log-filter-1.9]$ perl mysqlsla.pl today.log
Can't locate Time/HiRes.pm in @INC (@INC contains: /usr/local/lib64/perl5 /usr/local/share/perl5 /usr/lib64/perl5/vendor_perl /usr/share/perl5/vendor_perl /usr/lib64/perl5 /usr/share/perl5 .) at mysqlsla.pl line 2092.
BEGIN failed--compilation aborted at mysqlsla.pl line 2092.
#解决方法
[vagrant@centos64 mysql-log-filter-1.9]$ sudo yum install perl-Time-HiRes

[vagrant@centos64 mysql-log-filter-1.9]$ perl -MCPAN -e 'install DBI'
Can't locate CPAN.pm in @INC (@INC contains: /usr/local/lib64/perl5 /usr/local/share/perl5 /usr/lib64/perl5/vendor_perl /usr/share/perl5/vendor_perl /usr/lib64/perl5 /usr/share/perl5 .).
BEGIN failed--compilation aborted.

#解决方法
[vagrant@centos64 mysql-log-filter-1.9]$ sudo yum install perl-DBI

正确的方法是应该检测对应根目录下面的Makefile.PL，比如

[vagrant@centos64 percona-toolkit-2.2.15]$ perl Makefile.PL
#如果报以下错误，需要先安装对应模块，简单点就是
#sudo yum install perl-devel
Can't locate ExtUtils/MakeMaker.pm in @INC (@INC contains: /usr/local/lib64/perl5 /usr/local/share/perl5 /usr/lib64/perl5/vendor_perl /usr/share/perl5/vendor_perl /usr/lib64/perl5 /usr/share/perl5 .) at Makefile.PL line 1.
BEGIN failed--compilation aborted at Makefile.PL line 1.

然后安装对应模块，参考这里。
使用Percona公司的工具pt-query-digest来分析也得到了同mysqlsla类似的结果

[vagrant@vagrant-centos64 bin]$ pt-query-digest ../../today4.log

# 9.8s user time, 700ms system time, 21.05M rss, 73.66M vsz
# Current date: Mon Oct 5 05:52:01 2015
# Hostname: vagrant-centos64.vagrantup.com
# Files: ../../today.log
# Overall: 60.57k total, 17 unique, 4.54 QPS, 402.68x concurrency ________
# Time range: 2015-09-23 22:17:29 to 2015-09-24 02:00:00
# Attribute total min max avg 95% stddev median
# ============ ======= ======= ======= ======= ======= ======= =======
# Exec time 5376198s 2s 2720s 89s 258s 118s 57s
# Lock time 3217840s 0 312s 53s 118s 60s 48ms
# Rows sent 20.85M 0 20.82M 361.00 0.99 84.46k 0.99
# Rows examine 175.91M 0 20.82M 2.97k 4.71k 84.48k 4.71k
# Query size 7.85M 64 597 135.90 151.03 27.56 112.70

# Profile
# Rank Query ID Response time Calls R/Call V/M Item
# ==== ================== ================== ===== ======== ===== ========
# 1 0xF1132168DB0BFC57 3905525.5745 72.6% 25586 152.6431 61.61 UPDATE connectinfo
# 2 0xD4B317E755A0ABD7 1344378.8719 25.0% 32791 40.9984 30... SELECT connectinfo
# 3 0xE23849EE6FB19DAE 66663.3148 1.2% 842 79.1726 62.99 INSERT errormessage
...

# Query 1: 7.52 QPS, 1.15kx concurrency, ID 0xF1132168DB0BFC57 at byte 16243195
# This item is included in the report because it matches --limit.
# Scores: V/M = 61.61
# Time range: 2015-09-24 01:03:17 to 02:00:00
# Attribute pct total min max avg 95% stddev median
# ============ === ======= ======= ======= ======= ======= ======= =======
# Count 42 25586
# Exec time 72 3905526s 113s 2720s 153s 271s 97s 124s
# Lock time 98 3168077s 109s 312s 124s 118s 14s 118s
# Rows sent 0 0 0 0 0 0 0 0
# Rows examine 0 1.33M 0 4.80k 54.39 0 504.65 0
# Query size 48 3.78M 149 157 154.94 151.03 0.52 151.03
# String:
# Hosts 192.168.10.147 (2724/10%)... 9 more
# Users gate
# Query_time distribution
# 1us
# 10us
# 100us
# 1ms
# 10ms
# 100ms
# 1s
# 10s+ ################################################################
# Tables
# SHOW TABLE STATUS LIKE 'connectinfo'\G
# SHOW CREATE TABLE `connectinfo`\G
update connectinfo set DeviceTag='10705BDDCD000000', ConnectIPAddress='115.231.63.78', UpdateDatetime=now() where ID=6912 and AppType=0\G
# Converted for EXPLAIN
# EXPLAIN /*!50100 PARTITIONS*/
select DeviceTag='10705BDDCD000000', ConnectIPAddress='115.231.63.78', UpdateDatetime=now() from connectinfo where ID=6912 and AppType=0\G

PS：这个问题解决后没几天，数据库又出问题，以为又是慢SQL什么的，结果是交换机网口问题。。。数据传输太慢，导致主从不同步。。。

参考链接：
mysql 慢日志分析
 慢日志按时间截取
 MySQL 之 slow log
MySQL优化—工欲善其事，必先利其器（2）
日志常用统计技巧
 性能优化之MySQL优化（一）
mysqlsla的安装与使用
 安装DBI组件。 Can’t locate DBI.pm in @INC-mysql接口
 Issue 12: Can’t locate Time/HiRes.pm
打开MySQL的慢查询记录
 “Can’t locate ExtUtils/MakeMaker.pm” while compile git
analysing slow MySQL queries with pt-query-digest
mysqldump备份原理
 mysqldump –single-transaction, yet update queries are waiting for the backup
mysql 利用binlog增量备份，还原实例
 MySQl备份恢复策略（完全+增量备份策略）

PHP 处理行结束符

Mon, 31 Aug 2015 13:02:11 +0800

我们平台有个功能支持导入一行一个编号的文本，进行批量处理，类似CSV文件，代码是这样的：

$arrLine = file($strFilePath);
foreach($arrLine as $k => $v){
}

一直用都用的好好的，今天有同事导入却不正常了。用记事本打开要导入的文件来看，发现文件里面的内容都是只有一行；用EditPlus打开来看却又是正常的，不过显示是Mac平台的文件，猜测应该是换行符不一样导致的。Google了一下，发现果然如此，不同操作系统的行结束符是不一样的：

Windows\DOS：\r\n <\li>
Unix\Linux：\n <\li>
Macintosh：\r <\li>

另外，TCP/IP协议传输文本结束符也是\r\n。PHP的文件系统函数file和fgets默认不检测行结束符，所以不能正确处理。可以将这些换行符处理成其他的，再来断行

$strFileContent = str_replace(array("/r/n", "/r", "/n"), ",", $strFileContent); 
$arrLine = explode(',' , $strFileContent);

PHP官网也提供了相应的解决方法，更改php.ini配置，或者ini_set(‘auto_detect_line_endings’, ‘On’)即可。

Note: 在读取在 Macintosh 电脑中或由其创建的文件时，如果 PHP 不能正确的识别行结束符，启用运行时配置可选项 auto_detect_line_endings 也许可以解决此问题。

auto_detect_line_endings boolean
当设为 On 时，PHP 将检查通过 fgets() 和 file() 取得的数据中的行结束符号是符合 Unix，MS-DOS，还是 Macintosh 的习惯。

这使得 PHP 可以和 Macintosh 系统交互操作，但是默认值是 Off，因为在检测第一行的 EOL 习惯时会有很小的性能损失，而且在 Unix 系统下使用回车符号作为项目分隔符的人们会遭遇向下不兼容的行为。

PHP从4.3开始使用常量PHP_EOL来代替不同平台的换行符，在代码中也应该使用PHP_EOL而不是写\r\n，否则会造成不必要的平台环境问题。

参考链接：
Difference between \n and \r?
what is the difference between windows csv and mac csv?
PHP Fucntion file
PHP auto-detect-line-endings
When do I use the PHP constant “PHP_EOL”?

Git及GitHub 使用

Sun, 30 Aug 2015 16:46:59 +0800

在前面的文章里面，经常会看到使用Git来下载代码，比如

$ git clone https://github.com/zeromq/zeromq4-x.git

Git 是有Linux开发者Linus Torvalds开发的分布式版本控制软件，最初用于Linux内核代码管理，它不需要服务器端软件，就可以进行版本控制，使得离线/本地开发非常方便。与SVN不同，Git基本在本机工作（就像在本机也搭建了一个SVN服务器），具有以下优点：

可以向本地提交代码，当服务器不可用时，仍然可以离线提交代码
可以向本地提交代码，在本地功能开发完成后，再向服务器提交有用的变更，项目代码不会有频繁变更
分布式存储，每个开发者均有一份代码，不用担心服务器上的代码丢失
支持Pull Request，功能完成后通知其他成员进行代码审查

Git提倡使用主干作为稳定可发布的代码，使用分支进行开发，与我们的软件管理思路大致一致：分支开发，分支测试，分支/主干发布。多人协作项目，需要有良好的分支开发意识，以免在主干上互相冲突和影响软件稳定。
通过MINGW32安装Git，在Windows下面也可以使用Git。它提供了在右键菜单里面集成了Git管理的一些操作，也提供了Bash进行交互。Git常用操作包括：

# 获取帮助
$ git --help
# 获取某个git命令的帮助信息，使用默认浏览器查看
$ git help branch

# 初始化当前目录作为git仓库
$ git init
# 复制一个远程仓库到本地
$ git clone <url>

# 切换到主分支master（默认）
$ git checkout master

# 设置个人账号信息，提交代码时会同时提交这些信息
$ git config --global user.name "mystery"
$ git config --global user.email mystery@example.com:

# 提交全部代码变更
$ git add --all
# 仅提交boot.php
$ git add boot.php
# 仅提交路径generator/lib
$ git add generator/lib

# 仅提交路径generator/lib
$ git add generator/lib

# 删除文件 test.php
$ git rm test.php

# 移动文件 test.php
$ git mvtest.php

# 查看当前代码是否有未提交的变更
$ git status
# 比较代码差异
$ git diff
# 确认提交代码并备注
$ git commit -m 'test comment '

# 自动提交所有文件变更，不需要上面的步骤了
$ git commit -a -m 'added new comments'
# 查看提交历史记录
$ git log
# 查看历史记录前2条，并显示变更
$ git log -p -2

# 撤销上一次commit修改
$ git reset HEAD

# 与远程仓库库同步
$ git fetch origin
$ git rebase origin/master

# 多个本地合并commit合并成一个
$ git rebase -i origin/master

# 推送本地更新到远程仓库
$ git push --force origin feature-x

# 在master分支上创建分支develop，-b则表示创建分支并切换到该分支
$ git checkout -b develop master
# 在develop分支上创建feature-x分支
$ git checkout -b feature-x develop

# 列出所有分支
$ git branch
# 创建master分支
$ git branch master
# 删除分支feature-x
$ git branch -d feature-x

# 在mater上面合并feature-x分支代码
$ git checkout master
$ git merge feature-x

# 合并远程仓库代码到本地
$ git pull origin master
$ git fetch origin
$ git merge --no-ff origin/master

# 查看当前镜像
$ git tag
# 为当前仓库创建一个镜像标签
$ git tag -a v1.0 -m 'publish '

在已有项目目录上使用git

git init .
git remote add origin <repository-url>
git pull origin master
git add .
git commit -am "commit message"
git push　origin master

Git还提供了一个工具，可以将svn仓库代码导入git仓库，参考这里。

GitHub是一个著名的在线代码托管/分享/交流网站，提供免费的代码托管服务，支持分布式版本控制软件Git管理的工程代码，方便交流和协作。在这里可以找到各种各样的开源软件代码，比如PHP-SRC，对于程序员的帮助也是显而易见的，反之从一个程序员关注的项目也可以看出一个人的开发方向和水平。

GitHub开发了一个客户端用于与GitHub网站进行交互，隐藏了一些操作的细节，相比SVN要大气，方便一些。但是在线安装的方式对于国内并不方面。。
通过GitHub客户端可以直接创建、管理GitHub线上托管的代码。

与TortoiseSVN类似，也有TortoiseGit用于Windows下面的Git管理。
作公司内部的代码管理，可以使用GitLab来搭建私有的代码托管服务器，参考这里。

参考链接：
Git 使用规范流程
 Github使用指南
 Pro Git（中文版）
使用 Git 管理源代码
 Git工作流程
 Git 分支管理
 介绍一个成功的 Git 分支模型
 从其他代码管理工具迁移到Git
Git分支管理策略
 [Sever Hacks] 搭建私有 GitLab 代码托管服务器

PHP C扩展框架Phalcon

Thu, 30 Jul 2015 13:33:59 +0800

Phalcon是一个C语言写的高性能PHP框架，相比PHP写的框架，它作为PHP的扩展在进程开启时便加载了，节省了每一次请求时的类库加载、MVC框架分派的开销。前面提到的使用Zephir来开发PHP扩展也是这个项目贡献的。
在CentOS 上安装Phalcon，因为之前安装过zephire了，所以直接下载cphalcon来编译安装就可以了，可以参照这里安装所需其他lib

git clone --depth=1 git://github.com/phalcon/cphalcon.git
cd cphalcon/build/
sudo ./install

sudo vim /etc/php.d/phalcon.ini

创建phalcon.ini增加以下内容

[phalcon]
extension=phalcon.so

这里单独把phalcon.ini单独配置，是因为Phalcon扩展加载要在PDO扩展之后，而我的PDO也是单独配置的。如果不是的话会提示这个错误：

$ php -m | grep phalcon
PHP Warning: PHP Startup: Unable to load dynamic library '/usr/lib64/php/modules/phalcon.so' - /usr/lib64/php/modules/phalcon.so: undefined symbol: php_pdo_get_dbh_ce in Unknown on line 0

与Zend Framwork类似，Phalcon也提供开发工具用于快速生成项目骨架

git clone https://github.com/phalcon/phalcon-devtools.git
cd phalcon-devtools
./phalcon.sh
sudo ln -s ~/phalcon-devtools/phalcon.php /usr/bin/phalcon
sudo chmod ugo+x /usr/bin/phalcon

phalcon commands

注意，这个开发工具也是需要依赖Phalcon扩展的，否则会提示

$ phalcon command
PHP Fatal error: Class 'Phalcon\Script' not found in /home/vagrant/phalcon-devtools/phalcon.php on line 40
PHP Stack trace:
PHP 1. {main}() /home/vagrant/phalcon-devtools/phalcon.php:0

生成一个测试项目store

phalcon scaffold store

按照官方的Nginx说明配置

server {

 listen 8005;
 server_name store.localhost;

 index index.php index.html index.htm;
 set $root_path '/usr/share/nginx/html/tutorial/store/public';
 root $root_path;

 try_files $uri $uri/ @rewrite;

 location @rewrite {
 rewrite ^/(.*)$ /index.php?_url=https://courages.us/$1;
 }

 location ~ \.php {
 fastcgi_pass unix:/tmp/php5-fpm.sock;
 fastcgi_index /index.php;

 include fastcgi.conf;

 fastcgi_split_path_info ^(.+\.php)(/.+)$;
 fastcgi_param PATH_INFO $fastcgi_path_info;
 fastcgi_param PATH_TRANSLATED $document_root$fastcgi_path_info;
 fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
 }

 location ~* ^/(css|img|js|flv|swf|download)/(.+)$ {
 root $root_path;
 }

 location ~ /\.ht {
 deny all;
 }
}

访问一下192.168.33.14:8005，提示：Access denied。。。查看Nginx错误日志

[root@vagrant nginx]# tail -n 20 error.log
2015/07/28 03:41:42 [error] 7343#0: *1 FastCGI sent in stderr: "Access to the script '/usr/share/nginx/html/tutorial/store/public' has been denied (see security.limit_extensions)" while reading response header from upstream, client: 192.168.33.1, server: store.localhost, request: "GET / HTTP/1.1", upstream: "fastcgi://unix:/tmp/php5-fpm.sock:", host: "192.168.33.14:8005"

一开始还以为是PHP-FPM配置security.limit_extensions引起的，后来发现这个这个参数默认就是注释掉的，没限制。最后在这里找到答案：原来是之前安装Nginx时配置了：cgi.fix_pathinfo=0，将它改回1（默认值）就可以了。当这个参数为1时，会把 PATH_TRANSLATED 转换为 SCRIPT_FILENAME。当然把这个参数去掉也是可以的

 ;fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;

重启Nginx

sudo service nginx restart

与其他PHP框架一样，Phalcon 支持MVC应用开发，提供了诸多组件如，数据库，缓存，队列等。
Phalcon\DI 作为全局的服务管理，用于服务注册，比如数据库，缓存，文件等。将这些资源统一起来管理，以便其他地方可以调用，各个需要的地方不再需要是new 一个对象，解除耦合关系。
Phalcon\Events\Manager作为全局的事件管理，用于事件注册，触发，以便自定义消息通知，如数据库查询事件，初始化事件。
Phalcon还有一个比较有特色的地方支持注释解析: Phalcon\Annotations 。官方教程举例如何使用注释做输出缓存。首先在Dispatcher服务中注册一个监听dispactch事件的缓存插件

<?php

$di['dispatcher'] = function () {

 $eventsManager = new \Phalcon\Events\Manager();

 // 添加插件到dispatch事件中
 $eventsManager->attach('dispatch', new CacheEnablerPlugin());

 $dispatcher = new \Phalcon\Mvc\Dispatcher();
 $dispatcher->setEventsManager($eventsManager);
 return $dispatcher;
};

然后实现监听的缓存插件

<?php

/**
 * 为视图启动缓存，如果被执行的action带有@Cache 注释单元。
 *
 */
class CacheEnablerPlugin extends \Phalcon\Mvc\User\Plugin
{

 /**
 * 这个事件在dispatcher中的每个路由被执行前执行
 *
 */
 public function beforeExecuteRoute($event, $dispatcher)
 {

 // 解析目前访问的控制的方法的注释
 $annotations = $this->annotations->getMethod(
 $dispatcher->getActiveController(),
 $dispatcher->getActiveMethod()
 );

 // 检查是否方法中带有注释名称‘Cache’的注释单元
 if ($annotations->has('Cache')) {

 // 这个方法带有‘Cache’注释单元
 $annotation = $annotations->get('Cache');

 // 获取注释单元的‘lifetime’参数
 $lifetime = $annotation->getNamedParameter('lifetime');

 $options = array('lifetime' => $lifetime);

 // 检查注释单元中是否有用户定义的‘key’参数
 if ($annotation->hasNamedParameter('key')) {
 $options['key'] = $annotation->getNamedParameter('key');
 }

 // 为当前dispatcher访问的方法开启cache
 $this->view->cache($options);
 }

 }

}

现在就可以使用注释来进行缓存了

<?php

class NewsController extends \Phalcon\Mvc\Controller
{

 public function indexAction()
 {

 }

 /**
 * This is a comment
 *
 * @Cache(lifetime=86400)
 */
 public function showAllAction()
 {
 $this->view->article = Articles::find();
 }

 /**
 * This is a comment
 *
 * @Cache(key="my-key", lifetime=86400)
 */
 public function showAction($slug)
 {
 $this->view->article = Articles::findFirstByTitle($slug);
 }

}

为Action增加了缓存，但对Action的代码改动为0（无侵入）并且非常简洁。数据模型里面也可以使用注释来对字段进行处理

<?php

use Phalcon\Mvc\Model;

class Robots extends Model
{
 /**
 * @Primary
 * @Identity
 * @Column(type="integer", nullable=false)
 */
 public $id;

 /**
 * @Column(type="string", length=70, nullable=false)
 */
 public $name;

 /**
 * @Column(type="string", length=32, nullable=false)
 */
 public $type;

 /**
 * @Column(type="integer", nullable=false)
 */
 public $year;
}

路由解析也可以使用RouterAnnotations反射来实现

?php

/**
 * @RoutePrefix("/api/products")
 */
class ProductsController
{

 /**
 * @Get("/")
 */
 public function indexAction()
 {

 }

 /**
 * @Get("/edit/{id:[0-9]+}", name="edit-robot")
 */
 public function editAction($id)
 {

 }

 /**
 * @Route("/save", methods={"POST", "PUT"}, name="save-robot")
 */
 public function saveAction()
 {

 }

 /**
 * @Route("/delete/{id:[0-9]+}", methods="DELETE",
 * conversors={id="MyConversors::checkId"})
 */
 public function deleteAction($id)
 {

 }

 public function infoAction($id)
 {

 }

}

是不是跟Java annotation有点像？之前介绍的PHPUnit，Zend Framework，还有Symfony 2 和 Doctrine 2已经在PHP层面上支持，使用ReflectionClass便可实现。
Phalcon也支持创建命令行应用，可以将PHP应用打包成Phar，直接运行，也可以结合命令行颜色进行输出。

参考链接：
Nginx 安装说明（Nginx Installation Notes）
Can’t upgrade to Phalcon 1.3.0
Nginx/PHP-FPM “Access denied.” error
Access denied (403) for PHP files with Nginx + PHP-FPM
Phalcon 开发工具（Phalcon Developer Tools）
IDE autocomplete for PhalconPHP
Annotations in PHP: They Exist
PHP Annotations Are a Horrible Idea
PHP CLI Colors – PHP Class Command Line Colors (bash)

使用Phar打包发布PHP程序

Tue, 21 Jul 2015 11:12:52 +0800

上一遍介绍PHPUnit时，下载的PHPUnit是个Phar格式的文件并且可以独立运行。Phar归档是PHP 5.3增加的新特性，借鉴了JAVA中的JAR归档，可以将整个目录下的文件打包成单个可执行文件。虽然单个PHP文件也是可执行（Composer的install就是单个PHP文件执行创建对应的Phar），但是显得不方便。
Phar的创建、引用、解压、转换均可以在PHP中完成。要创建Phar需要更改php.ini如下

;phar.readonly = On
phar.readonly = Off

首先在swoole\server目录下创建一个需要打包的文件swoole.php

<?php
$serv = new swoole_server("127.0.0.1", 9002);
$serv->set(array(
 'worker_num' => 8, //工作进程数量
 'daemonize' => true, //是否作为守护进程
));
$serv->on('connect', function ($serv, $fd){
 echo "Client:Connect.\n";
});
$serv->on('receive', function ($serv, $fd, $from_id, $data) {
 $serv->send($fd, 'Swoole: '.$data);
 $serv->close($fd);
});
$serv->on('close', function ($serv, $fd) {
 echo "Client: Close.\n";
});
$serv->start();

在swoole目录下面创建index.php

<?php
require 'server/swoole.php';

测试一下是否能正常运行

[root@vagrant-centos64 swoole]php index.php
[root@vagrant-centos64 swoole]# netstat -apn | grep 9002
tcp 0 0 127.0.0.1:9002 0.0.0.0:* LISTEN 8436/php

在swoole目录下创建执行打包操作的文件build.php

<?php
$dir = __DIR__; // 需要打包的目录
$file = 'swoole.phar'; // 包的名称, 注意它不仅仅是一个文件名, 在stub中也会作为入口前缀
$phar = new Phar(__DIR__ . '/' . $file, FilesystemIterator::CURRENT_AS_FILEINFO | FilesystemIterator::KEY_AS_FILENAME, $file);
// 开始打包
$phar->startBuffering();
$phar->buildFromDirectory($dir);
$phar->delete('build.php');
// 设置入口
$phar->setStub("<?php
Phar::mapPhar('{$file}');
require 'phar://{$file}/index.php';
__HALT_COMPILER();
?>");
$phar->stopBuffering();
// 打包完成
echo "Finished {$file}\n";

进行打包

[root@vagrant-centos64 swoole]$ php build.php
Finished swoole.phar

测试执行一下

[root@vagrant-centos64 swoole]$ php swoole.phar
[root@vagrant-centos64 swoole]# netstat -apn | grep 9002
tcp 0 0 127.0.0.1:9002 0.0.0.0:* LISTEN 8635/php

到这里swoole.phar可以单独发布执行力。也可以在其他项目（比如WEB）里面引用，例如

<?php
include 'swoole.phar';
//引用里面的文件
//include 'phar://swoole.phar/server/swoole.php';

SegmentFault便是将PHP打包成Phar进行发布的。
打包完成后，也可以将Phar转成Zip格式或解压出来，比如解压PHPUnit

<?php
$phar = new Phar('phpunit.phar');
$phar->convertToExecutable(Phar::ZIP);
//$phar->extractTo('phpunit');

刚才我们这样运行的：php swoole.phar，就是还需要在PharP包前面还要加一个php。如果想做成直接可运行的Phar包，可以像单个PHP可执行文件那样在文件开头加上：#!/usr/bin/env php

$phar->setStub("#!/usr/bin/env php
<?php
Phar::mapPhar('{$file}');
require 'phar://{$file}/index.php';
__HALT_COMPILER();
?>");

运行一下

./swoole.phar

注意如果你在window下面编辑刚才段代码的话，可能会报错：-bash: ./swoole.phar: /usr/bin/env: bad interpreter: No such file or directory。解决办法便是更改换行符为Unix格式，参见这里。

GitHub上有个项目：phar-composer可以利用Composer来打包相应的项目为单个可执行文件。

参考链接：
使用phar上线你的代码包
 PHP的Phar简介
 使用Phar来打包发布PHP程序
 Packaging Your Apps with Phar
PHP V5.3 中的新特性，第 4 部分: 创建并使用 Phar 归档
 rpm打包利器rpm_create简介

PHP测试框架初探：PHPUnit

Mon, 20 Jul 2015 13:16:03 +0800

最近开始一个新的项目，涉及到了网络通信的客户/端服务端，刚开始都是边写边调试，完成之后觉得有必要留下相关的测试示例，以便日后使用调试。一些PHP项目会把示例写在文件开头的注释里面，但这样又没办法验证是否能正确运行。
workerman是在文件最后留下的运行代码，如RpcClient.php

// ==以下调用示例==
if(PHP_SAPI == 'cli' && isset($argv[0]) && $argv[0] == basename(__FILE__))
{
 //这里是RpcClient的测试用例
}

PHPUnit则是这样的

#!/usr/bin/env php
<?php
if (__FILE__ == realpath($GLOBALS['_SERVER']['SCRIPT_NAME'])) {
 $phar = realpath($GLOBALS['_SERVER']['SCRIPT_NAME']);
 $execute = true;
} else {
 $files = get_included_files();
 $phar = $files[0];
 $execute = false;
}

这有点像python

if __name__ == "__main__":
 //这里运行相关调用

这样就可以对单个文件的代码边看边测试，但是这会在相关的代码里面混入不必要的测试用例代码，当有依赖于外部文件又不是很方便，于是便想把这部分测例代码独立出来。
PHPUnit是xUnit测试家族的一员，可以方便对测试代码进行管理，还可以结合其他扩展。依照官网步骤开始：

wget https://phar.phpunit.de/phpunit.phar
chmod +x phpunit.phar
sudo mv phpunit.phar /usr/local/bin/phpunit
phpunit --version
#PHPUnit 4.7.7 by Sebastian Bergmann and contributors.

写一个测试代码（PHPUnit也可以自动生成对应的测试代码）

<?php
namespace Test\Client;
use Client\RPC;
class RPCTest extends \PHPUnit_Framework_TestCase{
	public $pClient = null;
	public $nMatchID = 567;
	public function __construct(){
		parent::__construct();
		
		$arrAddress = array(
				'tcp://127.0.0.1:9001'
		);
		// 配置服务端列表
		RPC::config($arrAddress);
		$this->nMatchID = 567;
		$this->pClient = RPC::instance('\Prize\Service');
	}
	public function testGet(){
		$mxRes = $this->pClient->get($this->nMatchID);
		$this->assertTrue(is_array($mxRes));
		$this->assertGreaterThan(0, count($mxRes));
	}
	public function testSendGet(){
		$this->assertTrue($this->pClient->send_get($this->nMatchID));
	}
	/**
	 * 使用依赖，以便保证在同一个socket链接之内
	 * @depends testSendGet
	 */
	public function testRecvGet(){
		$mxRes = $this->pClient->recv_get($this->nMatchID);
		$this->assertTrue(is_array($mxRes));
		$this->assertGreaterThan(0, count($mxRes));
	}
}

这边的使用了外部类RPC，于是在Bootstrap.php里面定义相关的自动加载规则，以便测试时自动加载

<?php
define('STIE_PATH', getcwd().'/');
define('ROOT_PATH', STIE_PATH);
define('LIB_PATH', ROOT_PATH.'Lib/');
define('TEST_PATH',	ROOT_PATH.'Test/');

spl_autoload_register(function($p_strClassName){
	$arrClassName = explode('\\', trim($p_strClassName, '\\'));
	if(!empty($arrClassName)){
		if($arrClassName[0] == 'Test'){
			$strPath = ROOT_PATH.implode(DIRECTORY_SEPARATOR, $arrClassName).'.php';
		}
		else{
			$strPath = LIB_PATH.implode(DIRECTORY_SEPARATOR, $arrClassName).'.php';
		}
	}
	if(is_file($strPath)){
		include $strPath;
	}
	else{
		throw new Exception("File not find : ".$strPath);
	}
});

现在运行测试代码

phpunit --bootstrap Test/Bootstrap.php Test/

出现了一些警报和错误。其中一个提示找不到PHPUnit_Extensions_Story_TestCase文件：

PHP Warning: include(/usr/share/nginx/html/tutorial/mars/Lib/PHPUnit_Extensions_Story_TestCase.php): failed to open stream: No such file or directory in /usr/share/nginx/html/tutorial/mars/Test/Bootstrap.php on line 20

这文件是一个PHPUnit的基于故事的行为驱动开发（BDD）扩展，于是上网找了下想安装。

PHPUnit现在只支持Composer安装，如果用PEAR安装会提示失败

sudo pear channel-discover pear.phpunit.de
Discovering channel pear.phpunit.de over http:// failed with message: channel-add: Cannot open "http://pear.phpunit.de/channel.xml" (File http://pear.phpunit.de:80/channel.xml not valid (received: HTTP/1.1 410 Gone
))
Trying to discover channel pear.phpunit.de over https:// instead
Discovery of channel "pear.phpunit.de" failed (channel-add: Cannot open "https://pear.phpunit.de/channel.xml" (File https://pear.phpunit.de:443/channel.xml not valid (received: HTTP/1.1 410 Gone
)))

先安装Composer

curl -sS https://getcomposer.org/installer | php
mv composer.phar /usr/local/bin/composer
composer -V

创建一个composer.json，以便自动下载相关的库

{
 "require-dev": {
 "phpunit/phpunit": "4.7.*",
 "phpunit/phpunit-selenium": ">=1.4",
 "phpunit/dbunit": ">=1.3",
 "phpunit/phpunit-story": "*",
 "phpunit/php-invoker": "*"
 },
 "autoload": {
 "psr-0": {"": "src"}
 },
 "config": {
 "bin-dir": "bin/"
 }
}

运行composer，注意：composer在国内慢的要死，可以参照这里。

composer install --dev

便会在同级目录下面生成一个vendor目录，各自的依赖库都下载在里面，并且生成了autolaod.php，用于加载相关的类库。编辑Bootstarp.php增加一行

include ROOT_PATH."vendor/autoload.php";

再次运行PHPUnit

[vagrant@vagrant-centos64 mars]$ phpunit --bootstrap Test/Bootstrap.php Test/KM/Client/RPCTest
PHPUnit 4.7.7 by Sebastian Bergmann and contributors.

EES

Time: 540 ms, Memory: 14.25Mb

There were 2 errors:

1) Test\KM\Client\RPCTest::testGet
stream_socket_client(): unable to connect to tcp://127.0.0.1:9001 (Connection refused)

/usr/share/nginx/html/tutorial/mars/Lib/Client/Stream.php:19
/usr/share/nginx/html/tutorial/mars/Lib/Client/Stream.php:16
/usr/share/nginx/html/tutorial/mars/Lib/Client/RPC.php:174
/usr/share/nginx/html/tutorial/mars/Lib/Client/RPC.php:141
/usr/share/nginx/html/tutorial/mars/Lib/Client/RPC.php:130
/usr/share/nginx/html/tutorial/mars/Test/Client/RPCTest.php:21
/usr/share/nginx/html/tutorial/mars/Test/Client/RPCTest.php:21

2) Test\KM\Client\RPCTest::testSendGet
stream_socket_client(): unable to connect to tcp://127.0.0.1:9001 (Connection refused)

/usr/share/nginx/html/tutorial/mars/Lib/Client/Stream.php:19
/usr/share/nginx/html/tutorial/mars/Lib/Client/Stream.php:16
/usr/share/nginx/html/tutorial/mars/Lib/Client/RPC.php:174
/usr/share/nginx/html/tutorial/mars/Lib/Client/RPC.php:141
/usr/share/nginx/html/tutorial/mars/Lib/Client/RPC.php:116
/usr/share/nginx/html/tutorial/mars/Test/Client/RPCTest.php:26
/usr/share/nginx/html/tutorial/mars/Test/Client/RPCTest.php:26

FAILURES!
Tests: 2, Assertions: 0, Errors: 2, Skipped: 1.

这下子没有警报了，只有详细的测试错误报告。刚才的测试代码里面testRecvGet方法依赖于testSendGet，一旦后者失败了，前者便会被跳过。
启动服务端再次运行测试代码

[vagrant@vagrant-centos64 mars]$ phpunit --colors --bootstrap Test/Bootstrap.php Test/
PHPUnit 4.7.7 by Sebastian Bergmann and contributors.

...

Time: 496 ms, Memory: 14.25Mb

OK (3 tests, 5 assertions)

这下子全部测试通过了。

前面运行测试是这样的：phpunit –bootstrap Test/Bootstrap.php Test/。–bootstrap是指在运行测试时首先加载的文件可以在这里面定义一些配置，自动加载规则，最后一个参数Test/是指要测试的目录，也可以指明运行某个测试用例，比如Test/Client/RPCTest，指运行RPCTest这个测试用例。

PHPUnit还有许多其他的命令行参数选项，如果每次这么输入也挺麻烦的，可以做成配置文件，加载运行就好了，比如phpunit.xml.dist

<?xml version="1.0" encoding="UTF-8"?>
<phpunit backupGlobals="false"
 backupStaticAttributes="false"
 colors="true"
 convertErrorsToExceptions="true"
 convertNoticesToExceptions="true"
 convertWarningsToExceptions="true"
 processIsolation="false"
 stopOnFailure="false"
 syntaxCheck="false"
 bootstrap="Test/Bootstrap.php"
>
 <testsuites>
 <testsuite name="Lib Test Suite">
 <directory>./Test/</directory>
 </testsuite>
 </testsuites>
</phpunit>

然后运行：phpunit -c phpunit.xml.dist 就可以了，更多XML配置参考这里。还可以在这基础上更改执行配置，比如phpunit -c phpunit.xml.dist Test/Client/RPCTest，便是依照配置仅运行RPCTest。

以前挺纠结要不要写测试代码，一方面有测试代码的话，每次变更可以自动检测是否通过，另一方面，详细的测试用例需要大量时间去考虑，并且多数情况下都是服务模块之间的互相调用，难以预估结果，超出单元测试范围。现在看来写的这部门测试代码除了验证程序是否准确外，还可以作为示例文档。

参考链接：
PHPUnit: Failed opening required `PHPUnit_Extensions_Story_TestCase.php`
Issues while installing pear.phpunit.de/PHPUnit
单元测试
 “单元测试要做多细？”
我讨厌单元测试：滕振宇谈如何进行单元测试
 自动化单元测试实践之路
 Unit Testing Tutorial Part I: Introduction to PHPUnit

MySQL秒杀优化

Sun, 12 Jul 2015 17:08:24 +0800

今天学习了楼方鑫先生的《基于SQL的秒杀解决方案》，讲解了如何定位和优化秒杀业务中问题。
首先介绍了库存业务，库存可以分为前端库存，后端库存，实体库存。秒杀时，存在的主要问题

库存数据不准确，下单、付款后，得知零库存；超卖或少卖
废单较多，只下单不付款，转化率低
热点商品，拖垮整个站

秒杀过程中，需要解决的技术点包括

余额减一
操作明细，方便追溯对账，防止一个帐号多次参与
完整事务，保障记录明细与扣减库存同时完成
数据落地，内存数据不可靠

针对库存技术要求，做了多个库存解决方案，比如Mysql + Read /Write Cache 。Read Cache方案不足是读有延迟影响用户体验；Write Cache方案存在多个APP写数据不一致性。Mysql + Cache + NoSQL方案则太复杂未实现。

于是又重新回到优化Mysql上。Mysql优势在于事务机制成熟，程序稳定。存在技术难点：单行并发，热点商品，瞬间压力，前一分钟，千万用户，容易堵塞，拖垮网站。于是从以下几个方面进行优化

事务优化，单行更新
并发优化，最大并发数
排队优化，抢同一商品

分析秒杀时的处理逻辑，扫描系统代码，发现大部分程序都在等待确认Update记录数，才提交事务。

开启事务
Insert库存明细
Update库存余额
提交事务

在良好设计下，Mysql的Insert操作，不使用自增列是不会阻塞请求。但是Mysql的Update同一条记录是串行的，需要等远程客户端发送提交命令后才能释放锁，让其他会话继续。简单的更新操作，不考虑IO和锁冲突，一条语句执行的时间大约是0.1ms，一般条件下的网络时延为0.4-0.8ms，即等待事务提交通知的时间比真正SQL执行的时间长数倍。
于是扩展了SQL语法（OneSQL），指定在Update执行完后自动提交，不需要等待客户端发送提交命令，从而节约这一个网络来回的事务等待时间，提升网络性能。

秒杀时如果遇到大量请求需要进行排队，以免太多的请求拖垮Mysql

在应用层排队的缺点，应用需要改造，使用统一框架（需要考虑跨语言)，应用集群扩容时，控制不准确（连接数分配）
在Mysql排队的优点，应用改造极少，只需修改少量SQL语句，无需统一框架，排队精确，发挥InnoDB性能。

于是开发了兼容Mysql的分布式数据访问层（OneProxy），为并发请求进行排队。

另外，还对热点商品进行独立数据库拆分和优化。目前，双十一前商品便已挂出，用户可以收藏或预购，对于商家而言可以准备更多商品；对于平台而言可以预先发现热点商品做优化。

总结，对于业务优化，需要循序渐进，深入了解业务逻辑和技术点，比较不同的解决方案，就算是平常的update操作也有优化空间；同时需要从其他方面进行特定优化，如高并发排队，热点数据分离等。

除了后端数据库优化，对于秒杀抽奖业务，问题的解决核心就是控制单位时间内的流量，使其不超过后端的处理能力。前端的做法包括

分批次（少量多次)进行秒杀
先玩游戏再抢购，如抽奖
随机过滤掉部分请求，仅部分进入系统，如1/10
阈值控制，一旦达到阈值，不再接收新请求
预约排号，未排号用户返回失败（用户分类）
验证码验证

另外，OneProxy 提供的连接池功能对于PHP非常有用。PHP运行在CGI下面，每一个请求到来便需要重新创建一个数据库连接与Mysql进行交互，并发量大量的情况下便会出现：too many connetion，乃至拖垮数据库：mysql server has gone away，影响其他业务。因此Mysql连接池，对于PHP显得非常重要。

更新：小米网在开发抢购系统的时候，最早使用PHP + Mysql碰到了一些问题，例如并发性能，数据一致性，在OneSQL上面都已经做了改进优化，只是小米自己使用Go语言重构，开发大秒系统（BigTap）。

参考链接：
限量秒杀等高并发活动的正确性如何保证？
MySQL 5.6.17/Percona5.6.16/MariaDB 10.0.11/OneSQL 5.6.16 TpmC测试
 由12306.cn谈谈网站性能技术
 “米粉节”背后的故事——小米网抢购系统开发实践
 Web系统大规模并发——电商秒杀与抢购
 OneProxy : 如何给PHP页面以及其他Ruby/Python/Go程序添加连接池功能？
基于Swoole实现的Mysql连接池

PHP ZeroMQ开发

Fri, 10 Jul 2015 17:30:31 +0800

ZeroMQ的名字有点巧妙，看起来是个MQ却加了个0，变得不是MQ。ZeroMQ是一个面向消息传递的网络通信框架，支持程序在进程内部部通信，进程之间通信，网络间通信，多播等。ZeroMQ对Socket进行了封装，支持多种网络结构范式如Request/Reply，Pub/Sub，Pull/Push，中介，路由等，还可以在这些模式再次扩展，动态扩容程序和分布式任务开发，能够轻易搭建服务程序集群。

ZeroMQ与支持AMQP的消息中间件不一样，ZeroMQ是一个网络通信库，需要自行实现中间节点和消息的管理。

在CentOS安装ZeroMQ4

git clone https://github.com/zeromq/zeromq4-x.git
cd zeromq4-x
./autogent.sh
./configure
sudo make
sudo make install

#声明libzmq库的位置
sudo vim /etc/ld.so.conf.d/libzmq.conf
#内容：/usr/local/lib

sudo ldconfig

ZeroMQ支持多种编程语言，也包括PHP。php-zmq安装

git clone https://github.com/mkoppanen/php-zmq.git
cd php-zmq
phpize
./configure
sudo make
sudo make install

sudo vim /etc/php.ini

编辑PHP.ini增加扩展信息

[zeromq]
extension = zmq.so

查看扩展是否加载成功：php -m | grep php。
先写一个简单请求-应答，首先是服务端reply.php

<?php
$pContext = new ZMQContext();
$pServer = new ZMQSocket($pContext, ZMQ::SOCKET_REP);
$pServer->bind("tcp://*:5559");
while (true){
	$strMessage = $pServer->recv();
	echo $strMessage."\r\n";
	$pServer->send("From Server1:".$strMessage);
}

然后是客户端request.php

<?php
$pContext = new ZMQContext();
$pClient = new ZMQSocket($pContext, ZMQ::SOCKET_REQ);
$pClient->connect("tcp://localhost:5559");
$pClient->send("Hello From Client:".uniqid());
var_dump($pClient->recv());

分别在不同终端预先一下程序

#请求者可以先启动
php request.php
#另一个终端
php reply.php

使用ZeroMQ进行通信的步骤

使用ZMQContext创建一个上下文
使用上下文初始化ZMQSocket，这里需要指明socket类型（ZMQ::SOCKET_开头），组合模式包括
- PUB，SUB
- REQ，REP
- REQ，ROUTER (take care, REQ inserts an extra null frame)
- DEALER，REP (take care, REP assumes a null frame)
- DEALER，ROUTER
- DEALER，DEALER
- ROUTER，ROUTER
- PUSH，PULL
- PAIR，PAIR
分类包括
- 轮询，REQ，PUSH，DEALER
- 多播，PUB
- 公平排队，REP，SUB，PULL，DEALER
- 明确寻址，ROUTER
- 单播，PAIR
如果是服务端就bind，如果是客户端就conncet，这里的连接信息支持
- 进程内部通信，inproc://
- 进程间通信，ipc://
- 网络间通信，tcp://
- 多播，pgm://
使用send/recv发送/接收消息

使用ZeroMQ创建通信比socket简单多了，与stream_socket差不多。但是使用ZeroMQ，客户端可以先启动而不用管服务端是否已经启动了，等服务端连接上了便会自动传递消息，还可以维持节点之间的心跳。

ZeroMQ与socket通信是不一样的。ZeroMQ是无状态的，对socket的细节进行了封装，不能知道彼此的socket连接信息，仅能接收和发送消息；ZeroMQ能够使用一个socket与多个节点进行通信，具有极高的性能。

再回头看一下服务端程序，这里采用while循环来处理，亦即同一时刻只能处理一个请求，多个请求排队直到被轮询到，客户端的发送和接收都是同步等待。由于不知道客户端信息，也不能在子进程内处理完成再返回。这里就需要用到ZeroMQ各种范式的组合，比如下面这个

这里使用ROUTER和DEALER作为中介，转发请求，客户端可以异步发送求，不用等待服务端响应。

<?php
$pContext = new ZMQContext();
$pFrontend = new ZMQSocket($pContext, ZMQ::SOCKET_ROUTER);
$pBackend = new ZMQSocket($pContext, ZMQ::SOCKET_DEALER);
$pFrontend->bind("tcp://*:5559");
$pBackend->bind("tcp://*:5560");

$pPoll = new ZMQPoll();
$pPoll->add($pFrontend, ZMQ::POLL_IN);
$pPoll->add($pBackend, ZMQ::POLL_IN);


$arrRead = $arrWrite = array();
while(true){
	$nEvent = $pPoll->poll($arrRead, $arrWrite);
 if ($nEvent > 0) {
		foreach($arrRead as $pSocket){
			if($pSocket === $pFrontend){
				while (true){
					$strMessage = $pSocket->recv();
					$nMore = $pSocket->getSockOpt(ZMQ::SOCKOPT_RCVMORE);
					$pBackend->send($strMessage,$nMore ? ZMQ::MODE_SNDMORE : null);
					if(!$nMore){
						break;
					}
				}
			}
			else if ($pSocket === $pBackend){
				while (true){
					$strMessage = $pSocket->recv();
					$nMore = $pSocket->getSockOpt(ZMQ::SOCKOPT_RCVMORE);
					$pFrontend->send($strMessage,$nMore ? ZMQ::MODE_SNDMORE : null);
					if(!$nMore){
						break;
					}
				}
			}
		}
 }
}

然后更改服务端reply.php，不再绑定监听，而不是连接到DEALER上

<?php
$pContext = new ZMQContext();
$pServer = new ZMQSocket($pContext, ZMQ::SOCKET_REP);
//$pServer->bind("tcp://*:5555");
$pServer->connect("tcp://localhost:5560");
while (true){
	$strMessage = $pServer->recv();
	echo $strMessage."\r\n";
	$pServer->send("From Server1:".$strMessage);
}

这里使用ZMQPoll对ZMQSOcket的输入输出事件进行轮询，将ROUTER收到的REQ转发给服务端，将DEALER收到的REP转发给客户端。事实上，还有更简便的方法：使用ZMQDevice将ROUTER和DEALER组合起来

<?php
$pContext = new ZMQContext();
$pFrontend = new ZMQSocket($pContext, ZMQ::SOCKET_ROUTER);
$pBackend = new ZMQSocket($pContext, ZMQ::SOCKET_DEALER);
$pFrontend->bind("tcp://*:5559");
$pBackend->bind("tcp://*:5560");

$pDevice = new ZMQDevice($pFrontend, $pBackend);
$pDevice->run();

ZeroMQ的Pub/Sub的通信模型支持一个发布者发布消息给多个订阅者，也支持一个订阅者从多个发布者订阅消息。首先写一个发布者

<?php
$pContext = new ZMQContext();
$pPublisher = new ZMQSocket($pContext, ZMQ::SOCKET_PUB);
$pPublisher->bind("tcp://*:5563");

while (true) {
 $pPublisher->send("A", ZMQ::MODE_SNDMORE);
 $pPublisher->send("1:We don't want to see this");
 $pPublisher->send("B", ZMQ::MODE_SNDMORE);
 $pPublisher->send("1:We would like to see this");
 sleep (1);
}

然后是订阅者

$pContext = new ZMQContext();
$pSubscriber = new ZMQSocket($pContext, ZMQ::SOCKET_SUB);
$pSubscriber->connect("tcp://localhost:5563");
#可以连接多个发布者
$pSubscriber->connect("tcp://localhost:5564");
$pSubscriber->setSockOpt(ZMQ::SOCKOPT_SUBSCRIBE, "B");

while (true) {
 // Read envelope with address
 $address = $pSubscriber->recv();
 // Read message contents
 $contents = $pSubscriber->recv();
 printf ("[%s] %s%s", $address, $contents, PHP_EOL);
}

Pub/Sub模型，发布者只能发布消息，要求发布消息前，先声明主题（地址），然后发布消息内容；订阅者只能接收消息，先设置订阅主题，然后两次接收，第一次为消息主题，第二次为消息内容。
Pub/Sub模型通消息为单向流动，可以结合其他模型让订阅者与发布者互动，比如REQ\REP。

ZeroMQ的Push/Pull模型，生产者负责推送消息，消费者负责拉取消息。初看之下Pull/Push模型与Pub/sub模型类似，但是Pull/Push下生产者产生的消息只会投递给一个消费者，并不会发布给全部消费者，适合用于任务投递分配

Push和Pull都既可作为服务端，也可作为客户端。服务端Push.php

<?php
$pContext = new ZMQContext();
$pPush = new ZMQSocket($pContext, ZMQ::SOCKET_PUSH);

$pPush->bind("tcp://*:5558");
//$pPush->connect("tcp://localhost:5558");
//$pPush->connect("tcp://localhost:5559");

$pPush->send("Hello Client 1");

客户端Pull.php

<?php
$pContext = new ZMQContext();
$pPull = new ZMQSocket($pContext, ZMQ::SOCKET_PULL);

//$pPull->bind("tcp://*:5558");
$pPull->connect("tcp://localhost:5558");
$pPull->connect("tcp://localhost:5559");

var_dump($pPull->recv());

如果同时启动了两个客户端Pull.php，而只启动一个服务端Push.php，那么一次只会有一个客户端接收到消息。也可以以Pull作为主动监听，Push作为被动连接。可以同时接可以Pub/Sub和Pull/Push来处理任务

如果是用ZeroMQ传递消息收不到，可以按下面这个流程查问题

除了客户端可以连接多个服务端，服务端同样可以绑定多个地址。在REQ/REP模型里，让服务端同时使用IPC（进程间通信）来处理本机的连接

<?php
$pContext = new ZMQContext();
$pServer = new ZMQSocket($pContext, ZMQ::SOCKET_REP);
$pServer->bind("tcp://*:5556");
$pServer->bind("ipc:///tmp/req.ipc");
while(true){
	$message = $pServer->recv();
	echo $message . PHP_EOL;
	$pServer->send("Hello from server1:".$message);
}

客户端可以选择走TCP或者IPC进行消息通信

<?php
$pContext = new ZMQContext();
$pClient = new ZMQSocket($pContext, ZMQ::SOCKET_REQ);
$pClient->connect("ipc:///tmp/req.ipc");
//$pClient->connect("tcp://localhost:5556");
$pClient->send("Hello From Client1:".uniqid());
$strMessage = $pClient->recv();
echo $strMessage,PHP_EOL;

使用ZeroMQ的进程内部消息通信也很简单

$pServer = new ZMQSocket(new ZMQContext(), ZMQ::SOCKET_REP);
$pServer->bind("inproc://reply");


$pClient = new ZMQSocket(new ZMQContext(), ZMQ::SOCKET_REQ);
$pClient->connect("inproc://reply");;
$pClient->send("Hello From Client1:".uniqid());

var_dump($pServer->recv());

ZeroMQ为消息传递的提供极简的方法，提供了各种连接模型，可以自由扩展。zguide更像是一个网络编程指南，指导大家如何利用ZeroMQ搭建各种网络通信模式，提高程序扩展性和健壮性。虽然ZeroMQ解决了进程间和网络间的通信问题，但是各个组件本身进程控制仍然需要自行实现。

更新：ZeroMQ的作者用C语言创建了另外一个支持多种通用通信范式的socket库：nanomsg，可以用来代替ZeroMQ做的那些事，提供了更好的伸缩性，也有对应的PHP扩展。

参考链接：
ZMQ 指南
 ZeroMQ in PHP
zeromq is the answer
ZeroMQ + libevent in PHP
Europycon2011: Implementing distributed application using ZeroMQ
Getting Started with ‘nanomsg’
A Look at Nanomsg and Scalability Protocols (Why ZeroMQ Shouldn’t Be Your First Choice)

PHP Socket通信

Sun, 05 Jul 2015 23:32:42 +0800

前一篇介绍了跨语言的服务调用框架Thrift，模块与模块之间调用，网络通信必不可少。这里具体介绍下如何使用PHP socket客户端与服务端进行通信。

PHP 的Socket扩展是基于流行的BSD sockets，实现了和socket通讯功能的底层接口，它可以和通用客户端一样当做一个socket服务器。这里的通用客户端是指stream_socket_*系列封装的函数。

首先写一个socket服务端

<?php
class ServerSocket{
	protected $strHost = "127.0.0.1";
	protected $nPort = 2015;
	protected $nProtocol = SOL_TCP;
	protected $pSocket = null;
	protected $pClient = null;

	public $strErrorCode = "";
	public $strErrorMsg = "";
	public function __construct($p_strHost = "127.0.0.1", $p_nPort =2015, $p_nProtocol = SOL_TCP){
		//参数验证
		$this->strHost = $p_strHost;
		$this->nPort = $p_nPort;
		$this->nProtocol = $p_nProtocol;
		if($this->_create()&&$this->_bind()){
			$this->_listen();
		}
	}
	protected function _create(){
		$this->pSocket = socket_create(AF_INET, SOCK_STREAM, $this->nProtocol);
		if(!$this->pSocket){
			$this->_log();
		}
		return $this->pSocket;
	}
	protected function _bind(){
		$bRes = socket_bind($this->pSocket, $this->strHost, $this->nPort);
		if(!$bRes){
			$this->_log();
		}
		return $bRes;
	}
	protected function _listen(){
		$bRes = socket_listen($this->pSocket, 10) ;
		if(!$bRes){
			$this->_log();
		}
		return $bRes;
	}
	public function accept(){
		$this->pClient = socket_accept($this->pSocket);
		if(!$this->pClient){
			$this->_log();
		}
		return $this->pClient;
	}
	protected function _connect(){
		$this->accept();
			
		if(socket_getpeername($this->pClient, $address, $port)){
			echo "Client $address : $port is now connected to us. \n";
		}
		$this->write("hello world from server\n");
	}
	protected function _reply(){
		$mxData = $this->read();
		var_dump($mxData);
		if ($mxData == false) {
			socket_close($this->pClient);

			echo "client disconnected.\n";
			return false;
		}
		else{
			$strMessage = "Client: ".trim($mxData)."\n";
			$this->write($strMessage);
			return true;
		}
	}
	public function run(){
		$this->_connect();
		$this->_reply();
	}
	public function read(){
		$mxMessage = socket_read($this->pClient, 1024, PHP_BINARY_READ);
		if($mxMessage === false){
			$this->_log();
		}
		return $mxMessage;
	}
	public function write($p_strMessage){
		$bRes = socket_write($this->pClient, $p_strMessage, strlen ($p_strMessage));
		if(!$bRes){
			$this->_log();
		}
		return $bRes;
	}
	public function close(){
		$bRes = socket_close($this->pSocket);

		$this->pSocket = null;
	}
	protected function _log(){
		$this->strErrorCode = socket_last_error();
		$this->strErrorMsg = socket_strerror($this->strErrorCode);
		//throw new Exception("exception:".$this->strErrorMsg , $this->strErrorCode);
	}
	public function __destruct(){
		if($this->pSocket){
			$this->close();
		}
	}
}
$strHost = "127.0.0.1";
$nPort = 25003;
$strProtocol = "tcp";
$pServer = new ServerSocket($strHost, $nPort);
$pServer->run();

这里对socket_*系列函数进行了包装，创建socket服务端的步骤

使用socket_create创建socket（套接字）。第一个参数AF_INET指IPV4网络协议，TCP和UDP均可使用，对应IPV6网络协议为AF_INET6，也可以使用UNIX socket协议AF_UNIX，作进程间通信

。第二个参数对应套接字类型，SOCK_STREAM对应TCP协议使用，SOCK_DGRAM对应UDP协议使用，还有SOCK_SEQPACKET，SOCK_RAW，SOCK_RDM等类型。第三个为协议类型，TCP协议对应常量SOL_TCP，UDP协议对应常量SOL_UDP，其他协议可以从getprotobyname函数获取。

使用socket_bind将套接字绑定到对应的主机端口或者UNIX socket上
使用socket_listen监听该套接字上的连接
使用socket_accept接收套接字上的请求连接，返回一个新的套接字用于与客户端通信。如果没有连接接入，将会阻塞住；如果有多个连接，使用第一个达到的连接。
开始通信，使用socket_read获取请求信息，使用socket_write返回响应结果
使用socket_close关闭连接，包括原始的和socket_accept产生的套接字

这个过程中，可以使用socket_last_error和socket_strerror获取错误信息。接着创建客户端

<?php
class ClientSocket{
	protected $strHost = "127.0.0.1";
	protected $nPort = 2015;
	protected $nProtocol = SOL_TCP;
	private $pSocket = null;
	public $strErrorCode = "";
	public $strErrorMsg = "";

	public function __construct($p_strHost = "127.0.0.1", $p_nPort =2015, $p_nProtocol = SOL_TCP){
		//参数验证
		$this->strHost = $p_strHost;
		$this->nPort = $p_nPort;
		$this->nProtocol = $p_nProtocol;
		if($this->_create()){
			$this->_connect();
		}
	}
	private function _create(){
		$this->pSocket = socket_create(AF_INET, SOCK_STREAM, $this->nProtocol);
		if(!$this->pSocket){
			$this->_log();
		}
		return $this->pSocket;
	}
	private function _connect(){
		$pSocket = $this->_create();
		$bRes = socket_connect($pSocket, $this->strHost, $this->nPort);
		if(!$bRes){
			$this->_log();
		}
		return $bRes;
	}
	public function read(){
		$strMessage = "";
		$strBuffer = "";
		while ($strBuffer = socket_read ($this->pSocket, 1024, PHP_BINARY_READ)) {
			$strMessage .= $strBuffer;
		}
		return $strMessage;
	}
	public function write($p_strMessage){
		$bRes = socket_write($this->pSocket, $p_strMessage, strlen($p_strMessage));
		if(!$bRes){
			$this->_log();
		}
	}
	public function send($p_strMessage){
		$bRes = socket_send($this->pSocket , $p_strMessage , strlen($p_strMessage) , 0);
		if(!$bRes){
			$this->_log();
		}
		return true;
	}
	public function recv(){
		$strMessage = "";
		$strBuffer = "";
		$bRes = socket_recv($this->pSocket, $strBuffer, 1024 , MSG_WAITALL);
		if(!$bRes){
			$this->_log();
		}
		$strMessage .=$strBuffer;
		return $strMessage;
	}
	public function close(){
		$bRes = socket_close($this->pSocket);

		$this->pSocket = null;
	}
	private function _log(){
		$this->strErrorCode = socket_last_error();
		$this->strErrorMsg = socket_strerror($this->strErrorCode);
		//throw new Exception("exception:".$this->strErrorMsg , $this->strErrorCode);
	}
	public function __destruct(){
		if($this->pSocket){
			$this->close();
		}
	}
}

$strHost = "127.0.0.1";
$nPort = 25003;
$strProtocol = "tcp";
//$nProtocol = getprotobyname($strProtocol);

$pClient = new ClientSocket($strHost, $nPort);

var_dump($pClient->read());
$strMessage = 'Some Thing :'.uniqid();
var_dump($strMessage);
$pClient->write($strMessage);
var_dump($pClient->read());

/*
 var_dump($pClient->recv());
$pClient->send('hello');
var_dump($pClient->recv());
*/
$pClient->close();

客户端的创建步骤:

使用socket_create创建socket套接字，与服务端对应
使用socket_connect连接到服务端的地址或UNIX socket
开始通信，可以使用socket_write和socket_read向套接字写入和读取信息，也可以使用socket_send和socket_recv发送和接收信息
使用socket_close关闭连接

运行服务端程序

php serversocket.php

在另一个终端里运行

[root@vagrant socket]# netstat -apn | grep 25003
tcp 0 0 127.0.0.1:25003 0.0.0.0:* LISTEN 12139/php

如果运行服务端失败，提示 socket_bind(): unable to bind address [98]: Address already in use ，则是端口绑定失败。查看端口占用

[root@vagrant socket]# netstat -apn | grep 25003
tcp 0 0 127.0.0.1:25003 127.0.0.1:36618 TIME_WAIT -

该端口处于TIME_WAIT状态，需要再等一会儿才会释放。这是因为TCP连接关闭需要四次握手，服务端主动关闭了连接，但是未收到客户端发过来的关闭确认，导致处于等待状态，具体原因见火丁笔记《再叙TIME_WAIT》。

如果服务端已经运行成功，在另一个终端里运行客户端程序

php clientsocket.php

这是一个简单服务端/客户端请求应答模型，通常服务端会一直处于监听状态，处理新的请求，重新写一个循环监听的服务端

class SelectServerSocket extends ServerSocket{
	public function run(){
		$this->loop();
	}
	public function loop(){
		$arrRead = array();
		$arrWrite = $arrExp = null;
		$arrClient = array($this->pSocket);
	
		while(true){
			$arrRead = $arrClient;
			if (socket_select($arrRead, $arrWrite, $arrExp, null) < 1){
				continue;
			}
			foreach ($arrRead as $pSocket){
				if($pSocket == $this->pSocket){
					$this->_connect();
						
					$arrClient[] = $this->pClient;
				}
				else{
					$bRes = $this->_reply();
					if($bRes === false){
						$nKey = array_search($this->pClient, $arrClient);
						unset($arrClient[$nKey]);
						continue;
					}
				}
	
			}
		}
		//usleep(100);
	}
}
$strHost = "127.0.0.1";
$nPort = 25003;
$strProtocol = "tcp";
$pServer = new SelectServerSocket($strHost, $nPort);
$pServer->run();

在循环里面使用socket_select查询有可以读的套接字，如果套接字为原始监听的套接字，则使用socket_accept获取新接入的通信套接字进行通信；如果是通信套接字，则与客户端进行交互。

这里socket_select($arrRead, $arrWrite, $arrExp, null)的第四个参数为null，表示可以无限阻塞，如果为0则不阻塞立即返回，其他大于0值则等待超时。
socket_recv($this->pSocket, $strBuffer, 1024 , MSG_WAITALL)的第四个参数为MSG_WAITALL，表示阻塞读取结果。
socket_read ($this->pSocket, 1024, PHP_BINARY_READ )的第三个参数PHP_BINARY_READ表示读取以\0结束，PHP_NORMAL_READ表示读取以\n或\r结束

在终端里运行服务端，会一直在那里等待新的连接。这时候运行客户端，客户端确也阻塞住了。解决的办法有两种：超时设置和非阻塞设置。给ClientSocket类增加超时和阻塞设置的方法

	public function setTimeOut($p_nSendTimeOut = 1, $p_nRecvTimeOut = 1){
		$nSend = (int)$p_nSendTimeOut;
		$nRecv = (int)$p_nRecvTimeOut;

		$arrSend = array('sec' => $nSend, 'usec' => (int)(($p_nSendTimeOut - $nSend) * 1000 * 1000));
		$arrRecv = array('sec' => $nRecv, 'usec' => (int)(($p_nRecvTimeOut - $nRecv) * 1000 * 1000));

		socket_set_option($this->pSocket, SOL_SOCKET, SO_RCVTIMEO, $arrSend);
		socket_set_option($this->pSocket, SOL_SOCKET, SO_SNDTIMEO, $arrRecv);
	}
	public function setBlock($p_bType = true){
		if($p_bType){
			socket_set_block($this->pSocket);
		}
		else{
			socket_set_nonblock($this->pSocket);
		}
	}

客户端端运行前，先设置一下超时或非阻塞即，此时程序不会再阻塞了

$pClient = new ClientSocket($strHost, $nPort);

$pClient->setTimeOut(1, 1);
//$pClient->setBlock(false);

//do request here

同样在服务端设置超时和非阻塞也是可以的，给ServerSocket增加超时和非阻塞设置的方法

	protected function _setNoBlock($p_pSocket){
		socket_set_nonblock($p_pSocket);
	}
	protected function _setTimeOut($p_pSocket, $p_nSendTimeOut = 1, $p_nRecvTimeOut = 1){
		$nSend = (int)$p_nSendTimeOut;
		$nRecv = (int)$p_nRecvTimeOut;

		$arrSend = array('sec' => $nSend, 'usec' => (int)(($p_nSendTimeOut - $nSend) * 1000 * 1000));
		$arrRecv = array('sec' => $nRecv, 'usec' => (int)(($p_nRecvTimeOut - $nRecv) * 1000 * 1000));

		socket_set_option($p_pSocket, SOL_SOCKET, SO_RCVTIMEO, $arrSend);
		socket_set_option($p_pSocket, SOL_SOCKET, SO_SNDTIMEO, $arrRecv);
	}

将SelectServerSocket的socket_accept后产生的连接设置为非阻塞

	public function loop(){
		$arrRead = array();
		$arrWrite = $arrExp = null;
		$arrClient = array($this->pSocket);
		$this->_setNoBlock($this->pSocket);
	
		while(true){

再次运行服务端，客户端也不会阻塞了。

在while循环里面使用socket_select进行查询，效率比较低下，有先的连接要等下次循环才能处理；有时候并没有连接需要处理，也一直在循环。可以结合前面介绍过的PHP Libev扩展进行监听

class EvServerSocket extends ServerSocket{
	protected function _onConnect(){
		$this->_connect();
	
		$pReadClient = new EvIo($this->pClient, Ev::READ, function ($watcher, $revents) {
			$this->_reply();
		});
		Ev::run();
	}
	public function run(){
		$pReadWatcher = new EvIo($this->pSocket, Ev::READ, function ($watcher, $revents) {
			$this->_onConnect();
		});
		Ev::run();
	}
}

$strHost = "127.0.0.1";
$nPort = 25003;
$strProtocol = "tcp";
$pServer = new EvServerSocket($strHost, $nPort);
$pServer->run();

代码看起来简单了很多。当原始套接字监听到可读事件时，便为新的套接字也创建可读事件监听，在事件里面处理新的连接。

通常的服务端程序是一个进程监听原始套接字，然后交由其他进程/线程处理新的连接套接字，与客户端进行交互，提升服务端性能。这样子又涉及到了多进程/多线程的控制、通信，需要一套完善的体系才行。


class MulProcessServerSocket extends EvServerSocket{
	protected function _execute(){
		if(!$this->_reply()){
			//子进程执行完毕，通知父进程
			exit();
		}
	}
	protected function _onConnect(){
		$pid = pcntl_fork();
		//父进程和子进程都会执行下面代码
		if ($pid == -1) {
			//错误处理：创建子进程失败时返回-1.
			die('could not fork');
		} else if ($pid) {
			//父进程会得到子进程号，所以这里是父进程执行的逻辑
			pcntl_wait($status); //等待子进程中断，防止子进程成为僵尸进程。
		} else {
			//子进程得到的$pid为0, 所以这里是子进程执行的逻辑。
			$this->_connect();

			$pReadClient = new EvIo($this->pClient, Ev::READ, function ($watcher, $revents) {
				$this->_execute();
			});
			Ev::run();
		}

	}
}

还可以使用stream_socket_*系列函数来创建sockt服务端和客户端。类似的创建一个客户端与之前的服务端进行交互

<?php
class ClientStreamSocket{
	private $pConnetion = null;
	protected $strAddress = "tcp://127.0.0.1:2016";
	protected $nTimeOut = 3;
	protected $nFlag = STREAM_CLIENT_CONNECT;
	public $strErrorCode = "";
	public $strErrorMsg = "";
	const BLOCK = 1;
	const NOBLOCK = 0;
	public function __construct($p_strAddress, $p_nTimeOut = 3, $p_nFlag = STREAM_CLIENT_CONNECT){
		$this->strAddress = $p_strAddress;
		$this->nTimeOut = $p_nTimeOut;
		$this->nFlag = $p_nFlag;
		$this->_connect();
	}
	private function _connect(){
		$this->pConnetion = stream_socket_client($this->strAddress, $this->strErrorCode, $this->strErrorMsg, $this->nTimeOut, $this->nFlag);
		if(!$this->pConnetion){
			throw new Exception("connect exception:".$this->strErrorMsg, $this->strErrorCode);
		}
		return $this->pConnetion;
	}
	public function write($p_strMessage){
		if(fwrite($this->pConnetion, $p_strMessage) !== strlen($p_strMessage))
		{
			throw new Exception('Can not send data');
		}
		return true;
	}
	public function read(){
		//接收一行，阻塞至\n结束
		//$strMessage = fgets($this->pConnetion);
		//指定长度读取
		//$strMessage = fread($this->pConnetion, 1024);
		$strMessage = stream_socket_recvfrom($this->pConnetion, 1024);
		//$strMessage = stream_get_contents($this->pConnetion);

		return $strMessage;
	}
	public function close(){
		fclose($this->pConnetion);
		$this->pConnetion = null;
	}
	public function setContext(){

	}
	public function setTimeOut($p_nTimeOut = 1){
		$bRes = stream_set_timeout($this->pConnetion, $p_nTimeOut);
	}
	public function setBlock($p_nMode = ClientStreamSocket::BLOCK){
		$bRes = stream_set_blocking($this->pConnetion, $p_nMode);
	}
	public function __destruct(){
		if($this->pConnetion){
			$this->close();
		}
	}
}

$strHost = "127.0.0.1";
$nPort = 25003;
$strProtocol = "tcp";
//$nProtocol = getprotobyname($strProtocol);

$strAddress = $strProtocol."://".$strHost.":".$nPort;

$pStream = new ClientStreamSocket($strAddress);
//$pStream->setBlock(ClientStreamSocket::NOBLOCK);
//$pStream->setTimeOut(1);
var_dump($pStream->read());
$pStream->write("hello from client\n");
var_dump($pStream->read());
$pStream->close();

使用stream_socket_*系列函数创建客户端要简单不少

首先使用stream_socket_client创建一个socket操作流(stream)
然后就可以像操作流式文件那样造成socket stream，使用fread和fwrite进行读写操作，也可以使用stream_socket_recvfrom和stream_socket_sendto进行操作
使用fclose或stream_socket_shutdown关闭连接

使用stream_socket_*系列函数创建一个服务端来与之前的客户端进行交互，同样很简单，也与ServerSocket类似

<?php
class ServerStreamSocket{
	protected $pServer = null;
	protected $pClient = null;
	protected $strAddress = "tcp://127.0.0.1:2016";
	protected $nFlag = STREAM_SERVER_LISTEN;
	
	const BLOCK = 1;
	const NOBLOCK = 0;
	
	public $strErrorCode = "";
	public $strErrorMsg = "";
	public function __construct($p_strAddress, $p_nFlag = STREAM_SERVER_LISTEN){
		$this->strAddress = $p_strAddress;
		$this->nFlag = $p_nFlag;
		$this->_create();
	}
	protected function _create(){
		$this->pServer = stream_socket_server($this->strAddress, $this->strErrorCode, $this->strErrorMsg);
		if(!$this->pServer ){
			throw new Exception("create exception:".$this->strErrorMsg, $this->strErrorCode);
		}
		return $this->pServer ;
	}
	public function accept(){
		$this->pClient = stream_socket_accept($this->pServer);
		if(!$this->pClient ){
			return false;
		}
		return $this->pClient ;
	}
	protected function _connect(){
		$this->accept();
		echo "Client". stream_socket_get_name($this->pClient, true)." is now connected to us. \n";
		$this->write("hello world from server\n");
	}
	protected function _reply(){
		$mxData = $this->read();
		var_dump($mxData);
		if($mxData == false){
			fclose($this->pClient);
				
			echo "client disconnected.\n";
			return false;
		}
		else{
			$strMessage = "Client:".trim($mxData)."\n";
			$this->write($strMessage);
			return true;
		}
	}
	public function run(){
		$this->_connect();
		$this->_reply();
	}
	public function write($p_strMessage){
		//$nLen = fwrite($this->pClient, $p_strMessage);
		$nLen = stream_socket_sendto($this->pClient, $p_strMessage);
		if($nLen !== strlen($p_strMessage))
		{
			throw new Exception('Can not send data');
		}
		return true;
	}
	public function read(){
		//接收一行，阻塞至\n结束
		//$strMessage = fgets($this->pClient);
		//指定长度读取
		//$strMessage = fread($this->pClient, 1024);
		$strMessage = stream_socket_recvfrom($this->pClient, 1024);
		//$strMessage = stream_get_contents($this->pClient);

		return $strMessage;
	}
	public function close(){
		fclose($this->pServer);
		
		$this->pServer = null;
	}
	public function setContext(){

	}
	public function setTimeOut($p_pConnetction, $p_nTimeOut = 1){
		$bRes = stream_set_timeout($p_pConnetction, $p_nTimeOut);
	}
	public function setBlock($p_pConnetction, $p_nMode = ServerStreamSocket::BLOCK){
		$bRes = stream_set_blocking($p_pConnetction, $p_nMode);
	}
	public function __destruct(){
		if($this->pServer){
			$this->close();
		}
	}
}
class SelectServerStreamSocket extends ServerStreamSocket{
	public function run(){
		$this->loop();
	}
	public function loop(){
		$arrRead = array();
		$arrWrite = $arrExp = null;
		$arrClient = array($this->pServer);
		while(true){
			$arrRead = $arrClient;
			if (stream_select($arrRead, $arrWrite, $arrExp, null) < 1){
				continue;
			}
			if(in_array($this->pServer, $arrRead)){
				$this->_connect();
	
				$arrClient[] = $this->pClient;
	
				$nKey = array_search($this->pServer, $arrRead);
				unset($arrRead[$nKey]);
			}
			foreach($arrRead as $pConnetcion){
				$bRes = $this->_reply();
				if($bRes === false){
					$nKey = array_search($this->pClient, $arrClient);
					unset($arrClient[$nKey]);;
					continue;
				}
			}
		}
		//usleep(100);
	}
}
class EvServerStreamSocket extends ServerStreamSocket{
	protected function _onConnect(){
		$this->_connect();
		
		$pReadClient = new EvIo($this->pClient, Ev::READ, function ($watcher, $revents) {
			$this->_reply();
		});
		Ev::run();
	}
	public function run(){
		$pReadWatcher = new EvIo($this->pServer, Ev::READ, function ($watcher, $revents) {
			$this->_onConnect();
		});
		Ev::run();
	}
}
class MulProcessServerStreamSocket extends EvServerStreamSocket{
	protected function _execute(){
		if(!$this->_reply()){
			//子进程执行完毕，通知父进程
			exit();
		}
	}
	protected function _onConnect(){
		$pid = pcntl_fork();
		if ($pid == -1) {
			die('could not fork');
		} else if ($pid) {
			pcntl_wait($status);
		} else {
			$this->_connect();

			$pReadClient = new EvIo($this->pClient, Ev::READ, function ($watcher, $revents) {
				$this->_execute();
			});
			Ev::run();
		}

	}
}
$strHost = "127.0.0.1";
$nPort = 25003;
$strProtocol = "tcp";
//$nProtocol = getprotobyname($strProtocol);

$strAddress = $strProtocol."://".$strHost.":".$nPort;

$pServer = new EvServerStreamSocket($strAddress);

$pServer->run();

这里演示客户端与服务端交互，都是两步走，先发送一个请求再获取结果。在Thrift RPC远程调用中，既可先发送请求，过一会儿再来获取结果，达到异步交互的目的；也可发送完请求后立即获取结果，达到同步请求的目的。

参考链接：
Socket Programming in PHP
Socket programming with streams in php
PHP Socket programming tutorial
php 实例说明 socket通信机制
 Mpass – PHP做Socket服务的解决方案
 How to forcibly close a socket in TIME_WAIT?

PHP RPC开发之Thrift

Sun, 28 Jun 2015 13:38:47 +0800

Apache Thrift是一个跨语言的服务部署框架，通过一个中间语言(IDL, 接口定义语言)来定义RPC的接口和数据类型，然后通过一个编译器生成不同语言的代码（支持C++，Java，Python，PHP, GO，Javascript，Ruby，Erlang，Perl， Haskell， C#等）,并由生成的代码负责RPC协议层和传输层的实现。

在CentOS 6.5上安装Thrift

sudo yum -y update
sudo yum -y groupinstall "Development Tools"

#升级autoconf，必须2.65以上
wget http://ftp.gnu.org/gnu/autoconf/autoconf-2.69.tar.gz
tar xvf autoconf-2.69.tar.gz
cd autoconf-2.69
./configure --prefix=/usr
make
sudo make install
cd ..

#升级automake必须1.14以上
wget http://ftp.gnu.org/gnu/automake/automake-1.14.tar.gz
tar xvf automake-1.14.tar.gz
cd automake-1.14
./configure --prefix=/usr
make
sudo make install
cd ..

#升级bsion
wget http://ftp.gnu.org/gnu/bison/bison-2.5.1.tar.gz
tar xvf bison-2.5.1.tar.gz
cd bison-2.5.1
./configure --prefix=/usr
make
sudo make install
cd ..

#安装boost
wget http://sourceforge.net/projects/boost/files/boost/1.55.0/boost_1_55_0.tar.gz
tar xvf boost_1_55_0.tar.gz
cd boost_1_55_0
./bootstrap.sh
sudo ./b2 install
cd ..

#安装thrift，编译会比较久，内存最好1024M以上
git clone https://git-wip-us.apache.org/repos/asf/thrift.git
cd thrift
./bootstrap.sh
./configure
make
sudo make install
cd ..

#查看版本
thrift -version

#安装thrift_protocol扩展，仅支持二进制读写
cd thrift/lib/php/src/ext/thrift_protocol
phpize
./configure
sudo make
sudo make install
#这里不需要更改php.ini，已自动在/etc/php.d/thrift_protocol.ini里面添加
php -m | grep thrift

Thrift的PHP类库位于thrift/lib/php/lib/Thrift目录下面，Thrift对于数据传输格式、数据传输方式，服务器模型均做了定义，方便自行扩展。

数据传输格式（protocol）是定义的了传输内容，对Thrift Type的打包解包，包括

TBinaryProtocol，二进制格式，TBinaryProtocolAccelerated则是依赖于thrift_protocol扩展的快速打包解包。
TCompactProtocol，压缩格式
TJSONProtocol，JSON格式
TMultiplexedProtocol，利用前三种数据格式与支持多路复用协议的服务端（同时提供多个服务，TMultiplexedProcessor）交互

数据传输方式（transport），定义了如何发送（write）和接收（read）数据，包括

TBufferedTransport，缓存传输，写入数据并不立即开始传输，直到刷新缓存。
TSocket，使用socket传输
TFramedTransport，采用分块方式进行传输，具体传输实现依赖其他传输方式，比如TSocket
TCurlClient，使用curl与服务端交互
THttpClient，采用stream方式与HTTP服务端交互
TMemoryBuffer，使用内存方式交换数据
TPhpStream，使用PHP标准输入输出流进行传输
TNullTransport，关闭数据传输
TSocketPool在TSocket基础支持多个服务端管理（需要APC支持），自动剔除无效的服务器
TNonblockingSocket，非官方实现非阻塞socket

服务模型，定义了当PHP作为服务端如何监听端口处理请求

TForkingServer，采用子进程处理请求
TSimpleServer，在TServerSocket基础上处理请求
TNonblockingServer，基于libevent的非官方实现非阻塞服务端，与TNonblockingServerSocket，TNonblockingSocket配合使用

另外还定义了一些工厂，以便在Server模式下对数据传输格式和传输方式进行绑定

TProtocolFactory，数据传输格式工厂类，对protocol的工厂化生产，包括TBinaryProtocolFactory，TCompactProtocolFactory，TJSONProtocolFactory
TTransportFactory，数据传输方式工厂类，对transport的工厂化生产，作为server时，需要自行实现
TStringFuncFactory，字符串处理工厂类

其他文件便是异常，字符串处理，自动加载器的定义等等。

现在开始编写一个简单接IDL文件HelloWorld.thrift

namespace php Services.HelloWorld
service HelloWorld
{
 string sayHello(1:string name);
}

然后通过生成器生成PHP文件

#不指明:server不生成processor。。
thrift --gen php:server HelloWorld.thrift

生成文件在gen-php目录下面的Services/HelloWord/HelloWorld.php（目录与namesapce定义一致），这是个公共文件，服务端和客户端都需要包括它。其中客户端调用的代码（HelloWorldClient ）已经生成好了

//服务端需要继承该接口
interface HelloWorldIf {
 /**
 * @param string $name
 * @return string
 */
 public function sayHello($name);
}
//提供给客户端调用的方法
class HelloWorldClient implements \Services\HelloWorld\HelloWorldIf {
 public function sayHello($name)
 {
 $this->send_sayHello($name);
 return $this->recv_sayHello();
 }
 public function send_sayHello($name)
 {
 }
 public function recv_sayHello()
 {
 }
}
//HelloWord类sayHello方法参数读取
class HelloWorld_sayHello_args {
}
//HelloWord类sayHello方法结果写入
class HelloWorld_sayHello_result {
}
//作为服务端才会生成
class HelloWorldProcessor {
}

而服务端的服务实现代码则需要继承HelloWorldIf 实现代码HelloWorldHandler.php

<?php
namespace Services\HelloWorld;

class HelloWorldHandler implements HelloWorldIf {
 public function sayHello($name)
 {
 return "Hello $name";
 }
}

编写服务端代码Server.php

<?php
namespace Services\HelloWorld;

error_reporting(E_ALL);

define('THRIFT_ROOT', __DIR__.'/../../../');
require_once THRIFT_ROOT.'Thrift/ClassLoader/ThriftClassLoader.php';

use Thrift\ClassLoader\ThriftClassLoader;

$loader = new ThriftClassLoader();
$loader->registerNamespace('Thrift', THRIFT_ROOT);
$loader->registerDefinition('Service', THRIFT_ROOT.'/gen-php');
$loader->register();

use Thrift\Exception\TException;
use Thrift\Factory\TBinaryProtocolFactory;
use Thrift\Factory\TBufferedTransportFactory;

use Thrift\Server\TServerSocket;
use Thrift\Server\TSimpleServer;

//use Thrift\Server\TNonblockingServerSocket;
//use Thrift\Server\TNonblockingServer;

//use Thrift\Protocol\TBinaryProtocol;
//use Thrift\Transport\TPhpStream;
//use Thrift\Transport\TBufferedTransport;


try {
	require_once 'HelloWorldHandler.php';
	$handler = new \Services\HelloWorld\HelloWorldHandler();
	$processor = new \Services\HelloWorld\HelloWorldProcessor($handler);
	
	$transportFactory = new TBufferedTransportFactory();
	$protocolFactory = new TBinaryProtocolFactory(true, true);
	
	//作为cli方式运行，监听端口，官方实现
	$transport = new TServerSocket('localhost', 9090);
	$server = new TSimpleServer($processor, $transport, $transportFactory, $transportFactory, $protocolFactory, $protocolFactory);
	$server->serve();
	
	//作为cli方式运行，非阻塞方式监听，基于libevent实现，非官方实现
	//$transport = new TNonblockingServerSocket('localhost', 9090);
	//$server = new TNonblockingServer($processor, $transport, $transportFactory, $transportFactory, $protocolFactory, $protocolFactory);
	//$server->serve();

	//客户端和服务端在同一个输入输出流上
	//使用方式
	//1) cli 方式：php Client.php | php Server.php 
	//2) cgi 方式：利用Apache或nginx监听http请求，调用php-fpm处理，将请求转换为PHP标准输入输出流
	//$transport = new TBufferedTransport(new TPhpStream(TPhpStream::MODE_R | TPhpStream::MODE_W));
	//$protocol = new TBinaryProtocol($transport, true, true);
	//$transport->open();
	//$processor->process($protocol, $protocol);
	//$transport->close();
	
} catch (TException $tx) {
	print 'TException: '.$tx->getMessage()."\n";
}

服务端创建的步骤：

首先初始化服务提供者handler
然后利用该handler初始化自动生成的processor
初始化数据传输方式transport
利用该传输方式初始化数据传输格式protocol
开始服务

编写客户端代码Client.php

<?php
namespace Services\HelloWorld;

error_reporting(E_ALL);

define('THRIFT_ROOT', __DIR__.'/../../../');
require_once THRIFT_ROOT.'Thrift/ClassLoader/ThriftClassLoader.php';

use Thrift\ClassLoader\ThriftClassLoader;

$loader = new ThriftClassLoader();
$loader->registerNamespace('Thrift', THRIFT_ROOT);
$loader->registerDefinition('Service', THRIFT_ROOT.'/gen-php');
$loader->register();

//use Thrift\Transport\TPhpStream;

use Thrift\Protocol\TBinaryProtocol;
use Thrift\Transport\TSocket;
use Thrift\Transport\TBufferedTransport;
use Thrift\Exception\TException;

try {
	//仅在与服务端处于同一输出输出流有用
	//使用方式：php Client.php | php Server.php 
	//$transport = new TBufferedTransport(new TPhpStream(TPhpStream::MODE_R | TPhpStream::MODE_W));
	
	//socket方式连接服务端
	//数据传输格式和数据传输方式与服务端一一对应
	//如果服务端以http方式提供服务，可以使用THttpClient/TCurlClient数据传输方式
	$transport = new TBufferedTransport(new TSocket('localhost', 9090));
	$protocol = new TBinaryProtocol($transport);
	$client = new \Services\HelloWorld\HelloWorldClient($protocol);

	$transport->open();
	
	//同步方式进行交互
	$recv = $client->sayHello('Courages');
	echo "\n sayHello11dd:".$recv." \n";
	
	//异步方式进行交互
	$client->send_sayHello('Us');
	echo "\n send_sayHello \n";
	$recv = $client->recv_sayHello();
	echo "\n recv_sayHello:".$recv." \n";
	
	$transport->close();
} catch (TException $tx) {
	print 'TException: '.$tx->getMessage()."\n";
}

客户端调用的步骤：

初始化数据传输方式transport，与服务端对应
利用该传输方式初始化数据传输格式protocol，与服务端对应
实例化自动生成的Client对象
开始调用

在终端上运行

#以cli方式运行TPhpStream 
#php Client.php | php Server.php

#先运行Server.php
#要不然会报错：TException: TSocket: Could not connect to localhost:9090 (Connection refused [111])
php Server.php

#在另外一个终端运行
php Client.ph

官方给的例子，PHP作为服务端是以web方式进行提供的，在cli方式下并不能运行。

Thrift作为一个跨语言的服务框架，方便不同语言、模块之间互相调用，解耦服务逻辑代码，拓展了PHP的处理能力（如与Hbase交互），使得WEB架构更具弹性。与基于 SOAP 消息格式的 Web Service和基于 JSON 消息格式的 RESTful 服务不同，Thrif数据传输格式默认采用二进制传格式，对 XML 和 JSON 体积更小，但对于服务端的CPU占用比JSON、XML要高。PHP虽然有thrift_protocol扩展，但仅仅作为二进制数据传输格式化使用，其他文件的加载仍然为PHP，需要更多的开销。

如果由PHP来做为Thrift的服务端，仅仅这样子做仍然是不够的，Thrift仅仅实现的数据定义和传输，未实现RPC架构

需要避免重复加载各类文件，是否做成PHP扩展
数据传输格式和方式是否适需要自行扩展
客户端要能够自动连可使用的服务端，剔除失效的服务器
服务端需要处理客户端并发情况，是否多进程/异步处理
服务端需要监控服务是否正常

workerman-thrift-rpc对这些问题进行了解决，基于thrift提供了一个可靠性的RPC框架。对客户端和服务端的调用做了封装，提供统一入口，利用workerman做socket中转，当客户端发出请求时，将给socket转给服务端使用，提供服务。workerman-json-rpc与workerman-thrift-rpc类似，采用异步（分步）收发，但简单多了，更像是一种约定。数据格式，发送时仅发送class，function，parameters三个参数，接收时，仅code，msg，data三个返回值，在格式约束及跨语言上，需要自行处理；不需要thrift那样依赖于生成器所生成的文件，客户端完全独立于服务端。

注：以上示例使用修改过的代码，附上代码：thrift。

参考链接：
Apache Thrift – 可伸缩的跨语言服务开发框架
 Thirft框架介绍
 Apache Thrift
Building Apache Thrift on CentOS 6.5
PHP Tutorial
Creating a public API with Apache Thrift
hadoop + Hbase + thrift + php 安裝設定與程式設計
 php实现的thrift socket server
Our own “Hello World!”

PHP 事件驱动开发

Fri, 26 Jun 2015 20:00:58 +0800

最近在学习PHP的系统事件驱动（event-base）开发，发现PHP有好几个event扩展，根据底层库依赖分为两类：libevent和libev。libevent可以为文件描述符、信号、超时设定等事件提供了监听回调，支持poll/kqueue/event port/select/epoll。libevent 库的其他组件提供其他功能，包括缓冲的事件系统（用于缓冲发送到客户端/从客户端接收的数据）以及 HTTP、DNS 和 RPC 系统的核心实现。libev提供了各种监听器，包括子进程监听，超时设定，定时器，IO监听，信号监听，文件监视等，支持epoll/kqueue/event ports/inotify/eventfd/signalfd，更快的时钟管理，时间变化检测和修正。PHP依赖libevent扩展有libevent，event，PHP依赖libev扩展则有Ev，libev。

libevent在PHP事件驱动开发上应用广泛，比如workerman，phpDaemon，ReactPHP，Kellner。CentOS上PHP 5.4安装libevent扩展

sudo yum install libevent-devel

wget https://pecl.php.net/get/libevent-0.1.0.tgz
tar -zxvf libevent-0.1.0.tgz
cd libevent-0.1.0
phpize 
./configure
sudo make
sudo make install

#增加libevent.so
sudo vim /etc/php.ini

#是否安装成功
php -m | grep libevent

前面介绍过使用ticks和pcntl_signal来做定时器，然而tick运行机制是PHP解释器每执行 N 条可计时的低级语句就会发生的事件，如果tick值设置小了，会产生频繁的系统调用，设置大了又不能保证及时。使用libevent来设置一个定时器

<?php
function print_dot(){
	echo ".";
}

class Timer{
	protected $pEventBase;
	protected $pEvent;
	public $nInterval = 1;
	public function __construct(){
		$this->pEventBase = event_base_new();
	}
	public function addEvent($p_pFunc, $p_mxArgs = null){
		$this->pEvent = event_new();
		event_set($this->pEvent, 0, EV_TIMEOUT, $p_pFunc, $p_mxArgs);
		event_base_set($this->pEvent, $this->pEventBase);
	}
	public function loop(){
		event_add($this->pEvent, $this->nInterval*1000000);
		event_base_loop($this->pEventBase);
	}
}

$pTimer = new Timer();
$pTimer->addEvent("print_dot");
while(1){
	$pTimer->loop();
}

libevent使用也很简单：

使用event_base_new和event_new分别创建event_base和event
使用event_set为event设置要监听文件描述符fd，比如文件、socke、信号，超时则fd为0，事件类型和回调函数
使用event_base_set关联event_base和event
使用event_add将设置好的event加入事件监听器
调用event_base_loop开始处理事件

官网上有个例子用来做socket监听处理

<?php
$socket = stream_socket_server ('tcp://0.0.0.0:2000', $errno, $errstr);
stream_set_blocking($socket, 0);
$base = event_base_new();
$event = event_new();
event_set($event, $socket, EV_READ | EV_PERSIST, 'ev_accept', $base);
event_base_set($event, $base);
event_add($event);
event_base_loop($base);

$GLOBALS['connections'] = array();
$GLOBALS['buffers'] = array();

function ev_accept($socket, $flag, $base) {
 static $id = 0;
 
 $connection = stream_socket_accept($socket);
 stream_set_blocking($connection, 0);
 
 $id += 1;
 
 $buffer = event_buffer_new($connection, 'ev_read', NULL, 'ev_error', $id);
 event_buffer_base_set($buffer, $base);
 event_buffer_timeout_set($buffer, 30, 30);
 event_buffer_watermark_set($buffer, EV_READ, 0, 0xffffff);
 event_buffer_priority_set($buffer, 10);
 event_buffer_enable($buffer, EV_READ | EV_PERSIST);
 
 // we need to save both buffer and connection outside
 $GLOBALS['connections'][$id] = $connection;
 $GLOBALS['buffers'][$id] = $buffer;
}

function ev_error($buffer, $error, $id) {
 event_buffer_disable($GLOBALS['buffers'][$id], EV_READ | EV_WRITE);
 event_buffer_free($GLOBALS['buffers'][$id]);
 fclose($GLOBALS['connections'][$id]);
 unset($GLOBALS['buffers'][$id], $GLOBALS['connections'][$id]);
}

function ev_read($buffer, $id) {
 while ($read = event_buffer_read($buffer, 256)) {
 var_dump($read);
 }
}

相比libevent，event扩展提供了面向对象的方法，支持libevent 2+ 的特性，对HTTP，DNS，OpenSSL等协议操作进行封装。Kellner框架比较有意思，在PHP的libevent扩展基础上将http请求处理封装成了扩展，使用cli模式处理http请求，并给出了基于Zend Framework 2的示例。

libev自称libevent的替代者，克服了libevent的一些不利影响，开销更小，Node JS便是利用它来做事件驱动。相比基于libeventd的扩展，基于libev的ev扩展更新比较积极，支持设置各种的监听器，为感兴趣的事件注册回调，比如文件变化，超时。CentOS上PHP 5.4安装ev扩展

wget https://pecl.php.net/get/ev-0.2.15.tgz
tar -zxvf ev-0.2.15
cd ev-0.2.15
phpize 
./configure
sudo make
sudo make install

#增加ev.so
sudo vim /etc/php.ini

#是否安装成功
php -m | grep ev

libev封装了各种监视器，操作也比较简单。

<?php
/**
 * 延迟1秒后执行，不重复
 */
$pDelay = new EvTimer(1, 0, function () {
	echo "1 delay \n";
});
/**
 * 每隔一秒执行一次的定时器，0秒后执行
 */
$pTimer = new EvTimer(0, 1, function () {
	echo "1 seconds \n";
});
/**
 * 如果没有其他更高等级的监视器，那么就执行EvIdle，处于低优先级则不执行
 */
$pIdle = new EvIdle(function(){
	sleep(1);
	echo "idle timer \n";
},0,2);
/**
 * 每一次loop开始都会执行
 */
$pPrepare = new EvPrepare(function(){
	echo "before timer \n";
},0);
/**
 * 每一次loop都会执行，可以通过优先级调整执行顺序
 */
$c = new EvCheck(function(){
	echo "after timer \n";
},0,-1);
/**
 * 定时器，每隔1.5秒后执行一次，0秒后开始
 */
$pPeriod = new EvPeriodic(0., 1.5, NULL, function ($w, $revents) {
	echo time(), PHP_EOL;
});
/**
 * IO输入事件监听，可以拿去监听socket的Ev::WRITE和Ev::READ事件
 */
$pReadWatcher = new EvIo(STDIN, Ev::READ, function ($watcher, $revents) {
	echo "STDIN is readable\n";
});

/**
 * 注册监听感兴趣的信号
 */
$pSignal = new EvSignal(SIGTERM, function ($watcher) {
	echo "SIGTERM received\n";
	$watcher->stop();
});
/**
 * 文件变化监听器，10秒监测一次
 */
$pStatWatcher = new EvStat("/var/log/messages", 10, function ($w) {
	echo "/var/log/messages changed\n";
	
	$attr = $pStatWatcher->attr();
	
	if ($attr['nlink']) {
		printf("Current size: %ld\n", $attr['size']);
		printf("Current atime: %ld\n", $attr['atime']);
		printf("Current mtime: %ld\n", $attr['mtime']);
	} else {
		fprintf(STDERR, "`messages` file is not there!");
		$pStatWatcher->stop();
	}
});
	
/**
 * 开始执行Ev::RUN_ONCE则立即执行Ev::RUN_NOWAIT则非阻塞执行
 */
Ev::run();

也可以监听子进程

$pid = pcntl_fork();

if ($pid == -1) {
 fprintf(STDERR, "pcntl_fork failed\n");
} elseif ($pid) {
 $w = new EvChild($pid, FALSE, function ($w, $revents) {
 $w->stop();

 printf("Process %d exited with status %d\n", $w->rpid, $w->rstatus);
 });

 Ev::run();

 // Protect against Zombies
 pcntl_wait($status);
} else {
 //Forked child
 exit(2);
}

php的libev扩展也实现了libev的所有监视器，提供类似的用法，但比较久没更新了。

在网络编程中，使用事件驱动模型监听感兴趣的事件，结合异步处理，能够大大提高服务器性能。传统服务器模型如Apache为每一个请求生成一个子进程。当用户连接到服务器的一个子进程就产生，并处理连接。每个连接获得一个单独的线程和子进程。当用户请求数据返回时，子进程开始等待数据库操作返回。如果此时另一个用户也请求返回数据，这时就产生了阻塞。以下引用自《使用事件驱动模型实现高效稳定的网络服务器程序》

简单网络编程模型里面，服务器与客户端都是一应一答，大部分的 socket 接口都是阻塞型的。在面对多个客户端的请求时候，最简单的解决方式是在服务器端使用多线程（或多进程）。如果要同时响应成百上千路的连接请求，则无论多线程还是多进程都会严重占据系统资源，降低系统对外界响应效率，而线程与进程本身也更容易进入假死状态。
于是便有了“线程池”或“连接池”。“线程池”旨在减少创建和销毁线程的频率，其维持一定合理数量的线程，并让空闲的线程重新承担新的执行任务。“连接池”维持连接的缓存池，尽量重用已有的连接、减少创建和关闭连接的频率。
但是，“线程池”和“连接池”技术也只是在一定程度上缓解了频繁调用 IO 接口带来的资源占用。而且，所谓“池”始终有其上限，当请求大大超过上限时，“池”构成的系统对外界的响应并不比没有池的时候效果好多少。所以使用“池”必须考虑其面临的响应规模，并根据响应规模调整“池”的大小。对付可能同时出现的上千甚至上万次的客户端请求，“线程池”或“连接池”或许可以缓解部分压力，但是不能解决所有问题。

于是便有了基于事件驱动的非阻塞型服务器，比如Nginx，Node.js。Nginx采用事件驱动，使用epoll事件模型，充分使用异步逻辑，削减了上下文调度开销，并发服务能力更强。Node.js 的异步机制是基于事件的，所有的磁盘 I/O、网络通信、数据库查询都以非阻塞的方式请求，返回的结果由事件循环来处理。Node.js 在执行的过程中会维护一个事件队列，程序在执行时进入事件循环等待下一个事件到来，每个异步式 I/O 请求完成后会被推送到事件队列，等待程序进程进行处理。

参考链接：
libev – a high performance full-featured event loop written in C
Working with events
使用 libevent 和 libev 提高网络应用性能
 为什么事件驱动服务器这么火
 Asynchronous PHP and Real-time Messaging
react.php 中的异步实现

PHP ZooKeeper分布式应用开发

Wed, 24 Jun 2015 09:58:29 +0800

ZooKeeper是一个中心化服务，用于分布式应用下的配置同步和协调，提供统一配置服务，统一命名服务，分布式同步，集群管理等。Zookeeper 从设计模式角度来看，是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper 就将负责通知已经在 Zookeeper 上注册的那些观察者做出相应的反应。ZooKeeper的应用场景包括：统一命名服务；配置管理；集群管理；队列管理等。

ZooKeeper作为一个Java应用程序，有大神开发了PHP的扩展：php-zookeeper。利用ZooKeeper，我们可以让分布式的PHP应用程序协调产生leader，为woker分配任务，当leader崩溃时，自动选举产生leader；也可以作分布式的锁和队列。

ZooKeeper本身是一个集群，至少需要表示3台，只要超过半数节点正常就可以工作，避免单点故障。首先需要安装JDK环境

yum search java | grep 'java-'
sudo yum install java-1.8.0-openjdk-devel

然后安装ZooKeeper，从官网下载

tar zxfv zookeeper-3.4.6.tar.gz
cd zookeeper-3.4.6/src/c
./configure --prefix=/usr/
make
sudo make install

#创建libzookeeper.conf，内容为/usr/lib，以便编译扩展使用
sudo vim /etc/ld.so.conf.d/libzookeeper.conf
#使配置生效
sudo ldconfig

然后安装PHP的扩展

cd
git clone https://github.com/andreiz/php-zookeeper.git
cd php-zookeeper
phpize
./configure
make
sudo make install

更改php.ini配置，增加以下内容

[zookeeper]
extension = zookeeper.so

查看是否加载成功

php -m | grep zookeeper

更改ZooKeeper配置，可以改变里面的DataDir熟悉，默认在/tmp下面

cp conf/zoo_sample.cfg conf/zoo.cfg
vim conf/zoo.cfg

然后终端A里面运行ZooKeeper，通过shell进行交互

cd zookeeper-3.4.6/bin
./zkServer.sh start
./zkCli.sh -server 127.0.0.1:2181
create /test hello
;Created /test
ls /
;[test, zookeeper]

这时便已成功连到了ZooKeeper，并创建了一个名为“/test”的znode。ZooKeeper以树形结构保存数据。这很类似于文件系统，但“文件夹”又和文件很像。znode是ZooKeeper保存的实体。

新建一个PHP脚本来测试一下

<?php
 
class ZookeeperDemo extends Zookeeper {
 
 public function watcher( $i, $type, $key ) {
 echo "Insider Watcher\n";
 
 // Watcher gets consumed so we need to set a new one
 $this->get( '/test', array($this, 'watcher' ) );
 }
 
}
 
$zoo = new ZookeeperDemo('127.0.0.1:2181');
$zoo->get( '/test', array($zoo, 'watcher' ) );
 
while( true ) {
 echo '.';
 sleep(2);
}

在新的终端B里面运行这个脚本

$ php zookeeperdemo1.php

返回刚才的那个终端A里面，改变节点“/test”存储的数据

set /test world

这时候在终端B里面变化打印“Insider Watcher”。注意：这里注册的回到函数仅支持对象的方法，不支持普通的函数。

前面说过，ZooKeeper是一个基于观察者模式设计的分布式服务管理框架。Zookeeper提供了绑定在znode上的监听器，一旦监听到znode数据发生变化，便会通知所有注册的客户端。所以也可以应用于发布订阅模式。

这篇文章还举例，如何让多个PHP脚本自动选举leader，分配工作。

<?php
 
class Worker extends Zookeeper {
 
 const CONTAINER = '/cluster';
 
 protected $acl = array(
 array(
 'perms' => Zookeeper::PERM_ALL,
 'scheme' => 'world',
 'id' => 'anyone' ) );
 
 private $isLeader = false;
 
 private $znode;
 
 public function __construct( $host = '', $watcher_cb = null, $recv_timeout = 10000 ) {
 parent::__construct( $host, $watcher_cb, $recv_timeout );
 }
 
 public function register() {
 if( ! $this->exists( self::CONTAINER ) ) {
 $this->create( self::CONTAINER, null, $this->acl );
 }
 
 //Zookeeper::EPHEMERAL - auto remove if client session goes away
 //Zookeeper::EPHEMERAL - auto increasing sequence number
 $this->znode = $this->create( self::CONTAINER . '/w-',
 null,
 $this->acl,
 Zookeeper::EPHEMERAL | Zookeeper::SEQUENCE );
 
 $this->znode = str_replace( self::CONTAINER .'/', '', $this->znode );
 
 printf( "I'm registred as: %s\n", $this->znode );
 
 $watching = $this->watchPrevious();
 
 if( $watching == $this->znode ) {
 printf( "Nobody here, I'm the leader\n" );
 $this->setLeader( true );
 }
 else {
 printf( "I'm watching %s\n", $watching );
 }
 }
 
 public function watchPrevious() {
 $workers = $this->getChildren( self::CONTAINER );
 sort( $workers );
 $size = sizeof( $workers );
 for( $i = 0 ; $i < $size ; $i++ ) {
 if( $this->znode == $workers[ $i ] ) {
 if( $i > 0 ) {
 //for node path change event
 $this->get( self::CONTAINER . '/' . $workers[ $i - 1 ], array( $this, 'watchNode' ) );
 //for node path exist event
 $this->exists( self::CONTAINER . '/' . $workers[ $i - 1 ], array( $this, 'watchNode' ) );
 return $workers[ $i - 1 ];
 }
 
 return $workers[ $i ];
 }
 }
 
 throw new Exception( sprintf( "Something went very wrong! I can't find myself: %s/%s",
 self::CONTAINER,
 $this->znode ) );
 }
 
 public function watchNode( $i, $type, $name ) {
 $watching = $this->watchPrevious();
 if( $watching == $this->znode ) {
 printf( "I'm the new leader!\n" );
 $this->setLeader( true );
 }
 else {
 printf( "Now I'm watching %s\n", $watching );
 }
 }
 
 public function isLeader() {
 return $this->isLeader;
 }
 
 public function setLeader($flag) {
 $this->isLeader = $flag;
 }
 
 public function run() {
 $this->register();
 
 while( true ) {
 if( $this->isLeader() ) {
 $this->doLeaderJob();
 }
 else {
 $this->doWorkerJob();
 }
 
 sleep( 2 );
 }
 }
 
 public function doLeaderJob() {
 echo "Leading\n";
 }
 
 public function doWorkerJob() {
 echo "Working\n";
 }
 
}
//host can be multiple, e.g '127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183' 
$worker = new Worker( '127.0.0.1:2181' );
$worker->run();

打开多个终端运行这个脚本。使用Ctrl+c或其他方法退出第一个脚本。刚开始不会有任何变化，worker可以继续工作。后来，ZooKeeper会发现超时，并选举出新的leader。

除此之外，利用这个扩展还可以实现一下其他的应用场景，比如排他锁和共享锁：php-zookeeper-recipes。

参考链接：
Distributed application in PHP with Apache Zookeeper
分布式服务框架 Zookeeper — 管理分布式环境中的数据
 使用Apache Zookeeper分布式部署PHP应用程序
 分布式服务框架：Zookeeper

PHP 进程间通信

Tue, 23 Jun 2015 10:54:59 +0800

上一篇介绍了PHP的多进程开发，进程间通过信号进行交互。这里介绍一下PHP的进程间通信（IPC）方法，包括基于System V IPC通信，如信号量、进程间消息、共享内存和基于socket的IPC通信。

信号量主要作为不同进程以及同一进程不同线程之间的同步手段。信号量是一个特殊的变量，程序对其访问都是原子操作，且只允许对它进行等待和发送信息操作。如果信号量是一个任意的整数，通常被称为计数信号量，或一般信号量；如果信号量只有二进制的0或1，称为二进制信号量。在linux系中，二进制信号量又称Mutex，互斥锁。以下例子采用信号量来协调进程对资源的访问

<?php
$key = ftok ( __FILE__, 's' );
// 同时最多只能有一个进程进入临界区
$sem_id = sem_get ( $key, 1 );
echo "This is a room，can only stay one people!\n\r";
// 派生子进程
$pid = pcntl_fork ();
if ($pid == - 1) {
	exit ( 'fork failed!' );
} else if ($pid > 0) {
	$name = 'parent';
} else {
	$name = 'child';
}
echo "{$name} want to enter the room \n";
sem_acquire ( $sem_id );
// 原子操作开始
echo "{$name} in the room , other people can't enter!\n";
sleep ( 3 );
echo "{$name} leave the room\n";
// 原子操作结束
sem_release ( $sem_id );
if ($pid > 0) {
	pcntl_waitpid ( $pid, $status );
	sem_remove ( $sem_id ); // 移除信号量
}

sem_get和sem_remove分别为创建和销毁信号量。当前进程（父进程）通过sem_acquire获取到信号量后其他进程（子进程）将会一直阻塞直到获取到信号量；在sem_acquire和sem_release之间操作都将是原子性的；当前进程通过sem_release释放所请求的信号量，其他进程便使用，从而实现对资源的有序访问。sem_acquire是阻塞操作，即之后的程序都需要等待获取到信号量后才能继续执行。使用多个信号量控制，需要注意是否会造成死锁。

消息队列提供了一种从一个进程向另一个进程异步发送一个数据块的方法，消息的发送者和接收者不需要同时与消息队列互交。消息会保存在队列中，直到接收者取回它。有足够权限的进程可以向队列中添加消息，被赋予读权限的进程则可以读走队列中的消息。以下是PHP子进程使用消息队列与父进程进行通信

// 生成key
$message_queue_key = ftok ( __FILE__, 'a' );
// 根据生成的key新建队列，也可自定，如123456
$message_queue = msg_get_queue ( $message_queue_key, 0666 );

$pids = array ();
for($i = 0; $i < 5; $i ++) {
	// 创建子进程
	$pids [$i] = pcntl_fork ();
	
	if ($pids [$i]) {
		echo "No.$i child process was created, the pid is $pids[$i]\r\n";
		pcntl_wait ( $status ); // 非阻塞的线程等待,防止僵尸进程的出现
	} elseif ($pids [$i] == 0) {
		$pid = posix_getpid ();
		echo "process.$pid is writing now\r\n";
		// 写队列
		msg_send ( $message_queue, 1, "this is process.$pid's data\r\n" );
		posix_kill ( $pid, SIGTERM );
	}
}

do {
	// 读队列
	msg_receive ( $message_queue, 0, $message_type, 1024, $message, true, MSG_IPC_NOWAIT );
	echo $message;
	// 获取队列内消息数
	$a = msg_stat_queue ( $message_queue );
	if ($a ['msg_qnum'] == 0) {
		break;
	}
} while ( true );

消息队列存在消息大小及队列长度的限制，一旦超过将写不进去。

共享内存使得多个进程可以访问同一块内存空间，是最快的可用IPC形式。一个进程在内存创建了一个共享区域，其他进程也可以对这块内存区域进行访问

<?php
//Check the command line arguments
if(sizeof($argv) < 2) {
 echo "Usage: php shared_memory.php <send|get|delete> <integer identifier> <value>\n";
 exit;
}
 
//Define shared memory segment properties.
$key = "987654";
$permissions = 0666;
$size = 1024;
 
//Create or open the shared memory segment.
$segment = shm_attach($key, $size, $permissions);
 
//Handle operations for the segment.
switch($argv[1]) {
 case "send":
 shm_put_var($segment, $argv[2], $argv[3]);
 echo "Message sent to shared memory segment.\n";
 break;
 case "get":
 $data = shm_get_var($segment, $argv[2]);
 echo "Received data: {$data}\n";
 break;
 case "delete":
 shm_remove($segment);
 echo "Shared memory segment released.\n";
 break;
}

共享内存并未提供同步机制，往往与其它通信机制，如信号量结合使用，来达到进程间的同步及互斥。PHP还有另外一个共享内存扩展：shmop。注意，共享内存存在内存限制。

Sockets IPC提供了进程间双向的点对点通信。通过socket_create_pair创建一对socket，作为上行和下行，父进程和子进程分别使用其中一个进行读写通信

<?php
$sockets = array();
$strone = 'Message From Parent.';
$strtwo = 'Message From Child.';

if (socket_create_pair(AF_UNIX, SOCK_STREAM, 0, $sockets) === false) {
 echo "socket_create_pair() failed. Reason: ".socket_strerror(socket_last_error());
}
$pid = pcntl_fork();
if ($pid == -1) {
 echo 'Could not fork Process.';
} elseif ($pid) {
 /*parent*/
 socket_close($sockets[0]);
 if (socket_write($sockets[1], $strone, strlen($strone)) === false) {
 echo "socket_write() failed. Reason: ".socket_strerror(socket_last_error($sockets[1]));
 }
 if (socket_read($sockets[1], strlen($strtwo), PHP_BINARY_READ) == $strtwo) {
 echo "Recieved $strtwo\n";
 }
 socket_close($sockets[1]);
} else {
 /*child*/
 socket_close($sockets[1]);
 if (socket_write($sockets[0], $strtwo, strlen($strtwo)) === false) {
 echo "socket_write() failed. Reason: ".socket_strerror(socket_last_error($sockets[0]));
 }
 if (socket_read($sockets[0], strlen($strone), PHP_BINARY_READ) == $strone) {
 echo "Recieved $strone\n";
 }
 socket_close($sockets[0]);
}

以下例子是github上一个利用PHP Sockets IP开发的多进程任务处理

<?php
namespace Lifo\IPC;

declare(ticks = 1);

interface ProcessInterface
{
	public function run($parent);
}

class ProcessPoolException extends \Exception
{
	
}

class ProcessPool
{
 /** @var Integer Maximum workers allowed at once */
 protected $max;
 /** @var boolean If true workers will fork. Otherwise they will run synchronously */
 protected $fork;
 /** @var Integer Total results collected */
 protected $count;
 /** @var array Pending processes that have not been started yet */
 protected $pending;
 /** @var array Processes that have been started */
 protected $workers;
 /** @var array Results that have been collected */
 protected $results;
 /** @var \Closure Function to call every time a child is forked */
 protected $createCallback;
 /** @var array children PID's that died prematurely */
 private $caught;
 /** @var boolean Is the signal handler initialized? */
 private $initialized;
 private static $instance = array();
 public function __construct($max = 1, $fork = true)
 {
 //$pid = getmypid();
 //if (isset(self::$instance[$pid])) {
 // $caller = debug_backtrace();
 // throw new ProcessPoolException("Cannot instantiate more than 1 ProcessPool in the same process in {$caller[0]['file']} line {$caller[0]['line']}");
 //}
 //self::$instance[$pid] = $this;
 $this->count = 0;
 $this->max = $max;
 $this->fork = $fork;
 $this->results = array();
 $this->workers = array();
 $this->pending = array();
 $this->caught = array();
 $this->initialized = false;
 }
 public function __destruct()
 {
 // make sure signal handler is removed
 $this->uninit();
 //unset(self::$instance[getmygid()]);
 }
 /**
 * Initialize the signal handler.
 *
 * Note: This will replace any current handler for SIGCHLD.
 *
 * @param boolean $force Force initialization even if already initialized
 */
 private function init($force = false)
 {
 if ($this->initialized and !$force) {
 return;
 }
 $this->initialized = true;
 pcntl_signal(SIGCHLD, array($this, 'signalHandler'));
 }
 private function uninit()
 {
 if (!$this->initialized) {
 return;
 }
 $this->initialized = false;
 pcntl_signal(SIGCHLD, SIG_DFL);
 }
 public function signalHandler($signo)
 {
 switch ($signo) {
 case SIGCHLD:
 $this->reaper();
 break;
 }
 }
 /**
 * Reap any dead children
 */
 public function reaper($pid = null, $status = null)
 {
 if ($pid === null) {
 $pid = pcntl_waitpid(-1, $status, WNOHANG);
 }
 while ($pid > 0) {
 if (isset($this->workers[$pid])) {
 // @todo does the socket really need to be closed?
 //@socket_close($this->workers[$pid]['socket']);
 unset($this->workers[$pid]);
 } else {
 // the child died before the parent could initialize the $worker
 // queue. So we track it temporarily so we can handle it in
 // self::create().
 $this->caught[$pid] = $status;
 }
 $pid = pcntl_waitpid(-1, $status, WNOHANG);
 }
 }
 /**
 * Wait for any child to be ready
 *
 * @param integer $timeout Timeout to wait (fractional seconds)
 * @return array|null Returns array of sockets ready to be READ or null
 */
 public function wait($timeout = null)
 {
 $x = null; // trash var needed for socket_select
 $startTime = microtime(true);
 while (true) {
 $this->apply(); // maintain worker queue
 // check each child socket pair for a new result
 $read = array_map(function($w){ return $w['socket']; }, $this->workers);
 // it's possible for no workers/sockets to be present due to REAPING
 if (!empty($read)) {
 $ok = @socket_select($read, $x, $x, $timeout);
 if ($ok !== false and $ok > 0) {
 return $read;
 }
 }
 // timed out?
 if ($timeout and microtime(true) - $startTime > $timeout) {
 return null;
 }
 // no sense in waiting if we have no workers and no more pending
 if (empty($this->workers) and empty($this->pending)) {
 return null;
 }
 }
 }
 /**
 * Return the next available result.
 *
 * Blocks unless a $timeout is specified.
 *
 * @param integer $timeout Timeout in fractional seconds if no results are available.
 * @return mixed Returns next child response or null on timeout
 * @throws ProcessPoolException On timeout if $nullOnTimeout is false
 */
 public function get($timeout = null, $nullOnTimeout = false)
 {
 $startTime = microtime(true);
 while ($this->getPending()) {
 // return the next result
 if ($this->hasResult()) {
 return $this->getResult();
 }
 // wait for the next result
 $ready = $this->wait($timeout);
 if (is_array($ready)) {
 foreach ($ready as $socket) {
 $res = self::socket_fetch($socket);
 if ($res !== null) {
 $this->results[] = $res;
 $this->count++;
 }
 }
 if ($this->hasResult()) {
 return $this->getResult();
 }
 }
 // timed out?
 if ($timeout and microtime(true) - $startTime > $timeout) {
 if ($nullOnTimeout) {
 return null;
 }
 throw new ProcessPoolException("Timeout");
 }
 }
 }
 /**
 * Return results from all workers.
 *
 * Does not return until all pending workers are complete or the $timeout
 * is reached.
 *
 * @param integer $timeout Timeout in fractional seconds if no results are available.
 * @return array Returns an array of results
 * @throws ProcessPoolException On timeout if $nullOnTimeout is false
 */
 public function getAll($timeout = null, $nullOnTimeout = false)
 {
 $results = array();
 $startTime = microtime(true);
 while ($this->getPending()) {
 try {
 $res = $this->get($timeout);
 if ($res !== null) {
 $results[] = $res;
 }
 } catch (ProcessPoolException $e) {
 // timed out
 }
 // timed out?
 if ($timeout and microtime(true) - $startTime > $timeout) {
 if ($nullOnTimeout) {
 return null;
 }
 throw new ProcessPoolException("Timeout");
 }
 }
 return $results;
 }
 public function hasResult()
 {
 return !empty($this->results);
 }
 /**
 * Return the next available result or null if none are available.
 *
 * This does not wait or manage the worker queue.
 */
 public function getResult()
 {
 if (empty($this->results)) {
 return null;
 }
 return array_shift($this->results);
 }
 /**
 * Apply a worker to the working or pending queue
 *
 * @param Callable $func Callback function to fork into.
 * @return ProcessPool
 */
 public function apply($func = null)
 {
 // add new function to pending queue
 if ($func !== null) {
 if ($func instanceof \Closure or $func instanceof ProcessInterface or is_callable($func)) {
 $this->pending[] = func_get_args();
 } else {
 throw new \UnexpectedValueException("Parameter 1 in ProcessPool#apply must be a Closure or callable");
 }
 }
 // start a new worker if our current worker queue is low
 if (!empty($this->pending) and count($this->workers) < $this->max) {
 call_user_func_array(array($this, 'create'), array_shift($this->pending));
 }
 return $this;
 }
 /**
 * Create a new worker.
 *
 * If forking is disabled this will BLOCK.
 *
 * @param Closure $func Callback function.
 * @param mixed Any extra parameters are passed to the callback function.
 * @throws \RuntimeException if the child can not be forked.
 */
 protected function create($func /*, ...*/)
 {
 // create a socket pair before forking so our child process can write to the PARENT.
 $sockets = array();
 $domain = strtoupper(substr(PHP_OS, 0, 3)) == 'WIN' ? AF_INET : AF_UNIX;
 if (socket_create_pair($domain, SOCK_STREAM, 0, $sockets) === false) {
 throw new \RuntimeException("socket_create_pair failed: " . socket_strerror(socket_last_error()));
 }
 list($child, $parent) = $sockets; // just to make the code below more readable
 unset($sockets);
 $args = array_merge(array($parent), array_slice(func_get_args(), 1));
 $this->init(); // make sure signal handler is installed
 if ($this->fork) {
 $pid = pcntl_fork();
 if ($pid == -1) {
 throw new \RuntimeException("Could not fork");
 }
 if ($pid > 0) {
 // PARENT PROCESS; Just track the child and return
 socket_close($parent);
 $this->workers[$pid] = array(
 'pid' => $pid,
 'socket' => $child,
 );
 // don't pass $parent to callback
 $this->doOnCreate(array_slice($args, 1));
 // If a SIGCHLD was already caught at this point we need to
 // manually handle it to avoid a defunct process.
 if (isset($this->caught[$pid])) {
 $this->reaper($pid, $this->caught[$pid]);
 unset($this->caught[$pid]);
 }
 } else {
 // CHILD PROCESS; execute the callback function and wait for response
 socket_close($child);
 try {
 if ($func instanceof ProcessInterface) {
 $result = call_user_func_array(array($func, 'run'), $args);
 } else {
 $result = call_user_func_array($func, $args);
 }
 if ($result !== null) {
 self::socket_send($parent, $result);
 }
 } catch (\Exception $e) {
 // this is kind of useless in a forking context but at
 // least the developer can see the exception if it occurs.
 throw $e;
 }
 exit(0);
 }
 } else {
 // forking is disabled so we simply run the child worker and wait
 // synchronously for response.
 try {
 if ($func instanceof ProcessInterface) {
 $result = call_user_func_array(array($func, 'run'), $args);
 } else {
 $result = call_user_func_array($func, $args);
 }
 if ($result !== null) {
 //$this->results[] = $result;
 self::socket_send($parent, $result);
 }
 // read anything pending from the worker if they chose to write
 // to the socket instead of just returning a value.
 $x = null;
 do {
 $read = array($child);
 $ok = socket_select($read, $x, $x, 0);
 if ($ok !== false and $ok > 0) {
 $res = self::socket_fetch($read[0]);
 if ($res !== null) {
 $this->results[] = $res;
 }
 }
 } while ($ok);
 } catch (\Exception $e) {
 // nop; we didn't fork so let the caller handle it
 throw $e;
 }
 }
 }
 /**
 * Clear all pending workers from the queue.
 */
 public function clear()
 {
 $this->pending = array();
 return $this;
 }
 /**
 * Send a SIGTERM (or other) signal to the PID given
 */
 public function kill($pid, $signo = SIGTERM)
 {
 posix_kill($pid, $signo);
 return $this;
 }
 /**
 * Send a SIGTERM (or other) signal to all current workers
 */
 public function killAll($signo = SIGTERM)
 {
 foreach ($this->workers as $w) {
 $this->kill($w['pid'], $signo);
 }
 return $this;
 }
 /**
 * Set a callback when a new forked process is created. This will allow the
 * parent to perform some sort of cleanup after every child is created.
 *
 * This is useful to reinitialize certain resources like DB connections
 * since children will inherit the parent resources.
 *
 * @param \Closure $callback Function to callback after every forked child.
 */
 public function setOnCreate(\Closure $callback = null)
 {
 $this->createCallback = $callback;
 }
 protected function doOnCreate($args = array())
 {
 if ($this->createCallback) {
 call_user_func_array($this->createCallback, $args);
 }
 }
 /**
 * Return the total jobs that have NOT completed yet.
 */
 public function getPending($pendingOnly = false)
 {
 if ($pendingOnly) {
 return count($this->pending);
 }
 return count($this->pending) + count($this->workers) + count($this->results);
 }
 public function getWorkers()
 {
 return count($this->workers);
 }
 public function getActive()
 {
 return count($this->pending) + count($this->workers);
 }
 public function getCompleted()
 {
 return $this->count;
 }
 public function setForking($fork)
 {
 $this->fork = $fork;
 return $this;
 }
 public function setMax($max)
 {
 if (!is_numeric($max) or $max < 1) {
 throw new \InvalidArgumentException("Max value must be > 0");
 }
 $this->max = $max;
 return $this;
 }
 public function getMax()
 {
 return $this->max;
 }
 /**
 * Write the data to the socket in a predetermined format
 */
 public static function socket_send($socket, $data)
 {
 $serialized = serialize($data);
 $hdr = pack('N', strlen($serialized)); // 4 byte length
 $buffer = $hdr . $serialized;
 $total = strlen($buffer);
 while (true) {
 $sent = socket_write($socket, $buffer);
 if ($sent === false) {
 // @todo handle error?
 //$error = socket_strerror(socket_last_error());
 break;
 }
 if ($sent >= $total) {
 break;
 }
 $total -= $sent;
 $buffer = substr($buffer, $sent);
 }
 }
 /**
 * Read a data packet from the socket in a predetermined format.
 *
 * Blocking.
 *
 */
 public static function socket_fetch($socket)
 {
 // read 4 byte length first
 $hdr = '';
 do {
 $read = socket_read($socket, 4 - strlen($hdr));
 if ($read === false or $read === '') {
 return null;
 }
 $hdr .= $read;
 } while (strlen($hdr) < 4);
 list($len) = array_values(unpack("N", $hdr));
 // read the full buffer
 $buffer = '';
 do {
 $read = socket_read($socket, $len - strlen($buffer));
 if ($read === false or $read == '') {
 return null;
 }
 $buffer .= $read;
 } while (strlen($buffer) < $len);
 $data = unserialize($buffer);
 return $data;
 }
}


$pool = new ProcessPool(16);
for ($i=0; $i<100; $i++) {
	$pool->apply(function($parent) use ($i) {
		echo "$i running...\n";
		mt_srand(); // must re-seed for each child
		$rand = mt_rand(1000000, 2000000);
		usleep($rand);
		return $i . ' : slept for ' . ($rand / 1000000) . ' seconds';
 });
}
while ($pool->getPending()) {
	try {
		$result = $pool->get(1); // timeout in 1 second
		echo "GOT: ", $result, "\n";
	} catch (ProcessPoolException $e) {
			// timeout
	}
}

当前进程（父进程）添加任务时交由其他进程（子进程）处理，不阻塞当前进程；其他进程运行结束后，通过socket返回结果给父进程。

当然进程间通信也可以通过文件（FIFO）或者类似的中介角色如异步消息队列，Mysql，Redis等等进行交互。

参考链接：
Semaphore, Shared Memory and IPC
深刻理解Linux进程间通信（IPC）
PHP IPC with Daemon Service using Message Queues, Shared Memory and Semaphores
关于PHP你可能不知道的－PHP的事件驱动化设计
 Store datasets directly in shared memory with PHP
PHP Dark Arts: Shared Memory Segments (IPC)
Something Like Threading – PHP Process Forking and Interprocess Communication
Mimicking Threading in PHP
基于System V Message queue的PHP消息队列封装
 PHP进程间通信System V消息队列
 PHP进程间通信System V信号量
 we Do web sockets on PHP from null. A part 2. IPC
proc_open

PHP 进程控制PCNTL

Thu, 18 Jun 2015 20:01:11 +0800

PHP的进程控制PCNTL支持实现了Unix方式的进程创建, 程序执行，信号处理以及进程的中断。 PCNTL只支持linux平台下cli模式，不支持Windows平台，也不能被应用在Web服务器环境（cgi等），当其被用于Web服务环境时可能会带来意外的结果。通常，PCNTL会结合另外一个扩展来使用POSIX来开发（也不支持Windows平台）。

pcntl_fork可以创建一个子进程，父进程和子进程都从fork的位置开始向下继续执行。创建成功时，父进程得到的返回值是子进程号而子进程得到的返回值是0；创建失败时，父进程得到返回值是-1，不会创建子进程，并触发一个PHP错误。

<?php

$pid = pcntl_fork();
//父进程和子进程都会执行下面代码
if ($pid == -1) {
 //错误处理：创建子进程失败时返回-1.
 die('could not fork');
} else if ($pid) {
 //父进程会得到子进程号，所以这里是父进程执行的逻辑
 pcntl_wait($status); //等待子进程中断，防止子进程成为僵尸进程。
} else {
 //子进程得到的$pid为0, 所以这里是子进程执行的逻辑。
}

在对应的父进程结束执行后，子进程就会变成孤儿进程，但之后会立即由init进程（进程ID为1）“收养”为其子进程。

某一子进程终止执行后，若其父进程未提前调用wait，则内核会持续保留子进程的退出状态等信息，以使父进程可以wait获取之[2] 。而因为在这种情况下，子进程虽已终止，但仍在消耗系统资源，所以其亦称僵尸进程。wait常于SIGCHLD信号的处理函数中调用。

为避免产生僵尸进程，一般采取的方式是：将父进程中对SIGCHLD信号的处理函数设为SIG_IGN（忽略信号）；fork两次并杀死一级子进程，令二级子进程成为孤儿进程而被init所“收养”、清理。

采用二次创建子进程的方式

<?php
	$pid = pcntl_fork();
	if($pid) {
		//创建成功，在父进程中执行
		echo "run in parent process";//pcntl_wait($status);
	} else if($pid == -1) {
		//创建失败，在父进程中处理
		echo "Couldn't create child process.";
	} else {
		//创建成功，在子进程中执行
		//再次创建子进程，即孙进程
		$pid = pcntl_fork();
		if($pid == 0) {
			//在孙进程中执行
			if(-1 == posix_setsid())
	 {
	 // 出错退出
	 exit("Setsid fail");
	 }
			echo "run in grandchild process";
		} else if($pid == -1) {
			echo "Couldn’t create child process.";
		} else {
			//在子进程中处理
			echo "run in child process.";//posix_kill(posix_getpid(), SIGUSR1);
			exit;
		}
	}

通常还会把子进程的pid收集以来，以便监控、回收，如workerman。二次创建子进程通常应用在PHP多进程，守护进程上，比如

<?php
defined('DEAMON_LOCK_FILE') ||
define('DEAMON_LOCK_FILE', 'run/deamon.pid');

if($_SERVER['argc'] >= 2 && $_SERVER['argv'][1] == 'kill')
{
	$fh = fopen(realpath(__DIR__) . '/' . DEAMON_LOCK_FILE, 'r');
	$pid = fread($fh, 8);

	if( $pid )
		posix_kill($pid, SIGTERM);

	exit;
}

global $DEAMON_LOCK_HANDLER;

function daemonize($signalHandler = false ) {
	global $DEAMON_LOCK_HANDLER;

	if( ! deamon_file_lock() ) {
		printf("Deamon is already running...\n");
		exit();
	}

	umask(0);

	$pid = pcntl_fork();

	if( $pid < 0 ) {
		printf("Can't fork\n");
		exit;
	}
	else if( $pid ) {
		exit;
	}

	$sid = posix_setsid();

	if( $sid < 0 ) {
		printf("Can't set session leader\n");
		exit;
	}

	deamon_bind_signals($signalHandler);

	$pid = pcntl_fork();

	if( $pid < 0 || $pid ) {
		exit;
	}

	ftruncate($DEAMON_LOCK_HANDLER, 0);
	fwrite($DEAMON_LOCK_HANDLER, posix_getpid());

	chdir('/');

	fclose( STDIN );
	fclose( STDOUT );
	fclose( STDERR );
}

function deamon_bind_signals($signalHandler = false) {
	$signalHandler = !$signalHandler ? "deamon_signal_handler" : $signalHandler;

	pcntl_signal(SIGTERM, $signalHandler);
	pcntl_signal(SIGHUP, $signalHandler);
	pcntl_signal(SIGUSR1, $signalHandler);
	pcntl_signal(SIGINT, $signalHandler);
}

function deamon_file_lock() {
	global $DEAMON_LOCK_HANDLER;
	$DEAMON_LOCK_HANDLER = fopen(realpath(__DIR__) . '/' . DEAMON_LOCK_FILE, 'c');

	if( ! $DEAMON_LOCK_HANDLER ) {
		printf("Can't open lock file\n");
		die();
	}
	if( !flock( $DEAMON_LOCK_HANDLER, LOCK_EX | LOCK_NB ) ) {
		return false;
	}
	return true;
}

function deamon_signal_handler($signo) {
	switch( $signo ) {
		case SIGTERM:
		case SIGHUP:
		case SIGUSR1:
			break;
	}
}

function sighandler($sig) {
 //do something
	if( $sig == SIGTERM ) {
		global $DEAMON_LOCK_HANDLER;
		fclose( $DEAMON_LOCK_HANDLER );
		exit;
	}
}
daemonize("sighandler");

while( 1 ) {
	pcntl_signal_dispatch();
	// do something here
	sleep( 1 );
}

可以通过ps -ef | grep php查看过程中的php进程产生情况，CentOS下安装PHP5.4的Posix扩展为：sudo yum instal php54w-process。

pcntl_signal可以注册信号处理函数，捕获信号后交给对应回调函数处理，实现信号通信，例如当某一子进程结束、中断或恢复执行时，内核会发送SIGCHLD信号予其父进程

<?php
declare(ticks = 1);

pcntl_signal(SIGCHLD, "signal_handler");

function signal_handler($signal) {
	switch($signal) {
		case SIGCHLD:
			while (pcntl_waitpid(0, $status) != -1) {
				$status = pcntl_wexitstatus($status);
				echo "Child $status completed\n";
			}

			exit;
	}
}

for ($i = 1; $i <= 5; ++$i) {
	$pid = pcntl_fork();

	if (!$pid) {
		sleep(1);
		print "In child $i\n";
		exit($i);
	}
}

while(1) {
	// parent does processing here...
}

pcntl_alarm创建一个计时器，在指定的秒数后向进程发送一个SIGALRM信号，结合pcntl_signal和pcntl_alarm可以做一个秒级的定时器（注意：pcntl_alarm是一次性消耗，需要再次设置）

declare(ticks = 1);

function signal_handler($signal) {
	//do your work here
	print "Caught SIGALRM\n";
	pcntl_alarm(3);
}

pcntl_signal(SIGALRM, "signal_handler", true);
pcntl_alarm(3);

while(1) {
}

利用PHP的进程控制便可以实现守护进程监控，如socke端口监听；多进程处理，如socke请求事件处理、任务并行、异步处理，提升PHP程序性能。

参考链接：
PHP 进程控制
 Getting into multiprocessing
Timing your signals
PHP Deamon
PHP中利用pcntl进行多进程并发控制
 PHP高级编程之守护进程
 PHP多进程编程一，PHP多进程编程二。
PHP的ticks机制
 PHP如何将进程作为守护进程
 Daemonising a PHP cli script on a posix system
异步毫秒定时器
 The declare() function and ticks
子进程

PHP 扩展开发之C

Thu, 11 Jun 2015 23:06:33 +0800

前面介绍了使用Zephir来开发PHP扩展，将PHP代码转为扩展，以提升性能，保护代码。目前更多的扩展都是采用C/C++开发的，最近在项目开发中，需要在这些已有的PHP扩展上开发，也只能用C/C++来开发了。

首先去PHP官网下载对应版本的PHP源码，解压并进入对应的目录。
创建扩展courages：

[vagrant@vagrant-centos64 ext]$ ./ext_skel
./ext_skel --extname=module [--proto=file] [--stubs=file] [--xml[=file]]
 [--skel=dir] [--full-xml] [--no-help]

 --extname=module module is the name of your extension
 --proto=file file contains prototypes of functions to create
 --stubs=file generate only function stubs in file
 --xml generate xml documentation to be added to phpdoc-cvs
 --skel=dir path to the skeleton directory
 --full-xml generate xml documentation for a self-contained extension
 (not yet implemented)
 --no-help don't try to be nice and create comments in the code
 and helper functions to test if the module compiled
[vagrant@vagrant-centos64 ext]$ ./ext_skel --extname=courages
Creating directory courages
Creating basic files: config.m4 config.w32 .svnignore courages.c php_courages.h CREDITS EXPERIMENTAL tests/001.phpt courages.php [done].

To use your new extension, you will have to execute the following steps:

1. $ cd ..
2. $ vi ext/courages/config.m4
3. $ ./buildconf
4. $ ./configure --[with|enable]-courages
5. $ make
6. $ ./sapi/cli/php -f ext/courages/courages.php
7. $ vi ext/courages/courages.c
8. $ make

Repeat steps 3-6 until you are satisfied with ext/courages/config.m4 and
step 6 confirms that your module is compiled into PHP. Then, start writing
code and repeat the last two steps as often as necessary.

这里的步骤说的很清楚，但这一次，步骤3被phpize代替了。

按部就班，编辑config.m4，PHP_ARG_WITH是采用动态库方式加载（PHP_ARG_ENABLE则是编译内核中，configure是–enable-extension使用），将

dnl PHP_ARG_WITH(courages, whether to enable courages support,
dnl Make sure that the comment is aligned:
dnl [ --with-courages Include courages support])

更改为

PHP_ARG_WITH(courages, for courages support,
[ --with-courages Include courages support])

然后，在php_courages.h增加函数声明

PHP_FUNCTION(confirm_courages_compiled);	/* For testing, remove later. */
PHP_FUNCTION(courages_helloworld);

接着，编辑courages.c，在function_entry中增加函数注册

const zend_function_entry courages_functions[] = {
	PHP_FE(confirm_courages_compiled,	NULL)		/* For testing, remove later. */
 	PHP_FE(courages_helloworld, NULL)
	PHP_FE_END	/* Must be the last line in courages_functions[] */
};

然后是courages_helloworld函数实现

PHP_FUNCTION(courages_helloworld)
{
 char *arg = NULL;
	int arg_len, len;
	char *strg;
	if (zend_parse_parameters(ZEND_NUM_ARGS() TSRMLS_CC, "s", &arg, &arg_len) == FAILURE) {
		return;
	}
	len = spprintf(&strg, 0, "Your input string: %s/n", arg);
	php_printf(strg);
	return SUCCESS;
}

最后就是编译

phpize
./configure
sudo make
sudo make install

sudo vim /etc/php.ini

在php.ini中增加扩展courages.so

[courages]
extension = courages.so

测试一下

[vagrant@vagrant-centos64 courages]$ php -m | grep 'courages'
courages

[vagrant@vagrant-centos64 courages]$ php courages.php
Functions available in the test extension:
confirm_courages_compiled
courages_helloworld

Your input string: hellow world
Congratulations! You have successfully modified ext/courages/config.m4. Module courages is now compiled into PHP.

到这里一个扩展的开发流程就结束了。

这里分享一些小技巧。
首先是如何在PHP扩展中获取PHP全局数组$_SERVER($_POST/GET)变量中的值：

static char *get_server_var_by_name(char *str){
	// This code makes sure $_SERVER has been initialized
	if (!zend_hash_exists(&EG(symbol_table), "_SERVER", 8)) {
		zend_auto_global* auto_global;
		if (zend_hash_find(CG(auto_globals), "_SERVER", 8, (void **)&auto_global) != FAILURE) {
			auto_global->armed = auto_global->auto_global_callback(auto_global->name, auto_global->name_len TSRMLS_CC);
		}
	}

	// This fetches $_SERVER['PHP_SELF']
	zval** arr;
	char* script_name;
	if (zend_hash_find(&EG(symbol_table), "_SERVER", 8, (void**)&arr) != FAILURE) {
		HashTable* ht = Z_ARRVAL_P(*arr);
		zval** val;
		if (zend_hash_find(ht, str, strlen(str)+1, (void**)&val) != FAILURE) {
			script_name = Z_STRVAL_PP(val);
		}
	}
	return script_name;
}

然后是如何在PHP扩展调用PHP函数:

/*调用无参数函数*/
static char *get_sapi_name(){
 zval *function_name;
 zval *retval;
	char *sapi_name;

 MAKE_STD_ZVAL(function_name);
 ZVAL_STRING(function_name , "php_sapi_name", 1);


 if (call_user_function_ex(EG(function_table), NULL, function_name, &retval, 0, NULL, 0, EG(active_symbol_table) TSRMLS_CC) != SUCCESS)
 {
 zend_error(E_ERROR, "Function call failed");
 }

 if (retval != NULL && Z_TYPE_P(retval) != IS_STRING) {
 convert_to_string(retval);
 sapi_name = Z_STRVAL_P(retval);
 }
 else{
	sapi_name = "cli";
 }

 return sapi_name;
}
/*调用有参数函数*/
static int _ck_dir(char *dir TSRMLS_DC)
{
 zval *function_name;
 zval *retval;
 zval *str;
 zval **param[1];

 MAKE_STD_ZVAL(function_name);
 ZVAL_STRING(function_name , "is_dir", 1);

 MAKE_STD_ZVAL(str);
 ZVAL_STRING(str, dir, 1);
 param[0] = &str;

 if (call_user_function_ex(EG(function_table), NULL, function_name, &retval, 1, param, 0, EG(active_symbol_table) TSRMLS_CC) != SUCCESS)
 {
 zend_error(E_ERROR, "Function call failed");
 }

 if (retval != NULL && zval_is_true(retval)) {
 return SUCCESS;
 }

 return FAILURE;
}

更高级的一些技巧可以参考《PHP扩展开发及内核应用》和阅读别人的扩展开发代码。

参考链接：
php扩展实战 —— 获得ip的来源地址
 如何编写一个PHP的C扩展
 [原创]快速开发一个PHP扩展
 用C/C++扩展你的PHP
Get the name of running script from a PHP extension
Build PHP extension and use call_user_function
Programming PHP
与 UNIX 构建系统交互: config.m4
call_user_function_ex() documentation
PHP Extensions Made Eldrich: PHP Variables
Convert Zval to char*
PHP扩展编写第一步：PHP和Zend介绍
 PHP扩展开发：简单类实现
 自己写PHP扩展之创建一个类[原创]
如何在扩展里调用PHP函数呢?

PHP队列开发之Beanstalk

Mon, 08 Jun 2015 17:02:01 +0800

Beanstalk是一个基于内存的（binlog持久化到硬盘），事件驱动（libevent），简单、快速的任务队列，支持大部分编程语言，将前台的任务转为后台异步处理，为web开发提供更高弹性。它可以支持多个server（客户端支持），一个任务只会被投递到一台server，一个任务只会被一个消费者获取（Reverse）。

相比RabbitMQ，Beanstalk作为一个任务队列，设计比较简单，支持以下特性：

优先级（priority），可以对任务进行优先处理（或降级），越小的值优先级越高（0～4,294,967,295），默认按先进先出（FIFO）
延迟执行（delay），一个任务创建完成并稍后再执行（比如等待主从同步）
超时重试（TTR），一个任务没有在指定时间内完成，将会被重新投递，由其他客户端处理。客户端也可以主动进行延时（touch)或重新入队（release）
隐藏（bury），一个任务执行失败了，可以先隐藏，隐藏的任务可以被重新激活（kick）；

一个任务如果没有被删除，那么它就可以被重新获取。下面是大多数任务的生命周期:

 put with delay release with delay
 ----------------> [DELAYED] <------------.
 | |
 | (time passes) |
 | |
 put v reserve | delete
 -----------------> [READY] ---------> [RESERVED] --------> *poof*
 ^ ^ | |
 | \ release | |
 | `-------------' |
 | |
 | kick |
 | |
 | bury |
 [BURIED] <---------------'
 |
 | delete
 `--------> *poof*

CentOS下安装Beanstalkd

sudo yum install beanstalkd
#启动beanstalk
sudo service beanstalkd start
#beanstalkd -l 192.168.33.14 -p 11300

PHP下面有个C扩展beanstalk库可以使用，基于libbeanstalkclient

git clone https://github.com/bergundy/libbeanstalkclient.git
cd libbeanstalkclient
mkdir m4
#开始编译
sudo ./autogen.sh

#创建libbeanstalkclient.conf，内容为/usr/lib
sudo vim /etc/ld.so.conf.d/libbeanstalkclient.conf
#使配置生效
sudo ldconfig

git clone https://github.com/nil-zhang/php-beanstalk.git
cd php-beanstalk
phpize
./configure
sudo make
sudo make install
sudo vim /etc/php.ini

编辑php.ini增加以下内容

[beanstalk]
extension = "beanstalk.so"

查看是否加载成功

php -m
#加载成功则重启php-fpm
sudo service php-fpm restart

PHP测试代码

<?php
 $bsc = new Beanstalk();

 $bsc->addserver("192.168.33.14", 11300);
 $bsc->addserver("192.168.33.12", 11300);

 $tubes = $bsc->list_tubes();
 print_r($tubes);

 for($i = 0; $i < 10; $i++)
 {
 $key = "key".$i;
 $value = "value".$i;

 $bsc->use($key);
 $bsc->put($key, $value);
 echo "$key\t$value\n";

 $bsc->watch($key);
 $job = $bsc->reserve($key);
 print_r($job);

 if($bsc->bury($job['id'], $key))
 echo "bury ok\n";
 else
 echo "bury failed\n";

 $bsc->kick(100, $key);
 if($bsc->delete($job['id'], $key))
 echo "delete ok\n";
 else
 echo "delete failed \n";

 $bsc->ignore($key);
 echo "\n";
 }

 echo "done\n";

注意由于Beanstalk服务端实现的比较简单，协议特性需要客户端支持，不同的实现可能效果不一样，这个客户端并没有实现延时发送（delay），超时重试（TTR）。需要这些特性建议使用这个库：PHP Beanstalkd。前台生产者创建任务：

<?php
include 'lib/Beanstalk.php';
$bean = Beanstalk::init();
$bean->addServer('192.168.33.14', 11300);
$bean->addServer('192.168.33.12', 11300);
$bean->useTube('my-tube');
$bean->put('Hello World!', 1024);
$bean->put('Hello World!2', 1023);
$bean->put(json_encode(array('what','how')), 1000, 1, 1);

后台消费者处理任务

include 'lib/Beanstalk.php';
$bean = Beanstalk::init();
$bean->addServer('192.168.33.12', 11300);
$bean->addServer('192.168.33.14', 11300);
$bean->watchTube('my-tube');

while (true)
{
	try
	{
		$job = $bean->reserve($timeout = 10);

		/* process job ... */
		var_dump($job);
		//var_dump($job->getMessage());

		$job->delete();
	}
	catch (BeanstalkException $e)
	{
		switch ($e->getCode())
		{
			case BeanstalkException::TIMED_OUT:
				echo "Timed out waiting for a job. Retrying in 1 second.";
				sleep(1);
				continue;
				break;
			default:
				throw $e;
				break;
		}
	}
}

注意：客户端获取任务（reverse）是阻塞的（blocking），直到超时；同一个队列（tube）的任务按FIFO进行处理（除非指定优先级）；任务内容长度不能超过65536；作为内存队列需要注意是否会内存超出，可以快速处理到Mysql。

使用Beanstalk任务队列提升PHP异步处理能力，降低程序耦合度，使前台更专注，后台处理耗时、扩展性任务（也可以使用其他语言开发），使得web架构更具扩展性。

参考链接：
Scalable Work Queues with Beanstalk
Beanstalk Protocol
Frequently Asked Questions for beanstalkd
Getting Started with Beanstalkd
Queue your work
Asynchronous Processing in Web Applications, Part 2: Developers Need to Understand Message Queues

PHP 7

Sat, 30 May 2015 18:18:49 +0800

最近学习了PHP 7介绍的视频，看到了PHP每一天都在变好。PHP 将会带来许多新的特性：

抽象语法树，在编译opcode时能够做更多的优化
INT64提升，支持大于2GB的字符串/文件上传
标量类型声明，可以声明参数类型
返回值声明，可以声明返回值类型
新操作符，<=>操作符，大于返回1，等于返回0，小于返回-1
统一变量语法；
引擎异常改进，函数不存在的fata error转为异常可以捕获处理

等等。
除了新特性外，PHP 7使用了新引擎PHP NG，性能得到了巨大的提升（与HHVM对比）。
这里的性能优化比较有意思，非常值得借鉴学习。为什么要进行重构：

PHP 5.4之后php引擎的性能提升已经不大，Zend VM已经高度优化
PHP JIT(Just In Time Compiler)项目在benchmakr上性能提升巨大（8倍），但是在实际业务提升不大（离开实际业务谈benchmark都是耍流氓）
分析wordpress项目发现瓶颈并不在Zend VM上面，21% CPU时间花在了内存管理，12%时间花在了hashTable操作，30% CPU时间花在了内部调用，25% CUP时间花在了VM

首先应当分析实际业务的性能消耗占比，确定需要优化的地方。JIT仅仅优化了Zend VM，提升是有限的，需要对其他地方（内存操作，HashTable，函数调用）也进行优化，所以才进行的重构。

PHP NG在很多方面做了优化：

标量类型不做引用计数，zval分配在堆上，增加Referance类型
增加类型zend string，将字符串与值连续分配，避免CPU cache miss，避免二次读内存
原本的HashTable变为zend array，数组值为zval，内存一次分配，提升data locality，避免CPU cache miss
函数调用优化，减少重复入栈
参数解析优化，将不确定转化为确定
zend_qsort排序优化
内存管理优化，减少CPU cache miss
常用函数优化
字符串拼接优化，减少内存访问次数

通过这一系列的优化，改进了PHP的内存操作，改进了HashTable操作，改进了内部函数调用，降低了CPU 时间消耗，这时候再来做PHP JIT优化就有意义。PHP 7接下来仍然会继续优化，迁移常用扩展。
许多优化都是微小的，但是积累起来后却是巨大，特别是对于微博这样的网站，1%的性能提升都意义非凡。
优化是具有专向性的，对A场景的优化可能并不适合B场景，所以需要分析实际的业务中的瓶颈和调用频次，权衡优化的方向。
现在距离10月份发布已经不远了，大家也可以检查自己项目是否兼容PHP 7，性能提升多少。

参考链接：
PHP7 – New engine for good old train
PHP7 VS HHVM (WordPress)
PHPNG (next generation)
What to Expect When You’re Expecting: PHP 7, Part 1
PHP 7 Feature Freeze
HHVM
HHVM 是如何提升 PHP 性能的？
PHP Fights HHVM and Zephir with PHPNG
rlerdorf/php7dev
Building and testing the upcoming PHP7
Install PHP 7 on Ubuntu 14.04

PHP yield应用

Mon, 25 May 2015 18:48:33 +0800

PHP 5.5开始新增了神奇的关键字yield，能够从生成器（generators）中返回数据。yield有点像普通函数中的关键字return，但是不会彻底停止函数的执行（普通函数一旦return便不执行了），可以暂停循环并返回值，每一次调用便从中断处继续迭代。生成器可以用于替代循环迭代，每一次调用返回一个生成器对象（generator）。

yield能够延迟执行，可以用于对大量数据进行迭代而不用预先在内存中生成数组。例如动态生成一个大数组：

<?php
function xrange($start, $end, $step = 1) {
 for ($i = $start; $i <= $end; $i += $step) {
 yield $i;
 }
}

foreach (xrange(1, 1000000) as $num) {
 echo $num, "\n";
}

$range = xrange(1, 1000000);
var_dump($range); // object(Generator)#1
var_dump($range instanceof Iterator); // bool(true)

利用yield简便、高效的生成fibonacci数列而不是循环或递归

<?php
function fibonacci($count) {
 $prev = 0;
 $current = 1;

 for ($i = 0; $i < $count; ++$i) {
 yield $prev;
 $next = $prev + $current;
 $prev = $current;
 $current = $next;
 }
}

foreach (fibonacci(48) as $i => $value) {
 echo $i , ' -> ' , $value, PHP_EOL;
}

利用yield来循环读取文件，而不需要像file函数那样一次性加载进来，节省内存

<?php
function file_lines($filename) {
 $file = fopen($filename, 'r'); 
 while (($line = fgets($file)) !== false) {
 yield $line; 
 } 
 fclose($file); 
}
 
foreach (file_lines('somefile') as $line) {
 // do some work here
}

yield除了能够返回值，用作变量时还可以接收值。

<?php
function logger($fileName) {
 $fileHandle = fopen($fileName, 'a');
 while (true) {
 fwrite($fileHandle, yield . "\n");
 }
}

$logger = logger(__DIR__ . '/log');
$logger->send('Foo');
$logger->send('Bar');

由于yield具有中断执行后再次调用又可以从中断处执行，外界又可以通过生成器对象（generator）的send方法进行交互，可以用于协程（coroutine），作多任务协作的流程控制。这里有个例子：

<?php
class Task {
 protected $taskId;
 protected $coroutine;
 protected $sendValue = null;
 protected $beforeFirstYield = true;

 public function __construct($taskId, Generator $coroutine) {
 $this->taskId = $taskId;
 $this->coroutine = $coroutine;
 }

 public function getTaskId() {
 return $this->taskId;
 }

 public function setSendValue($sendValue) {
 $this->sendValue = $sendValue;
 }

 public function run() {
 if ($this->beforeFirstYield) {
 $this->beforeFirstYield = false;
 return $this->coroutine->current();
 } else {
 $retval = $this->coroutine->send($this->sendValue);
 $this->sendValue = null;
 return $retval;
 }
 }

 public function isFinished() {
 return !$this->coroutine->valid();
 }
}

class Scheduler {
 protected $maxTaskId = 0;
 protected $taskMap = []; // taskId => task
 protected $taskQueue;

 public function __construct() {
 $this->taskQueue = new SplQueue();
 }

 public function newTask(Generator $coroutine) {
 $tid = ++$this->maxTaskId;
 $task = new Task($tid, $coroutine);
 $this->taskMap[$tid] = $task;
 $this->schedule($task);
 return $tid;
 }

 public function schedule(Task $task) {
 $this->taskQueue->enqueue($task);
 }

 public function run() {
 while (!$this->taskQueue->isEmpty()) {
 $task = $this->taskQueue->dequeue();
 $task->run();

 if ($task->isFinished()) {
 unset($this->taskMap[$task->getTaskId()]);
 } else {
 $this->schedule($task);
 }
 }
 }
}
function task1() {
 for ($i = 1; $i <= 10; ++$i) {
 echo "This is task 1 iteration $i.\n";
 yield;
 }
}

function task2() {
 for ($i = 1; $i <= 5; ++$i) {
 echo "This is task 2 iteration $i.\n";
 yield;
 }
}

$scheduler = new Scheduler;

$scheduler->newTask(task1());
$scheduler->newTask(task2());

$scheduler->run();

有些任务是需要交互进行的，如socket的监听和回复；有些任务异步执行又需要回调，如A执行不阻塞程序，但B执行又取决于A是否执行完毕。这些都可以使用yield来进行封装，达到流程控制的目的。

参考链接：
Generators overview
What does yield mean in PHP?
What is the difference between a generator and an array?
Cooperative multitasking using coroutines (in PHP!)
What Generators Can Do For You
Generators and Coroutines in PHP
Generators in PHP
协程与yield
http://www.hitoy.org/coroutine-and-yield.html
Co-operative PHP Multitasking
Generator (computer programming)
异步处理在分布式系统中的优化作用

PHP异步IO

Sat, 16 May 2015 12:08:24 +0800

为了能更快的响应请求，耗时任务的执行不能阻塞当前脚本执行，而是放在最后执行，比如fastcgi_finsh_request。现在又多了一个方法，PHP也可以进行异步IO处理了。

PHP扩展eio是基于C语言的libeio库中开发的异步IO处理，可用于异步文件读写，自定义异步任务执行。Nodejs使用的libuv库封装了libeio和libev（libev也有对应的PHP扩展：ev），前者提供异步IO，后者提供高性能的事件驱动，进行高性能的请求的处理。另外，PHP异步多线程框架Swoole也提供了异步IO处理的能力。

在CentOS下编译安装PHP eio扩展:

wget https://pecl.php.net/get/eio-1.2.5.tgz
tar -zxvf eio-1.2.5.tzg
cd eio-1.2.5
phpize
./configure
sudo make
sudo make install

更改php.ini添加扩展

[eio]
extension=eio.so

查看是否安装成功

注意：eio扩展必须在socket扩展之后加载，否则会提示’ undefined symbol: php_sockets_le_socket in Unknown on line 0’。

PHP eio支持libeio的所有操作，当调用eio_poll/eio_event_loop时，触发IO处理，处理完成进行回调；未主动调用eio_poll/eio_event_loop则不阻塞当前程序执行，等待脚本执行结束后在提交异步处理。使用eio_custom和eio_nop可以自定义异步任务调用。

以下以写文件进行比较，示例一是常规的文件写操作：

$strBasePath = dirname(__FILE__);
$strFileName = $strBasePath.'/file.log';
$strContent = 'something to log ...';

$nStart = microtime(true);
$rFile = fopen($strFileName ,'a+');
for($i=0;$i<1000;$i++){
	$nLength = fwrite($rFile, $strContent);
}
fclose($rFile);
echo "done\r\n";

register_shutdown_function(function(){
	global $nStart;
	echo microtime(true) - $nStart;
	echo "\r\n";
});

示例二是PHP eio的异步写操作：

$strBasePath = dirname(__FILE__);
$strFileName = $strBasePath.'/file.log';
$strContent = 'something to log ...';
$nLenth = strlen($strContent);

function eioOpenCallBack($p_mxData ,$p_mxResult){
	//echo "Open.\r\n";
	if ($p_mxResult > 0) {
		eio_fstat($p_mxResult, EIO_PRI_DEFAULT, "eioStatCallBack", $p_mxResult);
	}
}
function eioStatCallBack($p_mxData ,$p_mxResult){
	global $strContent ,$nLenth;
	//echo "Stat.\r\n";
	if ($p_mxResult > 0) {
		eio_write($p_mxData, $strContent, $nLenth, $p_mxResult['size'], EIO_PRI_DEFAULT, "eioWriteCallBack", $p_mxData);
	}
}
function eioWriteCallBack($p_mxData ,$p_mxResult){
	//echo "Write.\r\n";
	if ($p_mxResult > 0) {
		eio_close($p_mxData, EIO_PRI_DEFAULT, "eioCloseCallBack", $p_mxData);
	}
}
function eioCloseCallBack($p_mxData ,$p_mxResult){
	//echo "Close.\r\n";
	if($p_mxResult == 0){
		//echo "End\r\n";
	}
}

$nStart = microtime(true);
for($i=0;$i<1000;$i++){
	eio_open($strFileName, EIO_O_CREAT | EIO_O_RDWR, EIO_S_IRUSR | EIO_S_IWUSR,EIO_PRI_DEFAULT, "eioOpenCallBack", $strFileName);
	
	//echo "Begin\r\n";
	
	//eio_event_loop();
}
echo "done\r\n";
register_shutdown_function(function(){
	global $nStart;
	echo microtime(true) - $nStart;
	echo "\r\n";
});

示例三是swoole扩展的异步写操作

$strBasePath = dirname(__FILE__);
$strFileName = $strBasePath.'/file.log';
$strContent = 'something to log ...';

$nStart = microtime(true);
for($i=0;$i<1000;$i++){
	swoole_async_write($strFileName ,$strContent);
}
echo "done\r\n";
register_shutdown_function(function(){
	global $nStart;
	echo microtime(true) - $nStart;
	echo "\r\n";
});

对比情况

可以看出，eio和swoole提交异步IO处理后，处理非常快，并未阻塞当前进程运行；eio更像是只花了循环的时间。swoole只能运行于CLI模式，使用了Linux Native AIO，处理非常快，写法也比较简单。eio可以运行于CGI和CLI模式，提交异步处理后会创建至多4个线程（eio_nthreads）进行处理，处理完成后仍然会返回主线程，所以PHP脚本执行结束后，主线程仍然会在在那里等待。eio的异步处理通过回调进行保证，写法上更加复杂。这就需要对异步回调进行包装，提供类似同步的代码，参见协程。

参考链接：
PHP异步执行长时间任务
 PHP的生命周期
 libeio源码学习
 PHP新增eio扩展，可以写类似node.js一样的异步IO了
 深入浅出Node.js（五）：初探Node.js的异步I/O实现
 异步AIO的研究
 关于C10K、异步回调、协程、同步阻塞
 协程
 linux AIO （异步IO）那点事儿
 什么程序设计语言机制是处理异步 IO 最恰当的抽象？
nodejs异步IO的实现
 向facebook学习，通过协程实现mysql查询的异步化
 Python 中的进程、线程、协程、同步、异步、回调
 一个“蝇量级” C 语言协程库

CentOS上安装Nginx+PHP-FPM

Sun, 10 May 2015 11:06:08 +0800

Nginx是一个高性能、轻量级的HTTP服务器，占用内存少，稳定性高，也可做为反向代理服务器。Nginx采用事件驱动，在Linux操作系统下，Nginx使用epoll事件模型，充分使用异步逻辑，削减了上下文调度开销，并发服务能力更强。

PHP-FPM是PHP的FastCGI 进程管理器，具有一些高级特性，将PHP进程管理与Web服务器分开，可以分开部署在不同机器上，监听不同的端口和使用不同的 php.ini 配置文件。

PHP-FPM特性之一：fastcgi_finish_request能够在请求完成和刷新数据后，继续在后台执行耗时的工作（录入视频转换、统计处理等），达到分离执行后台任务而又不阻塞PHP快速响应，可作为PHP性能优化点。

PHP-FPM另一特性：可以记录请求当中慢响应的日志，类似Mysql满日志，包括文件名，函数名，行号等，可用于分析PHP的性能问题。

在Apache + mod_php下，每一个请求，Apache便会启动一个进程并加载php解释器来处理。在Nginx + PHP-FPM下，Nginx将PHP请求和环境变量通过socket传递给FastCGI进程；将静态资源请求则缓存到本地并返回。FastCGI 进程管理器采用固定静态（或动态）的子进程来处理请求，占用内存少，具有更好的扩展能力。

在CentOs 6.4上安装Nginx和PHP-FPM：

yum search nginx
sudo yum install nginx
sudo chkconfig --levels 235 nginx on
sudo service nginx start

yum search fpm
sudo yum install php54-fpm

编辑php.ini

sudo vim /etc/php.ini

; cgi.fix_pathinfo provides *real* PATH_INFO/PATH_TRANSLATED support for CGI. PHP's
; previous behaviour was to set PATH_TRANSLATED to SCRIPT_FILENAME, and to not grok
; what PATH_INFO is. For more information on PATH_INFO, see the cgi specs. Setting
; this to 1 will cause PHP CGI to fix its paths to conform to the spec. A setting
; of zero causes PHP to behave as before. Default is 1. You should fix your scripts
; to use SCRIPT_FILENAME rather than PATH_TRANSLATED.
; http://www.php.net/manual/en/ini.core.php#ini.cgi.fix-pathinfo
cgi.fix_pathinfo=0

启动PHP-FPM

chkconfig --levels 235 php-fpm on
service php-fpm start

更改Nginx worker_processes配置

sudo vim /etc/nginx/nginx.conf

worker_processes 4;

更改Nginx 配置以便处理php请求

sudo vim /etc/nginx/conf.d/default.conf

server {
 listen 80 default_server;
 server_name _;

 #charset koi8-r;

 #access_log logs/host.access.log main;

 # Load configuration files for the default server block.
 include /etc/nginx/default.d/*.conf;

 location / {
 root /usr/share/nginx/html;
 index index.html index.htm;
 }

 error_page 404 /404.html;
 location = /404.html {
 root /usr/share/nginx/html;
 }

 # redirect server error pages to the static page /50x.html
 #
 error_page 500 502 503 504 /50x.html;
 location = /50x.html {
 root /usr/share/nginx/html;
 }

 # proxy the PHP scripts to Apache listening on 127.0.0.1:80
 #
 #location ~ \.php$ {
 # proxy_pass http://127.0.0.1;
 #}

 # pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000
 #
 location ~ \.php$ {
 root /usr/share/nginx/html;
 #fastcgi_pass 127.0.0.1:9000;
 fastcgi_pass unix:/tmp/php5-fpm.sock;
 fastcgi_index index.php;
 fastcgi_param SCRIPT_FILENAME /scripts$fastcgi_script_name;
 include fastcgi.conf;
 }

 # deny access to .htaccess files, if Apache's document root
 # concurs with nginx's one
 #
 #location ~ /\.ht {
 # deny all;
 #}
}

编辑PHP-FPM

sudo vim /etc/php-fpm.d/www.conf

; List of ipv4 addresses of FastCGI clients which are allowed to connect.
; Equivalent to the FCGI_WEB_SERVER_ADDRS environment variable in the original
; PHP FCGI (5.2.2+). Makes sense only with a tcp listening socket. Each address
; must be separated by a comma. If this value is left blank, connections will be
; accepted from any ip address.
; Default Value: any
;listen.allowed_clients = 127.0.0.1
listen = /tmp/php5-fpm.sock

; Set permissions for unix socket, if one is used. In Linux, read/write
; permissions must be set in order to allow connections from a web server. Many
; BSD-derived systems allow connections regardless of permissions.
; Default Values: user and group are set as the running user
; mode is set to 0660
listen.owner = nginx
listen.group = nginx
listen.mode = 0660

; Unix user/group of processes
; Note: The user is mandatory. If the group is not set, the default user's group
;	will be used.
; RPM: apache Choosed to be able to access some dir as httpd
user = nginx
; RPM: Keep a group allowed to write in log dir.
group = nginx

重启PHP-FPM

sudo service php-fpm restart

创建PHP页面

sudo vim /usr/share/nginx/html/info.php

<?php
phpinfo();

重启Nginx

sudo service nginx restart

测试PHP是否正确处理。

参考链接：
Nginx and PHP-FPM Configuration and Optimizing Tips and Tricks
nginx
FastCGI 进程管理器（FPM）
Apache + mod_php compared to Nginx + php-fpm
Which PHP mode? Apache vs CGI vs FastCGI
PHP: What are the advantages of FastCGI over mod_php?
What are the advantages of using PHP-FPM + Nginx over Apache and mod_php?
How To Install Nginx With PHP5 (And PHP-FPM) And MySQL Support On CentOS 6.5
How To Install Linux, nginx, MySQL, PHP (LEMP) stack on CentOS 6
Linux上配置Nginx+PHP5(FastCGI)
使用fastcgi_finish_request提高页面响应速度
 善用php-fpm的慢执行日志slow log，分析php性能问题
 swoole之代码热更新实现

PHP 扩展开发之Zephir

Wed, 06 May 2015 21:26:24 +0800

最近对代码进行性能分析后，发现两个耗时的地方：自动加载文件数太多；参数验证函数调用超过1000次。这也是许多php语言框架面临的问题，所以发展出来诸如Yaf，Swoole，Phalcon这些C语言扩展框架，或者类似workerman，reactphp，phpdaemon这些一次加载的框架。总之减少加载文件，使用内置函数，减少损耗，以提升性能。
相比之下，PHP扩展的框架性能还是要比PHP语言框架还要好不少。以往PHP扩展的开发方式就是C/C++，SWIG，现在还多了一个选择：zephir，从Phalcon发展出来的项目，采用类似PHP语法的中间语言，将代码编译为高性能的C扩展。zephir支持面向对象编程，变量类型除了类似PHP的动态类型，还支持静态类型（有点像FackBook的hack了）,而且可以调用php内置或其他C扩展的函数。zephir编译流程如下

整个过程是zephir和底层编译器自动进行编译优化的，当然也可以自己调整以获得更好的性能。
在ubuntu下的安装如官方教程即可，在centos下的安装如下：

su -c 'yum update'
sudo yum install -y wget 
sudo yum install -y vim 
sudo yum install -y libtool
sudo yum install -y gcc 
sudo yum install -y make 
sudo yum install -y re2c

sudo rpm -Uvh https://mirror.webtatic.com/yum/el6/latest.rpm
sudo yum install -y php55w 
sudo yum install -y php55w-devel 
sudo yum install -y php55w-json

sudo yum install -y git-core 

git clone https://github.com/json-c/json-c.git
cd json-c
./autogen.sh
./configure
make
make install

git clone https://github.com/phalcon/zephir
cd zephir
./install -c
zephir help

安装完成如下：

按照教程创建示例：

zephir init utils
cd utils
sudo vim utils/greeting.zep

greeting.zep代码如下：

namespace Utils;

class Greeting
{

 public static function say()
 {
 echo "hello world!";
 }

}

编译安装

$ zephir build

注意，我在php5.3下面这么编译都不行，在php5.5/php5.4的版本基本没有碰到什么问题。
然后更改php.ini：

sudo vim /etc/php.ini

在php.ini中加上以下内容

;zephir编译的扩展需要依赖json.so，需要提前加载
[json]
;如果php.ini中没有则加上，有则去掉;
extension=json.so

[utils]
extension=utils.so

查看php可用扩展

php -i

注意：如果提示’undefined symbol: php_json_decode_ex in Unknown on line 0’，则是php json扩展未加载，在php.ini打开就行了。加载了json.so后又提示’PHP Warning: Module ‘json’ already loaded’，则是已经在其他地方加载了该扩展，找出并注释掉。我的是在php.d下面的json.ini里面：

sudo vim /etc/php.d/json.ini

[json]
;已经在php.ini中加载了，为避免重复加载注释掉
;extension = json

加载成功后的效果：

创建一个php脚本来试一下

cd ~/utils
sudo vim greeting.php

greeting.php代码如下：

<?php

echo Utils\Greeting::say(), "\n";

保存并运行：

至此你的zephir编译的扩展已经成功了，赶紧翻译你的PHP代码去吧。
参考这篇教程，计算斐波拉契数列在我的环境下是这样的：

性能提升还是挺明显的，而且在静态类型（强类型）下面还能比动态类型再提升。

参考链接：
开源的 PHP 轻量级框架 iphp
自己写PHP扩展之创建一个类
 快速开发一个PHP扩展
 CentOS 5 or CentOS 6 Upgrade PHP to PHP 5.4 or PHP 5.5
PHP 開發者應該將 Zephir 列為重要觀察的專案
 Hack: a new programming language for HHVM
PHP-CPP
Getting Started with PHP Extension Development via Zephir
Quick Tip: Install Zephir and Phalcon 2 on Vagrant

PHP 输出控制

Sat, 02 May 2015 16:33:45 +0800

最近提交完代码后，发现Firephp在其他人的环境下又出问题了，提示：’Headers already sent　in …’，与上一次Nginx 缓冲区超出不太一样。查看Nginx错误日志，并没有发现错误，并且有同学发现Apache下面也会，怀疑是PHP的问题。但是我用的也是Apache，并不会出现问题！偶然发现有一个页面不会出现错误提示，发现该页面输出内容大小在1KB左右，怀疑是PHP的输出缓冲区超出时，自动发送缓冲区数据，导致后续Firephp通过Http header发送调试信息失败了并结束php脚本执行。

注释掉模板渲染后的输出语句，不再提示该错误，确定是php的缓冲输出有问题。比较不同环境下的php.ini，发现output_buffering的值不太一样，我的值是On，而其他人则是默认值4096。

; Output buffering is a mechanism for controlling how much output data
; (excluding headers and cookies) PHP should keep internally before pushing that
; data to the client. If your application's output exceeds this setting, PHP
; will send that data in chunks of roughly the size you specify.
; Turning on this setting and managing its maximum buffer size can yield some
; interesting side-effects depending on your application and web server.
; You may be able to send headers and cookies after you've already sent output
; through print or echo. You also may see performance benefits if your server is
; emitting less packets due to buffered output versus PHP streaming the output
; as it gets it. On production servers, 4096 bytes is a good setting for performance
; reasons.
; Note: Output buffering can also be controlled via Output Buffering Control
; functions.
; Possible Values:
; On = Enabled and buffer is unlimited. (Use with caution)
; Off = Disabled
; Integer = Enables the buffer and sets its maximum size in bytes.
; Note: This directive is hardcoded to Off for the CLI SAPI
; Default Value: Off
; Development Value: 4096
; Production Value: 4096
; http://php.net/output-buffering
output_buffering = On

根据上面的解释，当output_buffering为On或者4096时，在每次请求里面，当我们使用echo或print的时候，php实际上并不立即输出而是先保存到缓冲区里面去，当达到一定大小（如4KB）或脚本执行结束的时候，再向浏览器输出缓冲区内容并清空。

Http协议传输内容时，先传输响应头，一旦内容开始输出后，响应头不再可以改变。当output_buffering为On时，PHP会将所有的输出缓存起来，等待请求结束时在向浏览器输出内容，故Firephp在最后时刻更改Http响应头仍然不会存在问题，因为此时仍输出任何内容；当output_buffering为4096（或其他固定值）时，每次php缓冲区一满便会向客户端输出，此时已输出内容，响应头不再可以改变，若尝试设置header便会提示：’Headers already sent…’。

做好Webserver的缓冲输出控制，能够带来更好的用户体验，如Facebook、新浪的Bigpipe。

本次的问题排查发现，由于大部分页面的调试信息较多，导致Http响应头较大（远大于4KB，有的达到36KB），所以触发了自动输出机制。解决办法：更改output_buffering为On；在代码里面手动ob_start()；更改output_buffering为更大值；减少日志调试信息。

参考链接：
PHP Output Buffering Control
PHP Streaming and Output Buffering Explained
What is output buffering?
php flush
加速PHP的ECHO
BigPipe: Pipelining web pages for high performance
新浪微博的BigPipe后端实现技术分享
 BigPipe学习研究
 分块传输编码

PHP性能分析之xhprof

Thu, 30 Apr 2015 21:37:08 +0800

xdebug讲到了使用xdebug对php程序进行性能分析，这里再介绍另外一个工具：xhprof，facebook出品。xhprof是一个函数级别的分层性能报告工具，包括调用次数，阻塞时间，CPU时间和内存使用情况。
首先，下载并安装xhprof扩展：

tar -zxvf xhprof-0.9.4.tgz 
cd xhprof-0.9.4
/usr/local/php/bin/phpize
./configure --with-php-config=/usr/local/php/bin/php-config
make
make install
#拷贝扩展
cp /usr/local/php/lib/php/extensions/no-debug-non-zts-20100525/xhprof.so /usr/local/php/lib/php/extensions/

mkdir -p /tmp/xhprof
chmod 755 /tmp/xhprof
chown www:www /tmp/xhprof

xhprof自带的界面工具比较简单，这里推荐使用另外一个UI：XHProf.io。下载解压到web目录下面，重命名/xhprof/includes/目录下的config.inc.sample.php为/xhprof/includes/config.inc.php，并更改文件：

return array(
	'url_base' => 'http://192.168.84.2:8502/', //本地的XHProf.io站点
	'url_static' => null, // When undefined, it defaults to $config['url_base'] . 'public/'. This should be absolute URL.
	'pdo' => new PDO('mysql:dbname=test;host=192.168.84.3;charset=utf8', 'root', 'root') //本地的数据库配置，只支持PDO
);

在test数据库上运行/xhprof/setup/database.sql，创建性能检测相关的表结构。
由于XHProf会去github上检测版本，国内访问较慢，建议不要检测。更改/xhprof/includes/bootstrap.inc.php如下：

	curl_setopt_array($ch, array(
		CURLOPT_URL => 'http://192.168.84.2:8502/version.json', //本地的XHProf.io站点下面
		CURLOPT_HEADER => FALSE,
		CURLOPT_RETURNTRANSFER => TRUE
	));

然后更改php.ini配置，在最后加上以下内容：

;xhprof
[xhprof]
extension=xhprof.so;
xhprof.output_dir=/tmp/xhprof

; Automatically add files before PHP document.
; XHProf.io站点下的prepend.php
auto_prepend_file = /usr/local/nginx/xhprof/inc/prepend.php

; Automatically add files after PHP document.
; XHProf.io站点下的append.php
auto_append_file = /usr/local/nginx/xhprof/inc/append.php

auto_prepend_file为每次php脚本运行前，自动加载并运行的文件；auto_append_file为每次php脚本运行后，自动加载并运行的文件。这样可以省去每次在需要检测的php文件里面写xhprof_enable/xhprof_disable等调用代码，不必更改原有代码（无侵入）。
注意：如果你访问了php页面却收集不到情况，可能是你的代码里面写了exit/die终止了程序执行，导致auto_append_file未加载执行，去掉exit/die就可以了。另外，如果提示：Unexpected system behaviour，可能是数据库连接不上，PDO、mbstring扩展未安装，响应数据里面带有错误信息的等等。

重启php-fpm：

#重启php-fpm
kill -USR2 `cat /usr/local/php/var/run/php-fpm.pid`

访问该服务器上php页面，即可以在http://192.168.84.2:8502/看到检测情况。

参数说明
Inclusive Time 包括子函数所有执行时间。
Exclusive Time/Self Time 函数执行本身花费的时间，不包括子树执行时间。
Wall Time 花去了的时间或挂钟时间。
CPU Time 用户耗的时间+内核耗的时间
Inclusive CPU 包括子函数一起所占用的CPU
Exclusive CPU 函数自身所占用的CPU

参考链接：
给CentOS6.3 + PHP5.3 安装PHP性能测试工具 XHProf-0.9.2
xhprof.io/INSTALL.md
php auto_append_file

PHP性能分析之Xdebug

Tue, 28 Apr 2015 21:59:34 +0800

最近一个PHP程序性能跑的不行，于是又想起来Xdebug这个扩展，并记录一下。
首先去Xdebug官网下载源码包，注意下载对应版本的源码包，我的环境是PHP 5.4.9，安装了最新的Xdebug 2.3.2后，不能使用WinCacheGrind和WebGrind进行分析，又重新下载了旧的Xdebug 2.2.0。
然后在Centos下面编译安装

tar -zxvf xdebug-2.2.0.tgz
cd xdebug-2.2.0
/usr/local/php/bin/phpize
./configure --enable-xdebug --with-php-config=/usr/local/php/bin/php-config
make
make install

编译安装完成后是这样子的

将xdebug扩展复制到php的扩展目录下，并创建/tmp/xdebug文件。

cp /usr/local/php/lib/php/extensions/no-debug-non-zts-20100525/xdebug.so /usr/local/php/lib/php/extensions/
mkdir -p /tmp/xdebug
chmod 755 /tmp/xdebug
chown www:www /tmp/xdebug

并更改php.ini如下

; XDEBUG Extension

zend_extension = "/usr/local/php/lib/php/extensions/xdebug.so"
[xdebug]
xdebug.profiler_enable = on
xdebug.trace_output_dir="/tmp/xdebug" 
xdebug.profiler_output_dir="/tmp/xdebug" 
xdebug.profiler_output_name = cachegrind.out.%t.%p

然后需要重启php-fpm，使配置生效。

这个环境下并没有php-fpm的pid文件，每次重启需要查找进程pid，于是先生成下。

#查找进程id
ps aux | grep php-fpm 
#结束进程
kill 6369

编辑/usr/local/php/etc/php-fpm.conf如下，去掉注释

[global]
; Pid file
; Note: the default prefix is /usr/local/php/var
; Default Value: none
pid = run/php-fpm.pid

然后启动php-fpm

#启动php-fpm
/usr/local/php/sbin/php-fpm -c /usr/local/php/lib/php.ini -y /usr/local/php/etc/php-fpm.conf

以后就可以方便的重启php-fpm了。

 
#关闭php-fpm
kill -INT `cat /usr/local/php/var/run/php-fpm.pid`
 
#重启php-fpm
kill -USR2 `cat /usr/local/php/var/run/php-fpm.pid`

重启完成后，查看phpinfo，Xdebug是否加载成功。

运行php程序就会在/tmp/xdebug目录下，生成对应的profile文件（cachegrind.out.%t.%p），这里可以使用WinCacheGrind或WebGrind进行分析。
Windows下面使用WinCacheGrind进行分析，可以查看PHP执行流程，函数调用次数、耗时。双击列表可以进入详细调用情况。

WebGrind程序部署在安装Xdebug的服务器上即可，会显示已经生成的profile文件，下拉选择进行分析。也可以查看PHP执行流程，函数调用次数、耗时。点击小三角会展开调用栈，后面跟着源码位置，可直接定位查看代码。

参考链接：
前端开发中的性能那点事（一）巧用xdebug
利用Xdebug分析PHP程序，找出性能瓶颈[原创]
php-fpm – 启动参数及重要配置详解

使用PC控制android手机

Tue, 31 Mar 2015 21:03:25 +0800

跑步的时候不小心把手机屏幕摔裂了，操作不了。在等待新手机的时候，又没有其他手机可以用。于是想用电脑来控制手机，这里推荐一个软件Total Control，可以在用鼠标代替手指操作手机，也可以用于手机截屏、演示等。

首先到官网下载Total Control 最新的PC版软件。安装时会提示下载Java环境，安装完Java后，可以开始安装Total Control了。

Total Control通过USB连接手机需要驱动，这里推荐一个懒人方法：通过豌豆荚自动识别你的手机并安装驱动，然后Total Control也可以连接手机了，会自动安装Total Control手机端，然后就可以开始玩了。

更新：发现另外一个PC控制手机的软件Teamviewer QuickSupport，通过网络来控制。（需root，不需驱动）

一些截图：

参考链接：
PC端控制android手机
 Total Control-帮助你电脑控制手机

PHP unserialize出错

Sun, 12 Oct 2014 17:03:15 +0800

最近碰到一个问题，在使用PHP的unserialize函数反序列化服务端传递过来的参数时报错了：unserialize() [function.unserialize]: Error at offset 180 of 181 bytes。最后在Stackoverflow上找到了一个非常好的答案：这是由于序列化时字符串长度算错了导致的。作者还写了个校正长度的正则表达式，提供了一个用于计算序列化是否出错了的函数。导致序列化出错的原因通常是因为内容使用了双引号（”）而不是单引号（’），php与mysql编码不一致（UTF8），内容包括冒号（:）和引号（;）也会导致反序列化出错。
解决的方法是在serialize上加上base64函数，对数据做base64编码和解码：

$toDatabse = base64_encode(serialize($data));
$fromDatabase = unserialize(base64_decode($data));

当然更建议使用json_encode和json_decode的来处理数据的序列化和反序列化会更快，但有一些局限性（这里）。

之前有碰到URL参数传递时base64_encode/base64_decode的坑，可以像下面这样处理：

function base64url_encode($s) {
 return str_replace(array('+', '/'), array('-', '_'), base64_encode($s));
}

function base64url_decode($s) {
 return base64_decode(str_replace(array('-', '_'), array('+', '/'), $s));
}

参考链接：
unserialize() [function.unserialize]: Error at offset
PHP Serialize() & Unserialize() Issues
Handling a PHP unserialize offset error… and why it happens
PHP – Safely serialize and unserialze arrays
Why is base64_encode() adding a slash “/” in the result?
d

Mysql INT和CHAR类型的隐式转换

Sat, 23 Aug 2014 22:09:47 +0800

最近碰到一个问题，由于没有对参数进行过滤和转换，直接拿到mysql里面进行查询了，大概是这样的：

select * from store where id='1}';
select * from store where id='{1}';#测试

但是前者仍然可以查出id为1的记录，后者是不行。知道mysql有隐式转换却不知道具体是怎么样的。google了下，发现隐式转换还有其他的问题，例如:

select * from store where name=0;
select * from store where name='0';

前者将会查询出所有的记录，而后者只会匹配name值为0的记录。
总结了一下大概是这些大概是以下的原因：

当查询字段是INT类型，如果查询条件为CHAR，将查询条件转换为INT，如果是字符串前导都是数字将会进行截取，如果不是转换为0。
当查询字段是CHAR类型，如果查询条件为INT，将查询字段为换为INT再进行比较，可能会造成全表扫描。示例2的name字段为CHAR类型，第一句查询转换为INT时都等于0，所以全部匹配了；第二句查询同为CHAR类型不发生转换，所以仅匹配值为0的记录。

mysql的隐式转换还有很多其他的坑，所以一定要指明查询条件类型，不要让mysql去做自动转换。

参考链接：
价值百万的 MySQL 的隐式类型转换
 mysql字符串的隐式转换导致数据库操作异常
 关于mysql 隐式转换的一个小问题
 MySQL查询类型不正确不使用索引？
mysql的隐式的数据类型转换
 MySQL隐式转换之坑
 列类型

开启Firephp时Nginx PHP-FPM下502错误解决

Sun, 03 Aug 2014 10:53:25 +0800

在自己的电脑上调试的好好的，部署到Linux Nginx环境的时候却发现有些PHP页面在Firefox下面会返回502，在IE下面却是正常的，甚至在chrome下面也会出现502。顺着Nginx，Firefox这两个关键字，终于找到原因：原来是开启Firephp(chrome装了webug)时，Firephp的调试信息会写入的请求头里面，导致Nginx的FastCGI缓冲区超出，从而返回502。在自己的电脑上之所以不会是因为使用的是Apache。
于是顺着其他人的解答修改了nginx.conf中fastcig相关的参数：

fastcgi_buffer_size 1024k;
fastcgi_buffers 8 512k;
fastcgi_busy_buffers_size 1024k;
fastcgi_temp_file_write_size 1024k;

一开始这些参数是256，后来改成了512还是有部分页面会出现502，再改成1024终于好了。

检查Nginx的配置文件，并重启：

[root@webserver sbin]# ./nginx -t
nginx: the configuration file /usr/local/nginx/conf/nginx.conf syntax is ok
nginx: configuration file /usr/local/nginx/conf/nginx.conf test is successful
[root@webserver sbin]# ./nginx -s reload
[root@webserver sbin]#

参考链接：
Nginx + PHP5-FPM repeated cut outs 502
FirePHP on Nginx: 502 Bad Gateway
Nginx Proxies with FirePHP
Nginx提示502和504错误的终极解决方案
 FastCGI模块（FastCGI）

Windows 8 安装Vagrant和VirtualBox

Wed, 23 Jul 2014 22:12:45 +0800

由于php的一些扩展只有在linux下面才能用，就算是Cygwin下面也不行，例如pcntl。所以就决定安装一个linux虚拟机来作为开发环境，顺带找到了另外一个东西：Vagrant。Vagrant作为一款虚拟机环境统一配置管理工具，后端可以是VirtualBox，VMWare，AWS。这样当运行环境配置完了可以方便的部署在其他机器上或给予其他开发人员，实现配置一次，到处运行的功能。当使用Vagrant管理VirtualBox是运行在命令行下面的，而不需要打开界面。

首先，安装VirtualBox，地址。

然后，安装Vagrant，地址。安装完成后，将Vagrant的bin目录添加到系统的环境变量Path里面。

再然后，下载做好的虚拟机镜像，地址。我这里下载的是Ubuntu precise 64 VirtualBox，对应链接：http://files.vagrantup.com/precise64.box。这个镜像的下载速度还不错，centos的就不怎么样了，但还是建议先下载到本地硬盘在加载进来。

这时候应该先为这个虚拟机（Ubuntu precise 64）建一个目录，以便初始化和管理这个虚拟机主机。如果有多个虚拟机的话，就分别建立不同的目录来初始化。比如：E:\project\vagrant\dev。然后就在这个目录下面初始化这个镜像。

E:\project\vagrant\dev>vagrant box add Ubuntu12.04x64 "file:///f:\box\precise64.box"

注意，file后面应该是三个/而不是两个。add后面跟的是这个虚拟机的名称，也可以用base自动识别。
打开对应目录下面的配置文件Vagrantfile，配置虚拟机的ip和共享目录。

 config.vm.network "private_network", ip: "192.168.33.10"
 config.vm.synced_folder "E:/wamp/www", "/home/vagrant/www"　#将前者映射到后者

初始化并启动：

E:\project\vagrant\dev>vagrant init Ubuntu12.04x64
E:\project\vagrant\dev>vagrant up

然后可以通过ssh连接上去管理了，这里使用Cygwin下面的ssh客户端，默认用户和密码都是vagrant。

sudo apt-get update #先更新下软件包，要不然有的可能会装不上

注意启动和连接虚拟机都需要切换到该虚拟机所在开发目录。还有一些其他的命令。

vagrant init # 初始化
vagrant up # 启动虚拟机
vagrant halt # 关闭虚拟机
vagrant reload # 重启虚拟机
vagrant ssh # SSH 至虚拟机
vagrant status # 查看虚拟机运行状态
vagrant destroy # 销毁当前虚拟机
vagrant package # 导出当前虚拟机

这里有别人推荐的一个小软件win-sshfs，可以将Linux的目录直接mount到Windows系统上作为一个根盘符。注意：这是个32位软件，可能会安装不成功，需要采用兼容模式。

然后就可以在我的电脑里面像本地文件一样管理。

参考链接：
使用 Vagrant 打造跨平台开发环境
 使用vagrant和win Sshfs支持openstack开发
 Vagrant安装配置
 Windows 7使用Vagrant构建虚拟开发环境
 Vagrant+VirtualBox搭建统一开发环境

Cygwin 安装

Wed, 23 Jul 2014 20:40:01 +0800

在windows 8.1上安装Cygwin真的是非常蛋疼，网络一会儿就会自己停了，只能取消重试。为了装上php，找到了一个好东西：apt-cyg，Cygwin的包管理器，有点像ubuntu的apt-get，强烈推荐。
安装apt-cyg很简单，但是国内访问googlecode非常不方便，这里提供一个下载链接（注意：githut上的这个链接跟googlecode上不一样的）．

wget https://courages.us/wp-content/uploads/2014/07/apt-cyg.rar
chmod +x apt-cyg
mv apt-cyg /usr/local/bin/

然后就可以用了，例如查找包，安装包，指定源。这里也推荐下另外一个cygwinports（ftp://ftp.cygwinports.org/pub/cygwinports），当你找不你想要的就可以来这里找。

apt-cyg -m ftp://ftp.cygwinports.org/pub/cygwinports find php
apt-cyg -m http://mirrors.163.com/cygwin find openssl
apt-cyg install openssl

安装完成后就可以使用ssh了。

参考链接：
apt-cyg
CYGWIN的包管理器：APT-CYG
CYGWIN在WINDOWS8.1上的CHMOD无法修改权限

真正的喜欢是不会那么容易放弃的

Sun, 02 Mar 2014 21:27:14 +0800

真正的喜欢是不会那么容易放弃的，再次记录下，以免找不到。来自这里。

作者：家训

PHP 和 Mysql 日期问题

Thu, 22 Aug 2013 22:10:17 +0800

最近在php 和 mysql上碰到了一个计算日期Bug：在mysql中使用date_add计算日期，比如date_add(now(),interval 30 year)，然后保存进去的值就变成了’0000-00-00 00:00:00’；在php 中使用strtotime计算日期，比如(‘2143-08-22 15:23:56 -100 year’)，然后格式化后就变成了’1970-01-01 ‘。后来google了下，发现这是著名的2038年问题。
这个问题是因为在32位操作系统上日期类型是一个有正负号的32位整数，2147483647 是能表示的最大32为正整数，对应2038-01-19 03:14:07，超出了就“绕回”，所以不能正常处理。

怎么解决这个问题呢？使用64位的操作系统，这样子日期类型宽度就有64位了，能表示的日期就更大了。但是目前仍然有大量的程序运行在32为操作系统上，在php和mysql中要怎么处理呢？
在php中就不能使用strtotime来转换时间，因为它可能超出了。正确应该是用DateTime来处理时间。

$end=new DateTime('now');
$end->modify('20');
echo $end->format('Y-m-d');

$to=new DateTime('2100-08-22 21:40:00');
$interval=$end->diff($to);
echo $interval->format('%R%y 年');

在mysql中应该使用datetime来保存超过2038年的日期。timestamp和datetime的区别是:

datetime类型能够保存从1000-01-01 00:00:00至9999-12-31 23:59:59；timestamp只能保存从1970-01-01 00:00:01至2038-01-19 03:14:07。timestamp的保存范围小，在2038-01-19 03:14:07过后将会溢出，而datetime则不会。

timestamp是一个时间戳，能够使用CURRENT_TIMESTAMP来进行填充，而datetime则不行。

timestamp是跟时区相关的，在改变时区后，保存的值也会做相应的改变。而datetime保存的值是不会因为时区改变而改变。

所以如果要保存日期超过2038年的就选择datetime类型，如果是想在做update/inset是做一个自动日期记录而不关心日期的加减就选择timestamp。

参考链接
2038年问题
 PHP & mySQL: Year 2038 Bug: What is it? How to solve it?
PHP Date and Time
PHP: strtotime is returning false for a future date?
Mysql DATE, DATETIME, and TIMESTAMP Types
Mysql时间字段格式如何选择，TIMESTAMP，DATETIME，INT？
Datetime vs Timestamp in MySQL and PHP in practice?

PHP __destruct函数

Sun, 04 Aug 2013 22:34:24 +0800

PHP引擎会在脚本执行完成后进行垃圾回收，那么是否还需要destruct呢？在stackoverflow上看到的一个很好的答复：

析构函数本身跟内存释放没有任何直接的关系，它只是当一个对象被回收时执行自定义代码的“钩子”。它的作用跟构造函数刚好相反-构造函数本身也不申请内存（内存的申请和释放都是GC的事）。
GC能够很好的管理PHP原生的资源（比如对象），但是对于外部资源却必须手动处理。比如，一个文件管理的类，析构函数的作用就是保证如果文件被打开了，就应该被关闭。虽然“最好”在一个对象上要求去调用一个关闭或处理操作，这时析构函数就作为一种援助机制。
我本身反对将析构函数与GC一起使用。有许多微妙的问题他们可以引入如明显的非确定性和意外的能力保持对象存活——甚至在像PHP这种使用引用计数的语言里面。（Java/JVM和.net使用终结器更为挑剔。）

总结下，就是析构函数本身跟垃圾回收没有什么关系，但它应该用来确保一些外部资源被关闭，比如文件操作和数据库连接。
在一个项目中，我们可能只会使用一个数据库连接类，但是我们又不能随时关闭它，因为不能确定其他的地方是否有用到，那么就在析构函数里确保它关闭，否则PHP也不会手动去释放它，否则可能会经常遇到Mysql达到最大连接数的问题。为什么需要手动去释放资源呢？可以参阅鸟哥的文章。

参考链接：
Is the __destruct method necessary for PHP?
请手动释放你的资源(Please release resources manually)
[原创] 从 PHP 代码分析 PHP 的 GC(垃圾回收) 机制
 PHP 垃圾回收机制

Jquery 滚轮事件

Thu, 01 Aug 2013 22:44:52 +0800

在项目中有采用到一个下拉列表插件jquery.ui.ufd发现在jquery 1.7以上版本中文取值过滤有问题，总是显示前几项而非过滤项。查了半天才发现是jquery的滚轮事件originalEven的问题。StatckOverflow上的解释说在1.7以上的版本jquery event对象的detail属性不再可用而应使用event.originalEvent.detail来代替。

this.listScroll.bind("DOMMouseScroll mousewheel", function(e) {
	self.stopEvent(e);
	e = e ? e : window.event;
	e=e.originalEvent;//在>1.7版本的Jquery中得这样才能获取detail/wheelDelta
	var normal = e.detail ? e.detail * -1 : e.wheelDelta / 40;
			
	var curST = self.listScroll.scrollTop();
	var newScroll = curST + ((normal > 0) ? -1 * self.itemHeight : 1 * self.itemHeight);
	self.listScroll.scrollTop(newScroll);
});

参考链接：
event.wheelDelta returns undefined
Binding mousewheel returns undefined

PHP strtotime计算月份

Mon, 29 Jul 2013 22:15:52 +0800

今天同事发现了一个php的月份bug，说月份列表里怎么出现了两个3月份，代码是大概是这样的：

$month[]=date('Y年m月',strtotime('today'));
$month[]=date('Y年m月',strtotime('-1 month'));
$month[]=date('Y年m月',strtotime('-2 month'));
$month[]=date('Y年m月',strtotime('-3 month'));
$month[]=date('Y年m月',strtotime('-4 month'));
$month[]=date('Y年m月',strtotime('-5 month'));

利用strtotime来计算最近了六个月份，这个bug之前没有被发现因为只有在每月的29，30，31号才会发作：因为php默认取当前时间来做计算，比如今天7月29号减去5个月应该是2月29号，因为今年的2月份没有29号，所以就到了3月份了。

于是修改了下：

$month[]=date('Y年m月',strtotime('today'));
$month[]=date('Y年m月',strtotime('first day of -1 month'));
$month[]=date('Y年m月',strtotime('first day of -2 month'));
$month[]=date('Y年m月',strtotime('first day of -3 month'));
$month[]=date('Y年m月',strtotime('first day of -4 month'));
$month[]=date('Y年m月',strtotime('first day of -5 month'));

但是这个只有在php 5.3以上的版本中才会起作用，在php 5.2的版本有bug，需要这样处理：

$month[]=date('Y年m月',strtotime('today'));
$month[]=date('Y年m月',mktime(0,0,0,date('n')-1,1,date('Y')));
$month[]=date('Y年m月',mktime(0,0,0,date('n')-2,1,date('Y')));
$month[]=date('Y年m月',mktime(0,0,0,date('n')-3,1,date('Y')));
$month[]=date('Y年m月',mktime(0,0,0,date('n')-4,1,date('Y')));
$month[]=date('Y年m月',mktime(0,0,0,date('n')-5,1,date('Y')));

参考链接：
php strtotime函数
 Version difference for strtotime(‘first day of last month’)?

Jquery ContextMenu插件改造

Sun, 28 Jul 2013 22:19:10 +0800

最近需要在页面的表格上使用的右键弹出菜单，考察了下网络上的几个右键菜单发现都不太符合：需要能够用列表来布局菜单，而不是都放在javascript中控制。Jqueryui 的menu插件采用ul和li来布局，但是菜单项仅仅是个超级链接，不能结合当前被右键单击的元素进行动态传递参数和禁用/启用菜单。于是网上找了个插件自己来改造。

首先增加了几个参数：currentTarget用于保存当前的右键单击事件的对象；actions用于根据菜单id来进行函数绑定；selector用于保存当前应用右键菜单的选择器；options对象用于保存一些其他的扩展参数，比如hover为鼠标滑过菜单的css样式，highlight为当前右键单击元素的css样式。actions对象可以包括多个子对象，每一个子对象可以包含两个函数click和disabled，前者响应用户单击菜单事件，后者则指示是否在当前右键对象上禁用相关菜单。两个函数都将传入两个参数：source和li，source为右键单击的(jquery)对象，li则是当前单击的菜单(jquery)对象。

用法示例:

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "">
<html>
	<head>
	<link rel="stylesheet" type="text/css" href="jqcontextmenu.css" />
	<script type="text/javascript" src="jquery.min.js"></script>
	<script type="text/javascript" src="jqcontextmenu.js"></script>
	<style>
		.myhighlight{
			background-color:#DEDEDE;
		}
		.myjqhover{
			background-color:#DEDEDE;
		}
	</style>

	<script type="text/javascript">

	//Usage: $(elementselector).addcontextmenu('selector',actions,options)

	jQuery(document).ready(function($){
		$('p').addcontextmenu('contextmenu1',{
			'item1':{//对应菜单的ID
				click:function(source,li){//需要进行单击菜单响应的
					//alert(source);
					alert(source.attr('id'));
				}
			},
			'item2':{
				click:function(source,li){
					alert(source.attr('id')+":"+li.attr('id'));
				},
				disabled:function(source,li){//需要进行启用/禁用控制的
					if(source.attr('id')=='dp'){
						return true;//禁用
					}
					return false;//启用
				}
			},
			'item31':{
				click:function(source,li){
					alert(li.attr('id'));
				}
			},
			'item521':{
				click:function(source,li){
					alert(li.attr('id'));
					//alert(li.attr('id'));
				}
			}
		},{highlight:'myhighlight',hover:'myjqhover'}); //apply context menu to links with class="mylinks"
	});


	</script>
	</head>
	<body>
		<p id="dp"><a class="mylinks" href="#1" id="dynamic">Dynamic Drive</a></p>
		<p id="dp2"><a class="mylinks" href="#2" id="dynamic2">Dynamic Drive2</a></p>
		<div id="div" style="float:right">dadfasd</div>
		<!--HTML for Context Menu 1-->
		<ul id="contextmenu1" class="jqcontextmenu">
		<li id="item1"><div>Item 1a</div></li>
		<li class="sep"></li>
		<li id="item2"><div>Item 2a</div></li>
		<li id="item3"><div>Item Folder 3a</div>
			<ul>
			<li id="item31"><div>Sub Item 3.1a</div></li>
			<li id="item3.2"><div>Sub Item 3.2a</div></li>
			<li id="item3.3"><div>Sub Item 3.3a</div></li>
			<li id="item3.4"><div>Sub Item 3.4a</div></li>
			</ul>
		</li>
		<li id="item4"><div>Item 4a</div></li>
		<li id="item5"><div>Item Folder 5a</div>
			<ul>
			<li id="item5.1"><div>Sub Item 5.1a</div></li>
			<li id="item5.2"><div>Item Folder 5.2a</div>
				<ul>
				<li id="item521"><div>Sub Item 5.2.1a</div></li>
				<li id="item5.2.2"><div>Sub Item 5.2.2a</div></li>
				<li id="item5.2.3"><div>Sub Item 5.2.3a</div></li>
				<li id="item5.2.4"><div>Sub Item 5.2.4a</div></li>
				</ul>
			</li>
			</ul>
		</li>
		<li id="item6"><div>Item 6a</div></li>
		</ul>
	</body>
</html>

这个插件是在jquery 1.7以上版本进行修改和测试，jqcontextmenu项目osc地址。

参考链接：
jQuery Context Menu script
Bunch Of Widely Used jQuery Context Menus
arnklint/jquery-contextMenu
medialize/jQuery-contextMenu
wdContextMenu Samples vs Code
jQuery右键菜单插件ContextMenu使用笔记
 jQuery右键菜单插件ContextMenu

Javascript 中解析XML

Tue, 04 Jun 2013 22:50:43 +0800

通常在Javascript中做数据交换用的都是json也比较方便，但是这次碰到xml字符串解析。查了下，发现不同浏览器还不一样，解析起来倒也不难。

var txt='<?xml version="1.0"?><note>';
txt=txt+'<to id="to">Tove</to>'
txt=txt+'<from>Jani</from>';
txt=txt+'<heading>Reminder</heading>';
txt=txt+'<body>Don\'t forget me this weekend!</body>';
txt=txt+'</note>';
if (window.DOMParser)
{
 parser=new DOMParser();
 xmlDoc=parser.parseFromString(txt,"text/xml");
}
else // Internet Explorer
{
 xmlDoc=new ActiveXObject("Microsoft.XMLDOM");
 xmlDoc.async=false;
 xmlDoc.loadXML(txt);
}
//获取to的文本值
var to_text=xmlDoc.getElementsByTagName('to')[0].childNodes[0].nodeValue;
//获取to的属性值
var to_id=xmlDoc.getElementsByTagName('to')[0].getAttribute('id');

如果有用到Jquery的话也可以使用$.parseXML()，然后就可以使用Jquery的选择器和方法了

var note=$.parseXML(text);
//找到to节点
var to=$(note).find('to');
//获取to的文本值
var to_text=to.text();
//获取to的属性值
var to_id=to.attr('id');
//如果to有多个的话,可以先判断to.length
//然后又下标去访问或者用$.fn.each()遍历访问
//var to_text=$(to[0]).text();

如果是通过Ajax请求的返回回来的数据，可以$.ajax中设置请求参数dataType:’xml’，然后就可以使用Jquery的选择器。

参考链接：
XML DOM Get Node Values
JQuery解析XML数据的几个例子
 jQuery.parseXML

PHP base64_decode 空格问题

Sun, 02 Jun 2013 17:42:34 +0800

php对一个base64_encode编码后的字符串通过url传递后进行base64_decode发现返回值是false。尝试将url传递后的值打印出来发现+都被换成了空格。上网查了下发现，对于通过application/x-www-form-urlencoded的HTTP传递值，+会被自动替换为空格。所以也有各种对base64编码进行扩充的，比如对+,/等符号进行替换的，以便HTTP传输。在php中需要将+号或空格做退还，比如简单的str_replace(‘ ‘,’+’,$str)或者在传输前做urlencode。

参考链接：
Strange Base64 encode/decode problem
Base64

Jquery下清空表单FILE控件的值

Sun, 02 Jun 2013 17:11:47 +0800

有时编辑表单需要清除表单的值，使用Jquery的话就是$(this).val(”)或者$(this).attr(‘value’,”)就可以清空了，但是在ie 8下却不行。在网上找了下说是出于安全性的原因，不能在javascript中对FILE控件操作。解决方法是ie下用在身的克隆来替换掉，代码如下：

 if ($.browser.msie) {
 $('#file').replaceWith($('#file').clone());
 }
 else {
 $('#file').val('');
 }

ie下的安全性有时候很讨厌，比如说自定义FILE控件样式，非得点击在控件上选择文件才行，而不能使用javascript来代替。

参考链接：
resetting input file using $(this).val(“”) not working with IE8
How to clear a FILE input in IE?

PHP安全问题

Fri, 29 Mar 2013 16:42:59 +0800

在乌云漏洞平台上发现很多开源PHP程序存在漏洞。大部分漏洞都是因为对PHP中的变量过滤不够严格和未转义造成，直接使用了$_GET，$_PUT，$_COOKIE传过来的值，造成了sql注入（sql injection）和跨站攻击（xss）。事实上这些漏洞完全可以避免的。
先说sql注入。通常注入情况发生在参数过滤不严谨和拼接sql，所以尽量不要用sql拼接，尽量使用PDO或Mysqli。

先看下面一段代码（test.php）：

$database="test";
$duser="root";
$dpassword="*********";
$server="localhost";
$link=mysql_connect($server,$duser,$dpassword) or die("连接不上服务器：".mysql_error());
mysql_select_db($database,$link) or die("不能选择数据库");

$id=$_GET['id'];
$sql="select id,account,nickname,password from user where id='".$id."'";
echo $sql;
$res=mysql_query($sql);
$arr=mysql_fetch_array($res,MYSQL_ASSOC);

然后访问http://127.0.0.1/test.php?id=1，获取用户信息。这是可以通过构造参数进行攻击比如

//访问：http://127.0.0.1/test.php?id=1%27%20OR%201%20=%201--%27
//将可以查询出所有的表数据。
$sql="select id,account,nickname,password from user where id='1' OR 1 = 1--''";

//访问：http://127.0.0.1/test.php?id=1%27%20UNION%20ALL%20%28SELECT%20NULL,NULL,NULL,%27%3C?php%20system%28$_GET[%22command%22]%29;%20?%3E%27%20INTO%20OUTFILE%20%27D:/www/shell.php%27%29%20--%20-%27
//在知道网站路径情况下，在网站目录下生成shell.php，将能够在对用户的网站进行挂马，提权的操作。
$sql="select id,account,nickname,password from user where id='1' UNION ALL (SELECT NULL,NULL,NULL,'' INTO OUTFILE 'D:/www/shell.php') -- -''";

甚至还可以进行表数据的增加，修改，删除，数据库的删除！所以永远不要相信用户的输入，永远要过滤输入，转义输出。对传递过来的数字型变量要进行严格的匹配，对字符串型的变量进行长度限制。注意过滤用户传递过来的变量是否包含引号，/*，#，—等特殊字符或转义字符，script，drop，不要给用户超级权限，最好进行分隔。

//使用addslashes过滤单引号，双引号和斜杠
$uname = addslashes( $_GET['id'] );
$query = 'SELECT username FROM users WHERE id = "' . $uname . '";

//使用mysql_real_escape_string过滤特殊字符，比如\x00, \n, \r, \, ', ",\x1a
//mysql_real_escape_string使用的是本地单字节字符集，而我们传递多字节编码的变量时，有可能还是会造成SQL注入漏洞
//如chr(0xbf) . chr(0x27)，所以mysql服务端与php客户端通信尽量使用utf-8而不是gbk
$uname = mysql_real_escape_string( $_GET['id'] );
$query = 'SELECT username FROM users WHERE id = "' . $uname . '";

//使用is_numeric检查数字型变量
$id = $_GET['id'];
( is_numeric( $id ) ? TRUE : FALSE );

//使用sprintf格式化数字型变量
$id = $_GET['id'];
$query = sprintf("SELECT username FROM users WHERE id = '%d' ", $id);

//使用htmlentities($var, ENT_QUOTES)转义所有的html标记
$id = $_GET['id'];
$id = htmlentities( $id, ENT_QUOTES, 'UTF-8' );
 
$query = 'SELECT username FROM users WHERE id = "' . $id . '"';

//使用filter_var过滤script标签，防止xss
//$str = strip_tags($input);
$str = filter_var($input, FILTER_SANITIZE_STRING);

如果PHP支持PDO可以的话，就不要拼接sql，尽量使用PDO或Mysqli。使用PDO要在PDO的DSN中指定charset属性，要设置PDO::ATTR_EMULATE_PREPARES参数为false，禁止php进行本地转义，造成双字节转义攻击，如果没有必要，msyql服务端与php客户端应该都是用utf-8进行通信，而不是gbk。

$pdo = new PDO("mysql:host=192.168.0.1;dbname=test;","root");
$pdo->setAttribute(PDO::ATTR_EMULATE_PREPARES, false);
 
$st = $pdo->prepare("select * from info where id =? and name = ?");
$id = 21;
$name = 'zhangsan';
 
$st->bindParam(1,$id);
$st->bindParam(2,$name);
$st->execute();
$st->fetchAll();

除了过滤，变量务必初始化，不要自动获得变量，用户将可以构造任何变量进行攻击。
不要这样随意，将造成文件包含攻击

<?php
 if($_GET['page']) {//if(file_exists($_GET['page'])) {非严格的检测 http://localhost/index.php?page=/etc/passwd%00
 include($_GET['page']);
 }
?>

要进行严格的匹配，或者做映射

<?php
 if($_GET['page'] == 'news') {
 include('news.php');
 }
?>

关闭浏览器输出的错误报告，避免泄漏文件目录路径，错误报告应输出到日记文件中

#php.ini
display_errors = 'off'

#apache2.conf
php_flag display_errors off

php当中

ini_set('display_errors', false);

页面的访问要设置权限，特别是执行查询的或者录入的页面，简单设置如下

define('APP_ADMIN', '1');
if(!defined('APP_ADMIN')) exit;

应该做一个更为完善的权限系统，如基于角色的权限管理系统，最好细致到页面（元素）。
eval函数针对php安全有很大杀伤力，为了防止挂马，应禁用eval函数。
下载的页面必须设置下载目录，对要下载的文件进行检测或做目录权限控制，生成临时下载链接，不允许下载任意的文件。对于系统配置文件，日记文件等要做分离，建议像zend framework那样设置web目录，程序与web目录分开，避免泄漏源码等。不要将.svn文件直接放置在web目录，会导致源码泄露。
上传的页面必须进行类型检测，不要只截取扩展名，设置权限，不允许可执行文件。这里是网友写的一个文件类型检查类

/*通过文件名，获得文件类型*
 *@author chengmo QQ:8292669*
 *@copyright <a href="http://www.cnblogs.com/chengmo">http://www.cnblogs.com/chengmo</a> 2010-10-17
 *@version 0.1
 *$filename="d:/1.png";echo cFileTypeCheck::getFileType($filename); 打印：png
 */
class cFileTypeCheck
{
 private static $_TypeList=array();
 private static $CheckClass=null;
 private function __construct($filename)
 {
 self::$_TypeList=$this->getTypeList();
 }
 
 /**
 *处理文件类型映射关系表*
 *
 * @param string $filename 文件类型
 * @return string 文件类型，没有找到返回：other
 */
 private function _getFileType($filename)
 {
 $filetype="other";
 if(!file_exists($filename)) throw new Exception("no found file!");
 $file = @fopen($filename,"rb");
 if(!$file) throw new Exception("file refuse!");
 $bin = fread($file, 15); //只读15字节 各个不同文件类型，头信息不一样。
 fclose($file);
 
 $typelist=self::$_TypeList;
 foreach ($typelist as $v)
 {
 $blen=strlen(pack("H*",$v[0])); //得到文件头标记字节数
 $tbin=substr($bin,0,intval($blen)); ///需要比较文件头长度
 
 if(strtolower($v[0])==strtolower(array_shift(unpack("H*",$tbin)))) 
 {
 return $v[1];
 }
 }
 return $filetype;
 }
 
 /**
 *得到文件头与文件类型映射表*
 *
 * @return array array(array('key',value)...)
 */
 public function getTypeList()
 {
 return array(array("FFD8FFE1","jpg"),
 array("89504E47","png"),
 array("47494638","gif"),
 array("49492A00","tif"),
 array("424D","bmp"),
 array("41433130","dwg"),
 array("38425053","psd"),
 array("7B5C727466","rtf"),
 array("3C3F786D6C","xml"),
 array("68746D6C3E","html"),
 array("44656C69766572792D646174","eml"),
 array("CFAD12FEC5FD746F","dbx"),
 array("2142444E","pst"),
 array("D0CF11E0","xls/doc"),
 array("5374616E64617264204A","mdb"),
 array("FF575043","wpd"),
 array("252150532D41646F6265","eps/ps"),
 array("255044462D312E","pdf"),
 array("E3828596","pwl"),
 array("504B0304","zip"),
 array("52617221","rar"),
 array("57415645","wav"),
 array("41564920","avi"),
 array("2E7261FD","ram"),
 array("2E524D46","rm"),
 array("000001BA","mpg"),
 array("000001B3","mpg"),
 array("6D6F6F76","mov"),
 array("3026B2758E66CF11","asf"),
 array("4D546864","mid"));
 }
 
 	
 public static function getFileType($filename)
 {
 if(!self::$CheckClass) self::$CheckClass=new self($filename);
 $class=self::$CheckClass;
 return $class->_getFileType($filename);
 }
	
}

$filename="22.jpg";
echo $filename,"t",cFileTypeCheck::getFileType($filename),"rn";
$filename="11.doc";
echo $filename,"t",cFileTypeCheck::getFileType($filename),"rn";

对于暴力破解设置验证码，或者限制ip次数。

参考链接：
SQL Injection Attacks by Example
SQL Injection
Injection
PHP SQL Injection
PHP+MySQL环境下SQL Injection攻防总结
 PDO防注入原理分析以及使用PDO的注意事项
 SQL injection that gets around mysql_real_escape_string()
MySQL远程提权php版
 XSS Filter Evasion Cheat Sheet
php通过文件头检测文件类型通用类（zip,rar…)
php 验证码【倾斜，正弦干扰线，黏贴，旋转

PHP 自动加载类

Wed, 20 Mar 2013 23:52:27 +0800

老的项目很多不规范，到处都是require/include_once。为了不再到处写require/include(_once)了，应该给项目写个自动加载器了，避免重复加载和建立规范。个人觉得require_once和require之间的性能差异不大，特别是开启了APC缓存后,手动加载和自动加载之间的差异也不大。关于APC缓存类文件有争议，建议阅读参考链接和相关评论。

function autoloader($class){
	if (class_exists($class, false) || interface_exists($class, false)) {//如果已存在就不需要了
 return;
 }
	$directorys = array(
 MVC_PATH.'/'.'library'.'/',
 MVC_PATH.'/'
 );
 $file = str_replace('_', '/', $class) . '.php';//对类命名进行文件路径解析映射
 foreach($directorys as $directory){
 	if(file_exists($directory.$file)){
 		require_once($directory.$file);
 		return;
 	}
 }
}
spl_autoload_register(autoloader);

zend framework官方的优化建议里建议去掉require_once改用Zend_Loader_Autoloader，认为require_once会花掉很多时间。官方有去除require_once的shell脚本，这里发一个windows下注释掉zend framework library 中的require_once的bat脚本，建议还是用其他工具比较好。这个脚本也可以用来批量查找替换指定目录下面，指定后缀（类型）文件中的指定字符串。

@echo off
set directory=D:\PROGRA~1\wamp\www\
set ext_name=php
set old_char=require_once
set new_char=//require_once
setlocal enabledelayedexpansion
for /r %directory% %%x in (*.%ext_name%) do ( 
 for /f "tokens=*" %%i in (%%x) do (
 set "var=%%i"
 set "var=!var:%old_char%=%new_char%!"
 echo !var!>>tmp.php
 )
move tmp.php %%x
)

参考链接：
PHP Autoloading Classes
ZendFramework官方提供的优化没有实际意义
 再一次, 不要使用(include/require)_once
Is Autoloading A Good Solution?

在Yaf中应用Zend_Log

Tue, 19 Mar 2013 16:43:07 +0800

Zend Framework是Zend 官方用PHP写的一套MVC框架，里面包含了诸多组件，可以单独使用，但是在PHP的MVC框架中的性能评测中总是处于下风。在之前的项目中有使用过Zend Framework，对于结构和代码的规范有比较好的帮助，类库也非常全面，所以想在其他的一些项目中也能够应用到Zend Framework的一些Library。Yaf是国内牛人仿Zend Framework开发的一个PHP MVC框架的C扩展，性能较Zend Framework有巨大的提升，但是不如Zend Framework全面，更侧重于前端控制，大概后端用其方法来做更好。Yaf的文档少了些，而Zend Framework的应用则比较多，社区支持也更广泛。所以在新的项目采用了Yaf做为前端的分发管理器，结合Zend Framework的类库来进行开发。
本文是关于Zend_Log中添加Zend_Log_Writer_Firebug无效，不能输出到firebug的解决方法。其实这个问题刚好在其他项目中应用的时候也有碰到，之后在stackoverflow上找到了答案，原来是这个功能还依赖于Zend_Wildfire_Channel_HttpHeaders，又需要Zend_Controller_Request_Http和Zend_Controller_Response_Http。于是就仿着写了一个Yaf扩展，代码如下：

<?php
/**
 * Ap定义了如下的7个Hook,
 * 插件之间的执行顺序是先进先Call
 */
class WildfireChannelPlugin extends Yaf_Plugin_Abstract {

	public function routerStartup(Yaf_Request_Abstract $request, Yaf_Response_Abstract $response) {
	}

	public function routerShutdown(Yaf_Request_Abstract $request, Yaf_Response_Abstract $response) {
	}

	public function dispatchLoopStartup(Yaf_Request_Abstract $request, Yaf_Response_Abstract $response) {
		$this->_request = new Zend_Controller_Request_Http();
		$this->_response = new Zend_Controller_Response_Http();
		$this->_channel = Zend_Wildfire_Channel_HttpHeaders::getInstance();
		$this->_channel->setRequest($this->_request);
		$this->_channel->setResponse($this->_response);
		ob_start();
	}

	public function preDispatch(Yaf_Request_Abstract $request, Yaf_Response_Abstract $response) {
	}

	public function postDispatch(Yaf_Request_Abstract $request, Yaf_Response_Abstract $response) {
	}

	public function dispatchLoopShutdown(Yaf_Request_Abstract $request, Yaf_Response_Abstract $response) {
		if(isset($this->_channel)){
			$this->_channel->flush();
			$this->_response->sendHeaders();
		}
	}

}

然后在Bootstrap.php中注册扩展，代码如下:

	public function _initPlugin(Yaf_Dispatcher $dispatcher) {
		if(Yaf_Registry::get("config")->get("log")->get("firebug")){
			$WildfireChannel = new WildfireChannelPlugin();
			$dispatcher->registerPlugin($WildfireChannel);
		}
	}

之后，Zend_Log_Writer_Firebug和firebug就可以正常工作了。如果要在其他项目中应用，只需要在开始输出前和输出结束后，分别调用上面连个方法就可以了，比如在启动文件中：

class Boot{
	protected $_request;
	protected $_response;
	protected $_channel;
	protected function _initWildfireChannel(){
		$this->_request = new Zend_Controller_Request_Http();
		$this->_response = new Zend_Controller_Response_Http();
		$this->_channel = Zend_Wildfire_Channel_HttpHeaders::getInstance();
		$this->_channel->setRequest($this->_request);
		$this->_channel->setResponse($this->_response);
		ob_start();
	}
	public function __destruct(){
		if(isset($this->_channel)){
			$this->_channel->flush();
			$this->_response->sendHeaders();
		}
	}
}

然后按需打开WildfireChannel就可以了。
参考链接：
Zend_Log_Writer_Firebug() not working
高性能PHP框架 Phalcon
Zend Framework

PHP脚本建立中国县市数据库

Mon, 18 Mar 2013 21:51:39 +0800

在做快递查询的时候需要一个中国的县市数据库，由于之前的人做行政区域是用了一个Javascript脚本做的不好在后台动态交互，在网上看到了一篇关于建立中国行政区域数据库的文章，非常好，mark一下，以免以后找不到。首先需要到国家统计局下载最新的文档（打开最新的页面，全部复制下来另存为region.txt）。然后建一个数据库表region

CREATE TABLE `region` (
`id` int(10) unsigned NOT NULL,
`parent_id` int(10) unsigned NOT NULL,
`name` varchar(20) NOT NULL,
PRIMARY KEY (`id`)
)ENGINE=MYISAM DEFAULT CHARSET=utf8;

在相同目录下建立一个文件region.php，代码如下

<?php
set_time_limit(0);
define('ENGLISH_BLANK', chr(32));
define('CHINESE_BLANK', chr(227) . chr(128) . chr(128));// ã€€
mysql_connect('localhost', 'root', '********');
mysql_select_db('test');
mysql_query("SET NAMES 'utf8'");
$parent = array();
$handle = fopen('region.txt', 'r');
while (!feof($handle)) {
	//每次取一行
	//由于该文本时采用空格缩进来确定上下级关系的，
	//用自定义的空格字符串代替两个英文空格，
	//利用自定义的空格切分字符串，这样在转换为数组时可以确定层级
 $data = explode(CHINESE_BLANK, str_replace(
 ENGLISH_BLANK . ENGLISH_BLANK, CHINESE_BLANK, trim(fgets($handle))
 ));
 if (!is_numeric($id = array_shift($data))) {
 continue;
 }
 $level = 0;
 //如果只有两个英文空格的话，那么便是顶级了，否则级数++
 while (($value = array_shift($data)) !== false) {
 if ($value == '') {
 $level++;
 } else {
 break;
 }
 }
 $parent[$level] = $id;
 $parent_id = $level ? $parent[$level - 1] : 0;
	//构建了一个数组比如$parent[0]=110000 ;$parent[1]=110100;$parent[2]=$id;
	//这样子便可以根据它所缩进的空格数，确定它的层级，根据层级取得父id
 $name = $value;
 if (count($data)) {
 $name .= implode('', $data);
 }
 $sql = "
 INSERT INTO region (id, parent_id, name)
 VALUES ({$id}, {$parent_id}, '{$name}')
 ";
 mysql_query($sql);
}
fclose($handle);

然后在命令行运行php region.php，我的结果行数是3511。
参考链接：
实用PHP脚本：最新县及县以上行政区划代码

PHP 使用ZipArchive压缩文件并下载

Mon, 18 Mar 2013 11:17:01 +0800

网站上需要提供一些打印数据给用户下载，这些文件每次都需要重新生成，因为随时都会有新的数据产生。网络上关于PHP的压缩功能实现有多种方式，比如PclZip,ZipArchive等。PclZip是使用PHP写的一个压缩解压类，方便使用，不用安装扩展；而ZipArchive则在PHP 5.3之后随PHP携带发行，不需要再去开启扩展。本文则使用PHP自带的ZipArchive进行文档压缩。
由于还要提供给用户下载，这里参考了网络上下载类，以下为downlaod.class.php代码

<?php
 class download{
	 protected $_filename;
	 protected $_filepath;
	 protected $_filesize;//文件大小
	 public function __construct($filename){
		 $this->_filename=$filename;
		 $this->_filepath=dirname(__FILE__).'/'.$filename;
	}
	public function __destruct() {
		if (file_exists($this->_filepath)){
			unlink($this->_filepath);
		}
	}
	//获取文件名
	public function getfilename(){
		return $this->_filename;
	}
	//获取文件路径（包含文件名）
	public function getfilepath(){
		return $this->_filepath;
	}
	//获取文件大小
	public function getfilesize(){
		return $this->_filesize=number_format(filesize($this->_filepath)/(1024*1024),2);//去小数点后两位
	}
	//下载文件的功能
	public function getfiles(){
		//检查文件是否存在
		if (file_exists($this->_filepath)){
			//打开文件
			$file = fopen($this->_filepath,"r");
			//返回的文件类型
			Header("Content-type: application/octet-stream");
			//按照字节大小返回
			Header("Accept-Ranges: bytes");
			//返回文件的大小
			Header("Accept-Length: ".filesize($this->_filepath));
			//这里对客户端的弹出对话框，对应的文件名
			Header("Content-Disposition: attachment; filename=".$this->_filename);
			//修改之前，一次性将数据传输给客户端
			echo fread($file, filesize($this->_filepath));
			//修改之后，一次只传输1024个字节的数据给客户端
			//向客户端回送数据
			$buffer=1024;//
			//判断文件是否读完
			while (!feof($file)) {
				//将文件读入内存
				$file_data=fread($file,$buffer);
				//每次向客户端回送1024个字节的数据
				echo $file_data;
			}
			fclose($file);
		}else {
			echo "<script>alert('对不起,您要下载的文件不存在');</script>";
		}
	}
}

ZipArchive有两个添加文件的方法addFile 和addFromString，addFile可将现有文件添加进去，而addFromStrin则可以添加一些动态的文本。在要下载文件中则简单调用，代码如下

<?php
include 'download.class.php';
$res='';//动态结果

$zip=new ZipArchive();
$zipname=date('YmdHis',time()).'.zip';//随机文件名
if (!file_exists($zipname)){
 $zip->open($zipname,ZipArchive::OVERWRITE);//创建一个空的zip文件
 //$zip->addFile('/images/show.pic','show.pic');//将/images/show.pic文件添加进去
 //$content=file_get_contents('http://127.0.0.1/data.php?r='$res);
 //if ( $content !== false ) {
 //$zip->addFromString('data.xml',$content);//使用字符串的方式动态添加
 //}
 $zip->addFromString('test.txt', 'some text ...');
 $zip->close();
 $dw=new download($zipname); //下载文件
 $dw->getfiles();
 unlink($zipname); //下载完成后要主动删除 
}

注意在windows平台下压缩的文件路径在linux可能识别不了。
参考链接：
PclZip:强大的PHP压缩与解压缩zip类
 PHP ZipArchive 实现压缩解压Zip文件
 文件打包，下载之使用PHP自带的ZipArchive压缩文件并下载打包好的文件
 php ZipArchive class

PHP SimpleXMLElement的陷阱

Wed, 27 Feb 2013 18:29:04 +0800

PHP 使用SimpleXMLElement的addChild方法添加另一个SimpleXMLElement对象的时候老是取不到完整的对象。原本参考了网上的例子以为可以直接添加，示例代码如下

<?php
$orders=new SimpleXMLElement('<?xml version="1.0" encoding="UTF-8"?><orders></orders> ');
for($i=1;$i<=5;$i++){
 $order=new SimpleXMLElement('<?xml version="1.0" encoding="UTF-8"?><order></order> ');
 $item=$order->addChild('item');
 $item->addChild('id',$i);
 $item->addChild('name','shoes');
 $item->addChild('price','110.00');
 //echo $order->asXML();
 $orders->addChild($order->getName(),$order);
 //$orders->{$order->getName()}[]=$order;
}
echo $orders->asXML();

发现$orders中的order子元素总是为空，不会包含item项等，但是在循环中调试打印出$order却又是完整。后来找到了这个，据说是因为SimpleXMLElement没有对要添加的对象做深复制，解决方法之一便是借助DOM。

<?php
function sxml_append(SimpleXMLElement $to, SimpleXMLElement $from) {
 $toDom = dom_import_simplexml($to);
 $fromDom = dom_import_simplexml($from);
 $toDom->appendChild($toDom->ownerDocument->importNode($fromDom, true));
}

header("Content-type: text/xml");
$orders=new SimpleXMLElement('<?xml version="1.0" encoding="UTF-8"?><orders></orders> ');
for($i=1;$i<=5;$i++){
 $order=new SimpleXMLElement('<?xml version="1.0" encoding="UTF-8"?><order></order> ');
 $item=$order->addChild('item');
 $item->addChild('id',$i);
 $item->addChild('name','shoes');
 $item->addChild('price','110.00');
 sxml_append($orders,$order);
}
echo $orders->asXML();

以上代码需要安装DOM扩展，其他的方法都是循环将子SimpleXMLElement的子元素取出逐一添加，而实际上$order这个xml对象是从其他对象中获取的，上面的方法就方便多了。

参考链接：
PHP – SimpleXML – AddChild with another SimpleXMLElement
PHP克隆
 PHP对象和引用
 PHP对象和复制

PHP并发操作加锁

Thu, 21 Feb 2013 16:43:44 +0800

有时候在PHP程序中同时只允许一个进程在操作或者只想让一个进程去执行，这时就需要加锁，在网络上找到了phplock这个项目。phplock用于多进程模式下PHP并发操作加锁，以防止并发对同一文件的读写操作错误和缓存失效时，大量请求直接穿透到数据库，造成数据库压力宕机。

<?php
/**
 * PHPLock进程锁
 * 本进程锁用来解决php在并发时候的锁控制
 * 他根据文件锁来模拟多个进程之间的锁定，效率不是非常高。如果文件建立在内存中，可以大大提高效率。
 * PHPLOCK在使用过程中，会在指定的目录产生$hashNum个文件用来产生对应粒度的锁。不同锁之间可以并行执行。
 * 这有点类似mysql的innodb的行级锁，不同行的更新可以并发的执行。
 * @link http://code.google.com/p/phplock/
 * @author sunli
 * @blog http://sunli.cnblogs.com
 * @svnversion $Id$
 * @version v1.0 beta1
 * @license Apache License Version 2.0
 * @copyright sunli1223@gmail.com
 */
class PHPLock
{
 //文件锁存放路径
 private $path = null;
 //文件句柄
 private $fp = null;
 //锁粒度,设置越大粒度越小
 private $hashNum = 100;
 //cache key
 private $name=null;
 //是否存在eaccelerator标志
 private $eAccelerator = false;

 /**
 * 构造函数
 * 传入锁的存放路径，及cache key的名称，这样可以进行并发
 * @param string $path 锁的存放目录，以"/"结尾
 * @param string $name cache key
 */
 public function __construct($name,$path='lock\\')
 {
 //判断是否存在eAccelerator,这里启用了eAccelerator之后可以进行内存锁提高效率
 $this->eAccelerator = function_exists("eaccelerator_lock");
 if(!$this->eAccelerator)
 {
 $this->path = $path.($this->_mycrc32($name) % $this->hashNum).'.lock';
 }
 $this->name = $name;
 }
 public function __destruct()
 {
 $this->unlock();
 }

 /**
 * crc32
 * crc32封装
 * @param int $string
 * @return int
 */
 private function _mycrc32($string)
 {
 $crc = abs (crc32($string));
 if ($crc & 0x80000000) {
 $crc ^= 0xffffffff;
 $crc += 1;
 }
 return $crc;
 }
 /**
 * 加锁
 * Enter description here ...
 */
 public function lock()
 {
 //如果无法开启ea内存锁，则开启文件锁
 if(!$this->eAccelerator)
 {
 //配置目录权限可写
 $this->fp = fopen($this->path, 'w+');
 if($this->fp === false)
 {
 return false;
 }
 return flock($this->fp, LOCK_EX);
 }else{
 return eaccelerator_lock($this->name);
 }
 }

 /**
 * 解锁
 * Enter description here ...
 */
 public function unlock()
 {
 if(!$this->eAccelerator)
 {
 if($this->fp !== false)
 {
 flock($this->fp, LOCK_UN);
 clearstatcache();

 fclose($this->fp);
 }
 }else{
 return eaccelerator_unlock($this->name);
 }
 }
}

测试的代码

<?php
require 'class.phplock.php';
$lock = new PHPLock('key_name');
if($lock->lock()){
 //do something here
 //进程安全的操作
 $lock->unlock();
}
else{
 //do something here
}

//使用过程中需要注意下文件锁所在路径需要有写权限.

需要注意的是在部分操作系统中，flock() 以处理级执行。当用一个多线程服务器 API（比如 ISAPI）时，可能不可以依靠 flock() 来保护文件，因为在同一服务器内运行在其它线程的 PHP 脚本可以对该文件进行处理。
参考链接：
并发下常见的加锁及锁的PHP具体实现
 phplock
best way to obtain a lock in php

PHP异步执行长时间任务

Wed, 20 Feb 2013 18:22:57 +0800

长时间执行的任务不适合放在PHP中执行应当放在任务调度系统或消息系统中由后台程序去执行，但是有时候还是需要在PHP中执行下长时间的任务，并且客户端不需要返回值。实现的思路大体如下：首先客户端发起一个不需要等待返回的请求，服务器端则需要忽略请求中断和执行时间，以免中途退出。

当有请求到达时，服务器端执行任务，在这里会产生一个文件。服务器端文件：

<?php 
//ob_start();
//header('Content-Type:text/html;charset=utf-8');
//header('Connection:close');
//flush();

ignore_user_abort(true);//忽略客户端连接中断
set_time_limit(0);//忽略页面执行超时
//Todo:do something here
sleep(10);
fopen(dirname( __FILE__ ).'\\'.time(), "w");
&#91;/php&#93;

1.使用<a href="http://php.net/manual/en/function.fsockopen.php">fsockopen</a>来请求服务端执行任务，该方法需要自己拼凑header，包括参数等


<?php 
function triggerRequest($url, $post_data = array(), $cookie = array()){ 
 $method = "GET"; //可以通过POST或者GET传递一些参数给要触发的脚本 
 $url_array = parse_url($url); //获取URL信息，以便平凑HTTP HEADER 
 $port = isset($url_array&#91;'port'&#93;)? $url_array&#91;'port'&#93; : 80; 
 $fp = fsockopen($url_array&#91;'host'&#93;, $port, $errno, $errstr, 30); 
 if (!$fp){ 
 return FALSE; 
 } 
 $getPath = $url_array&#91;'path'&#93; ."?". $url_array&#91;'query'&#93;; 
 if(!empty($post_data)){ 
 $method = "POST"; 
 } 
 $header = $method . " " . $getPath; 
 $header .= " HTTP/1.1\r\n"; 
 $header .= "Host: ". $url_array&#91;'host'&#93; . "\r\n "; //HTTP 1.1 Host域不能省略 
 $header .= "Connection:Close\r\n\r\n"; 
 if(!empty($cookie)){ 
 $_cookie = strval(NULL); 
 foreach($cookie as $k =--> $v){
 $_cookie .= $k."=".$v."; ";
 }
 $cookie_str = "Cookie: " . base64_encode($_cookie) ." \r\n";//传递Cookie
 $header .= $cookie_str;
 }
 if(!empty($post_data)){
 $_post = strval(NULL);
 foreach($post_data as $k => $v){
 $_post .= $k."=".$v."&";
 }
 $post_str = "Content-Type: application/x-www-form-urlencoded\r\n";//POST数据
 $post_str .= "Content-Length: ". strlen($_post) ." \r\n";//POST数据的长度
 $post_str .= $_post."\r\n\r\n "; //传递POST数据
 $header .= $post_str;
 }
 fwrite($fp, $header);
 fclose($fp);
 return true;
}
$url='http://127.0.0.1/learn/asyn/server.php';
triggerRequest($url);

2.使用curl来发起请求，可以方便的设置传递参数，cookie等，比fsockopen简洁许多，需要安装php_curl扩展

<?php
 $ch = curl_init();
 $data = array('param' => '1');
 curl_setopt($ch, CURLOPT_URL, 'http://127.0.0.1/learn/asyn/server.php');
 curl_setopt($ch, CURLOPT_POST, 1);
 curl_setopt($ch, CURLOPT_POSTFIELDS, $data);
 curl_setopt($ch, CURLOPT_TIMEOUT, 1);//1秒后立即执行
 curl_exec($ch);
 curl_close($ch);

也可以采用popen，ajax发起请求，详见参考链接。
参考链接
fsockopen函数用法
 使用fscok实现异步调用PHP
PHP实现异步调用方法研究
 说说php的异步请求
 php curl常用的5个例子

Nginx做简单的反向代理

Fri, 15 Feb 2013 17:52:35 +0800

Nginx是一个HTTP和反向代理服务器，可做为反向代理实现负载均衡的例子，也可以作为代理服务器，也经常作为web服务器使用。如果一台服务器装有多个web服务器则必须监听多个端口，对于用户的访问将是不友好，则需要一个统一的前端来进行分发。本文只是简单的利用Nginx作为前端代理服务器，代理不同的后端服务器:IIS和Apache，实现不同的域名解析至不同的服务器。

首先更改IIS的监听端口为8000，Apache的监听端口为9000，保证Nginx占有80端口和443端口。然后更改nginx.conf添加以下内容


server {
 listen 80;
 server_name iis.localhost;#要代理的域名

 location / {
 proxy_pass http://127.0.0.1:8000/;#内部服务器实际地址和监听端口
 proxy_redirect off;
 proxy_set_header X-Real-IP $remote_addr;
 proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

 }
}
 server {
 listen 80;
 server_name apache.localhost;

 location / {
 proxy_pass http://127.0.0.1:9000/;
 proxy_redirect off;
 proxy_set_header Host $host;
 proxy_set_header X-Real-IP $remote_addr;
 proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

 }
}

进阶操作，可按照参照此文设置前端缓存，注意以下内容须放入http{}内

client_body_buffer_size 512k;
proxy_connect_timeout 5;
proxy_read_timeout 60;
proxy_send_timeout 5;
proxy_buffer_size 16k;
proxy_buffers 4 64k;
proxy_busy_buffers_size 128k;
proxy_temp_file_write_size 128k;
proxy_temp_path D:/nginx/temp;
proxy_cache_path D:/nginx/cache levels=1:2 keys_zone=cache_one:256m inactive=7d max_size=1g;

再修改server中location{}的缓存设置如下

proxy_cache cache_one;
proxy_cache_valid 200 304 3d;
expires 10d;

参考链接：
nginx做为反向代理实现负载均衡的例子
 Nginx反向代理&前端全缓存相关配置教程
 （总结）Nginx与Apache、Tomcat、Resin动静分离核心配置

JasperReports flash打印实现

Thu, 14 Feb 2013 22:05:11 +0800

JasperReports是一个基于Java的开源报表工具，可以在ireport中进行设计后，输出HTML，PDF，Excell，OpenOffice和Word格式。JasperReports支持applet方式打印，但是flash方式却是注释掉的。在net\sf\jasperreports\flex\view\Viewer.mxml文件中

<!--
<mx:Button width="22" toolTip="Print Report" id="btnPrintReport0"
 buttonMode="true"enabled="false" >
 <mx:icon>@Embed(source='images/print.GIF')</mx:icon>
</mx:Button>
<mx:Button width="22" toolTip="Print Report" id="btnReload"
 buttonMode="true" enabled="true" click="btnReloadClick()">
 <mx:icon>@Embed(source='images/reload.GIF')</mx:icon>
</mx:Button>
 -->

本文主要完成JasperReports的flash打印功能，是基于JasperReports Flash Viewer 4.0.0修改，参考了网络上基于3.0版本的修改。将Viewer.mxml文件上面的文字修改为

<mx:Button width="22" toolTip="Print Report" id="btnPrintReport0"
 buttonMode="true" enabled="false" click="btnPrintReport()">
 <mx:icon>@Embed(source='images/print.GIF')</mx:icon>
</mx:Button>
<!--
<mx:Button width="22" toolTip="Print Report" id="btnReload"
 buttonMode="true" enabled="true" click="btnReloadClick()">
 <mx:icon>@Embed(source='images/reload.GIF')</mx:icon>
</mx:Button>
-->

在Viewer.mxml中找到refreshPage函数，启用打印按钮，将

if (report.pageCount > 0)
{
 var pageCanvas:PageCanvas = new PageCanvas(report.pages[pageIndex]);
 pageCanvas.scaleX = zoomRatio;
 pageCanvas.scaleY = zoomRatio;

 pageBox.visible = false;
 pageBox.removeAllChildren();
 pageBox.addChild(pageCanvas);
 pageBox.visible = true;
}

修改为

if (report.pageCount > 0)
{
 var pageCanvas:PageCanvas = new PageCanvas(report.pages[pageIndex]);
 pageCanvas.scaleX = zoomRatio;
 pageCanvas.scaleY = zoomRatio;

 pageBox.visible = false;
 pageBox.removeAllChildren();
 pageBox.addChild(pageCanvas);
 pageBox.visible = true;
 btnPrintReport0.enabled = true;
}

在Viewer.mxml中引入net\sf\jasperreports\flex\view\PrintMananger.as文件，以支持打印

import net.sf.jasperreports.flex.view.PrintManager;

在Viewer.mxml增加打印函数btnPrintReport

 public function btnPrintReport():void
			{
				PrintManager.printAll(jrpxmlUrl,pageFetchSize,report);
			}

net\sf\jasperreports\flex\view\PrintMananger.as文件内容

package net.sf.jasperreports.flex.view
{
	import flash.events.EventDispatcher;
	import flash.events.SecurityErrorEvent;
	import flash.events.Event;
	import flash.events.ProgressEvent;
	import mx.core.UIComponent;
	import mx.collections.IList;
	import mx.collections.ArrayCollection;
	import net.sf.jasperreports.flex.view.PageCanvas;
	import net.sf.jasperreports.flex.model.Report;
	import net.sf.jasperreports.flex.xml.ReportFactory;
	import flash.events.HTTPStatusEvent;
	import flash.net.URLLoader;
	import flash.net.URLRequest;
	import flash.events.IOErrorEvent;
	import mx.printing.FlexPrintJobScaleType;
	import mx.printing.FlexPrintJob;
	import mx.core.Application;
	import mx.containers.VBox;
	import mx.events.FlexEvent;

	public class PrintManager extends EventDispatcher
	{
		private var url:String;
 private var urlLoader:URLLoader;
		private var report:Report;
		private var pageIndex:int = 0;
		private var pageFetchSize:int = 1;

		private var componentsToBeInitialized:int = 0;
		private var pagesPrint:Array = [];

 public const LOAD_PAGE:String="loadPage";
 public const ALL_PAGE:String = "allPageLoader";

		public function PrintManager(){
 super();
 }

		public function get url():String
 {
 return url;
 }

 public function set url(value:String):void
 {
 url=value;
 }
		public function set fetchSize(fetchSize:int):void
		{
			pageFetchSize = fetchSize;
		}
 public static function printAll(url:String,fetchSize:int,report:Report):void
 {
 var pm:PrintManager = new PrintManager();
 pm.url = url;
			pm.pageFetchSize = fetchSize;
			pm.report = report;
 pm.loadAll();
 }
 private function loadAll():void
 {
 this.addEventListener(LOAD_PAGE, onLoadPage);
 this.addEventListener(ALL_PAGE, onAllPageLoaded);
			pageIndex=0;

			if (report)
			{
				var loadFlag:Boolean=false;
				while (pageIndex < report.pageCount) {
					if (!report.pages[pageIndex]) {
						loadFlag=true;
						break;
					}
					pageIndex++;
				}
			}

			if (loadFlag) {
				loadPage();
			}
 else{
 removeEventListener(LOAD_PAGE, onLoadPage);
 dispatchEvent(new Event(ALL_PAGE));
 }
 }

 private function onLoadPage(e:Event):void
 {
 pageIndex++;
 if (pageIndex < report.pageCount) {
				if(!report.pages[pageIndex]){
					loadPage();
				}
			}
 else{
 removeEventListener(LOAD_PAGE, onLoadPage);
 dispatchEvent(new Event(ALL_PAGE));
 }
 }

		public function onAllPageLoaded(event:Event):void
		{
			var cur:int;
			var uc:UIComponent;
			var pj:*;
			if (report != null){
				pj = new FlexPrintJob();
				pj.printAsBitmap = false;
				if (pj.start()){
					cur = 0;
					while (cur < report.pageCount) {
						uc = processPage(new PageCanvas(report.pages[cur]));
						Application.application.addChild(uc);
						pj.addObject(uc);
						Application.application.removeChild(uc);
						cur++;
					};
					pj.send();
				};
			} else {

			};
		}
		private function processPage(param1:PageCanvas):UIComponent{
			var vbox:* = new VBox();
			vbox.horizontalScrollPolicy = "off";
			vbox.verticalScrollPolicy = "off";
			vbox.width = report.pageWidth;
			vbox.height = report.pageHeight;
			vbox.setStyle("backgroundColor", "#FFFFFF");
			vbox.addChild(param1);
			return (vbox);
		}

 private function loadPage():void
 {
 urlLoader=new URLLoader();
 urlLoader.addEventListener(Event.COMPLETE, completeHandler);
 urlLoader.addEventListener(Event.OPEN, openHandler);
 urlLoader.addEventListener(ProgressEvent.PROGRESS, progressHandler);
 urlLoader.addEventListener(SecurityErrorEvent.SECURITY_ERROR, securityErrorHandler);
 urlLoader.addEventListener(HTTPStatusEvent.HTTP_STATUS, httpStatusHandler);
 urlLoader.addEventListener(IOErrorEvent.IO_ERROR, ioErrorHandler);
			if (report)
			{
				var goRight:Boolean = true;
				var goLeft:Boolean = true;
				var right:int = 0;
				var left:int = 0;

				while(goRight || goLeft)
				{
					if (
						goRight
						&& left + right + 1 < pageFetchSize
						&& pageIndex + right + 1 < report.pageCount
						&& !report.pages[pageIndex + right + 1]
						)
					{
						right++;
					}
					else
					{
						goRight = false;
					}

					if (
						goLeft
						&& left + right + 1 < pageFetchSize
						&& pageIndex - left - 1 >= 0
						&& !report.pages[pageIndex - left - 1]
						)
					{
						left++;
					}
					else
					{
						goLeft = false;
					}
				}

				urlLoader.load(new URLRequest(url + "&startPage=" + (pageIndex - left) + "&endPage=" + (pageIndex + right)));
			}
			else
			{
				//first load; pageIndex == 0
				urlLoader.load(new URLRequest(url + "&page=" + pageIndex));
			}
 }

 private function completeHandler(event:Event):void
 {
			var newReport:Report = ReportFactory.create(XML(urlLoader.data));

			var i:int;
			var pages:IList;

			if (report)
			{
				pages = report.pages;
			}
			else
			{
				//first load
				report = newReport;
				pages = new ArrayCollection(new Array(report.pageCount));
			}

			for(i = newReport.startPageIndex; i <= newReport.endPageIndex; i++)
			{
				pages[i] = newReport.pages[i - newReport.startPageIndex];
			}

			report.pages = pages;

			report.startPageIndex = Math.min(report.startPageIndex, newReport.startPageIndex);
			report.endPageIndex = Math.max(report.endPageIndex, newReport.endPageIndex);

			refreshPage();
 }
		private function openHandler(event:Event):void
		{
			trace("openHandler: " + event);
		}

		private function progressHandler(event:ProgressEvent):void
		{
			trace("progressHandler loaded:" + event.bytesLoaded + " total: " + event.bytesTotal);
		}

		private function securityErrorHandler(event:SecurityErrorEvent):void
		{
			trace("securityErrorHandler: " + event);
		}

		private function httpStatusHandler(event:HTTPStatusEvent):void
		{
			trace("httpStatusHandler: " + event);
		}

		private function ioErrorHandler(event:IOErrorEvent):void
		{
			trace("ioErrorHandler: " + event);
		}

 private function refreshPage():void
 {
			if (report) {
				this.dispatchEvent(new Event(this.LOAD_PAGE));
			}
 }
	}
}

编译Main.mxml运行，即实现打印功能，但是包含图片的打印依然打印不出来。对于这种动态图片的打印添加了等待事件完成，仍能无效，不知道有没有好的实现。
参考链接：
JasperReports Library
完成Flex报表设计、生成、打印功能
 Flex 4 Printing Problem with dynamic components

PHP/Java Bridge笔记

Thu, 14 Feb 2013 15:00:38 +0800

PHP/Java Bridge是基于xml的网络协议的实现，该协议使得本地脚本语言引擎（比如PHP,Python）能够连接Java虚拟机。它比通过SOAP的RPC调用更快，更节省服务器资源；比直接的Java本地接口通信要更快和更可靠，不需要额外的组件。Java应用比PHP要多，组件和类库也比PHP要多，比如JasperReports，通过PHP/Java Bridge可以为PHP 所用，当然也可以采用其他方式进行调用,比如官方的SOAP示例。

网上的关于JavaBridge安装文章较旧，现在的JavaBridge安装已经不需要java.so或php_java.dll，只需要php安装版本大于5.0，JDK版本大于1.4.2。本文是将JavaBridge放在Tomcat下运行的，独立运行参照此文设置。

将下载好的JavaBridge.war放入tomcat目录下的webapps下，启动Tomcat即可在webapps目录下看到JavaBridge文件夹，将JavaBridge下的java文件夹放到php的include目录（或程序运行目录）下。

打开http://127.0.0.1:8080/JavaBridge/运行示例，如果失败则可能是php未安装，解压版的可能导致失败如xampp。

在apache的网站目录下建立测试文件test.php，内容：

<?php 
require("java/Java.inc"); 
echo java("java.lang.System")->getProperties();

运行http://127.0.0.1/test.php查看输出，能看到系统信息，则表示安装成功。对于Java中要提供给php调用的jar应放在tomcat\webapps\JavaBridge\WEB-INF\lib目录下。注意此时在php中不需要用java_require()函数请求所需的jar文件，否则会提示“Warning: java_require() not supported anymore. ”。php中使用只需require(“java/Java.inc”)，然后用new Java()对应的类进行实例化，示例如下：

<?php 
require("java/Java.inc"); 
//java_require("Jphp.jar");//新版本不再需要 
$s = new Java("java.lang.String", "hello"); 
$java = new Java("Jphp"); $java->setName('Jphp');
echo $java->getName();

参考链接：
PHP/Java Bridge
詳全文_淺談PHP與Java之Web開發整合技術
 PHP通过php-java-bridge调用Java类中方法

Hello,World!

Wed, 13 Feb 2013 08:21:50 +0800

时间过的真快，仿佛没有留下什么，不如开个博客记录一下吧