Aug
24
rsync是个好东西，同步文件很方便，等啥时候有空了，可以考虑把内核提供的inotify功能结合起来，搞一个实时文件同步的应用 :D
回归主题，说说这个坑，线上的机器用rsync来进行文件的同步。
从昨天到今天这个问题一直出现，不管是2.6.8还是最新的3.0.8，看了N个使用例子，最后结果都是这样。Boluor同学的建议是配置信任关系（ssh-keygen -t rsa; ssh-copy-id user@remote_host），但是这样只是不需要输入密码，并没有解决问题。
于是RTFW，Google了一下，发现在 http://ss64.com/bash/rsync.html 的DIAGNOSTIC 一节有说明， .bashrc 等启动脚本的任何输出，都会影响rsync通过ssh同步时的数据流，导致协议不匹配。
以这个命令为例：
$ ssh user@remote_host /bin/true > out.txt
实际上所有的动作是
1. ssh 与 remote_host 的 sshd 交互
2. sshd fork出一个 user shell(一般是/bin/bash)
3. /bin/bash 载入 $USER/.bash_profile
4. .bash_profile一般会载入.bashrc
5. /bin/bash 执行/bin/true 并重定向stdin到out.txt
正常情况下，out.txt应该是一个空文件。如果在这个过程中有任何输出（比如我当时的.bashrc有一个echo），就会导致rsync在执行过程中的数据有额外的GARBAGE，出现问题。
OVER.
回归主题，说说这个坑，线上的机器用rsync来进行文件的同步。
$ rsync -az --delete /home/user/files/ user@remote_host:/home/user/files/
user@remote_host's password:
TERM environment variable not set.
protocol version mismatch -- is your shell clean?
(see the rsync man page for an explanation)
rsync error: protocol incompatibility (code 2) at compat.c(174) [sender=3.0.8]
user@remote_host's password:
TERM environment variable not set.
protocol version mismatch -- is your shell clean?
(see the rsync man page for an explanation)
rsync error: protocol incompatibility (code 2) at compat.c(174) [sender=3.0.8]
从昨天到今天这个问题一直出现，不管是2.6.8还是最新的3.0.8，看了N个使用例子，最后结果都是这样。Boluor同学的建议是配置信任关系（ssh-keygen -t rsa; ssh-copy-id user@remote_host），但是这样只是不需要输入密码，并没有解决问题。
于是RTFW，Google了一下，发现在 http://ss64.com/bash/rsync.html 的DIAGNOSTIC 一节有说明， .bashrc 等启动脚本的任何输出，都会影响rsync通过ssh同步时的数据流，导致协议不匹配。
以这个命令为例：
$ ssh user@remote_host /bin/true > out.txt
实际上所有的动作是
1. ssh 与 remote_host 的 sshd 交互
2. sshd fork出一个 user shell(一般是/bin/bash)
3. /bin/bash 载入 $USER/.bash_profile
4. .bash_profile一般会载入.bashrc
5. /bin/bash 执行/bin/true 并重定向stdin到out.txt
正常情况下，out.txt应该是一个空文件。如果在这个过程中有任何输出（比如我当时的.bashrc有一个echo），就会导致rsync在执行过程中的数据有额外的GARBAGE，出现问题。
OVER.
Aug
16
换到VPS以后，悲摧地发现，一旦我访问 felix021.com/test 或者 test.bin(用来下载测带宽) 或者 tst 甚至 ts 都会被BAN。
使用各种方法来排除原因：
1. niginx.conf 里面没有任何关于ban ip的设置
2. 使用apache，情况复现
3. denyhosts里面只配置了ssh的rule
4. 换了8080或者8081端口就不会被BAN
5. 仅仅是80端口被ban（使用nc -v测试，一旦connect成功，立即被断开），而ssh链接等其他端口的应用不受影响
6. 发mail问了VPS提供商，告知没有任何此类限制(曾经在meyu.net 禁止访问 xxx/ip，防灰鸽子)
7. 换了个VPS/IP情况依旧
8. 换了个域名，情况正常。
9. 番羽土啬以后一切正常。
于是突然想起，在使用Godaddy主机的时候，用twitter比较多，觉得总是番羽土啬比较不爽，而且官网图片什么的都不好使，所以曾经在 felix021.com/t 放了个twitese……
于是本域名荣幸地晋级GFW黑名单，特发此文庆贺。
p.s. 本站备用域名 http://tuidaota.com ，目前没有被土啬女干的迹象。
使用各种方法来排除原因：
1. niginx.conf 里面没有任何关于ban ip的设置
2. 使用apache，情况复现
3. denyhosts里面只配置了ssh的rule
4. 换了8080或者8081端口就不会被BAN
5. 仅仅是80端口被ban（使用nc -v测试，一旦connect成功，立即被断开），而ssh链接等其他端口的应用不受影响
6. 发mail问了VPS提供商，告知没有任何此类限制(曾经在meyu.net 禁止访问 xxx/ip，防灰鸽子)
7. 换了个VPS/IP情况依旧
8. 换了个域名，情况正常。
9. 番羽土啬以后一切正常。
于是突然想起，在使用Godaddy主机的时候，用twitter比较多，觉得总是番羽土啬比较不爽，而且官网图片什么的都不好使，所以曾经在 felix021.com/t 放了个twitese……
于是本域名荣幸地晋级GFW黑名单，特发此文庆贺。
p.s. 本站备用域名 http://tuidaota.com ，目前没有被土啬女干的迹象。
Aug
14
世界上最遥远的距离不是生与死，而是电信和网通之间的距离。
最近晚上都会玩会儿游戏，但是家里是网通的宽带，延迟很大，有时甚至直接提示无法连接服务器，略囧。
为了能够比较顺畅地玩游戏，以前曾经用过“迅雷网游加速器”和“99sushe网游加速器”这两个软件。
以前两款都是收费的，但是都有免费的3~7天试用期。用上以后，可以明显感觉到延迟变小，游戏可玩性增强，只是免费试用期比较短，用了几天以后必须换个账号才行，很麻烦。
不过最近迅雷网游加速器居然永久免费了，毕竟是马上要上市的公司，财大气粗。。
有网游需求的各位同学，推荐试试： http://jsq.xunlei.com
-----
p.s. 写本文的主要目的是参加“写博客，免费得加速器VIP”活动，最多可以送一年，有兴趣的同学也别错过机会……
鉴于本博客是技术博客，简单扯两句。。网游加速器的原理和主要模型其实很简单。
以开头那句话为例，游戏客户端A@网通，网游服务器B@电信，可知A-B之间的延迟通常大得离谱。
于是，搞一台有双网卡的机器X，分别接入电信和网通的线路（这样可以使得 A-X 和 X-B 之间的延迟都很小），并且用iptables之类的东西，配置来自不同网卡的数据包的走向，这样就可以搭好两个网络之间的一座桥。在客户端A，可以使用hook技术拦截游戏发出的数据包，将其处理以后发给这台X，由X将数据包发给游戏服务器B(本来是A->B, 现在变成A->X->B)，然后B返回的数据包由X转给A(B->X->A)，这样就能够使得A-B之间的通信延迟大幅降低。
但是在具体实施上还会遇到很多问题，比如
1. 一台服务器显然不够全国这么多玩家使用，于是需要设置多台服务器。
2. 并不是所有A和X之间的延迟都一样，应该使用ping（icmp）来选择延迟最小的。但是要同时考虑到负载均衡的问题，一台服务器不能连入太多客户端。
3. 从效益上考虑，一台服务器应该尽可能多地承载客户端，这时需要改进技术，比如使用epoll/kqueue来替换传统的select/poll。并且，有些游戏对延迟要求高，有些要求低，可以在一定程度上优化服务器的处理方式。
4. 在用户的机器上，需要对不同的网游客户端进行优化，有些客户端可能会防外挂（这里可能涉及到运营的策略）。还要考虑防火墙的穿透问题。
5. 全国有各种大大小小的运营商，电信网通教育网移动这些是大的，各个地方还会有很多小的运营商，需要增加各种服务器。
6. 。。。。
好了，字数很够了，就废话这么多吧。
最近晚上都会玩会儿游戏，但是家里是网通的宽带，延迟很大，有时甚至直接提示无法连接服务器，略囧。
为了能够比较顺畅地玩游戏，以前曾经用过“迅雷网游加速器”和“99sushe网游加速器”这两个软件。
以前两款都是收费的，但是都有免费的3~7天试用期。用上以后，可以明显感觉到延迟变小，游戏可玩性增强，只是免费试用期比较短，用了几天以后必须换个账号才行，很麻烦。
不过最近迅雷网游加速器居然永久免费了，毕竟是马上要上市的公司，财大气粗。。
有网游需求的各位同学，推荐试试： http://jsq.xunlei.com
-----
p.s. 写本文的主要目的是参加“写博客，免费得加速器VIP”活动，最多可以送一年，有兴趣的同学也别错过机会……
鉴于本博客是技术博客，简单扯两句。。网游加速器的原理和主要模型其实很简单。
以开头那句话为例，游戏客户端A@网通，网游服务器B@电信，可知A-B之间的延迟通常大得离谱。
于是，搞一台有双网卡的机器X，分别接入电信和网通的线路（这样可以使得 A-X 和 X-B 之间的延迟都很小），并且用iptables之类的东西，配置来自不同网卡的数据包的走向，这样就可以搭好两个网络之间的一座桥。在客户端A，可以使用hook技术拦截游戏发出的数据包，将其处理以后发给这台X，由X将数据包发给游戏服务器B(本来是A->B, 现在变成A->X->B)，然后B返回的数据包由X转给A(B->X->A)，这样就能够使得A-B之间的通信延迟大幅降低。
但是在具体实施上还会遇到很多问题，比如
1. 一台服务器显然不够全国这么多玩家使用，于是需要设置多台服务器。
2. 并不是所有A和X之间的延迟都一样，应该使用ping（icmp）来选择延迟最小的。但是要同时考虑到负载均衡的问题，一台服务器不能连入太多客户端。
3. 从效益上考虑，一台服务器应该尽可能多地承载客户端，这时需要改进技术，比如使用epoll/kqueue来替换传统的select/poll。并且，有些游戏对延迟要求高，有些要求低，可以在一定程度上优化服务器的处理方式。
4. 在用户的机器上，需要对不同的网游客户端进行优化，有些客户端可能会防外挂（这里可能涉及到运营的策略）。还要考虑防火墙的穿透问题。
5. 全国有各种大大小小的运营商，电信网通教育网移动这些是大的，各个地方还会有很多小的运营商，需要增加各种服务器。
6. 。。。。
好了，字数很够了，就废话这么多吧。
Aug
14
Godaddy的虚拟主机用了一年半，不想用了。价格不算很便宜，虽然配置还行，但毕竟是虚拟主机，限制多。
前几天在 czyhd同学 的推荐下，到forum.ubuntu.org.cn去买了那边代购的burstNET的VPS。
是OpenVZ的Linux VPS，很便宜，35/月，1G CPU + 512MB RAM + 20G HDD + 1TB/month 流量。显然是超售的，不过不要紧，够用就行。
说到VPS，现在低价VPS主要就是Xen和OpenVZ型的。
Xen型的VPS虚拟化的层次比较低（内核和硬件之间），所以可用性还较高，可以自己编译安装内核模块，挂载SWAP，而且不容易超售（所以价格偏高一点）。
OpenVZ型的VPS，虚拟化层次比较高（内核和App之间），内核是固定的，没法定制化（比如说没有ppp模块，不能安装PPTP VPN），不能用SWAP，一旦申请的内存超过VPS的内存配额，就会失败。可用性略低一点。不过对于上层用户看来，还是一个完整的机器，而且"重启"速度超快，一般只要两三秒即可。
搞了VPS，有些事情就必须自己考虑了，比如说安全问题，比如说内存资源的管理。
安全上，不想搞太多，禁止ROOT登录，并装了个 denyhosts ，将多次尝试SSH登录失败的IP ban掉。就这样。
按照以前的思路，先搞了个Apache+PHP+MySQL，结果一开机内存就占用250M。原先在Godaddy上面，因为是虚拟主机，所以是不允许程序长时间运行，所以我用Dropbox备份网站的时候，是每隔4个小时跑一次。本以为在VPS上面就没有这个限制了，但是我发现，Dropbox的内存占用非常高……一打开就需要占用150M，并且随着时间增加，占用的内存会不断增加，最终把所有RAM耗尽。
于是需要优化。首先当然是要 Apache 换成nginx。用了论坛上oneleaf提供给VPS的lnmp.sh，很快就换了过来，然后发现内存占用没少……ps aux看了一下，发现php-fpm进程跑了10个，nginx的work也有5个，于是修改/etc/php5/fpm/php5-fpm.conf 把 pm.max_children = 10改成5；修改 /etc/nginx/nginx.conf 把worker_process 5修改成3。重启以后效果显著，内存占用降到了180M。
MySQL也是个内存大户，修改/etc/mysql/my.cnf，将query_cache_size降到8M，key_buffer降到4M，重启后，内存占用减少接近20M。
更进一步，使用dropbear来替换openssh server。openssh server的sshd占用内存比较大（4M+），如果一次多开几个terminal（比如用secureCRT，这个非常正常），内存占用马上就会上升一大截。Dropbear则只需要占用大约1M，相当节约。不过有个坏处就是，Dropbear的socks5 proxy似乎不如sshd，像twitter和facebook就总是打不开。
经过内存优化，开机以后内存占用仅154M，对于我这个以个人Blog为主的小站而言，已经比较充裕，不是很有必要进一步再压榨性能了 :D
不过还有一些棘手的问题，下回再写。
p.s. 这里有一个超省内存的教程 http://www.lowendbox.com/blog/yes-you-can-run-18-static-sites-on-a-64mb-link-1-vps/
前几天在 czyhd同学 的推荐下，到forum.ubuntu.org.cn去买了那边代购的burstNET的VPS。
是OpenVZ的Linux VPS，很便宜，35/月，1G CPU + 512MB RAM + 20G HDD + 1TB/month 流量。显然是超售的，不过不要紧，够用就行。
说到VPS，现在低价VPS主要就是Xen和OpenVZ型的。
Xen型的VPS虚拟化的层次比较低（内核和硬件之间），所以可用性还较高，可以自己编译安装内核模块，挂载SWAP，而且不容易超售（所以价格偏高一点）。
OpenVZ型的VPS，虚拟化层次比较高（内核和App之间），内核是固定的，没法定制化（比如说没有ppp模块，不能安装PPTP VPN），不能用SWAP，一旦申请的内存超过VPS的内存配额，就会失败。可用性略低一点。不过对于上层用户看来，还是一个完整的机器，而且"重启"速度超快，一般只要两三秒即可。
搞了VPS，有些事情就必须自己考虑了，比如说安全问题，比如说内存资源的管理。
安全上，不想搞太多，禁止ROOT登录，并装了个 denyhosts ，将多次尝试SSH登录失败的IP ban掉。就这样。
按照以前的思路，先搞了个Apache+PHP+MySQL，结果一开机内存就占用250M。原先在Godaddy上面，因为是虚拟主机，所以是不允许程序长时间运行，所以我用Dropbox备份网站的时候，是每隔4个小时跑一次。本以为在VPS上面就没有这个限制了，但是我发现，Dropbox的内存占用非常高……一打开就需要占用150M，并且随着时间增加，占用的内存会不断增加，最终把所有RAM耗尽。
于是需要优化。首先当然是要 Apache 换成nginx。用了论坛上oneleaf提供给VPS的lnmp.sh，很快就换了过来，然后发现内存占用没少……ps aux看了一下，发现php-fpm进程跑了10个，nginx的work也有5个，于是修改/etc/php5/fpm/php5-fpm.conf 把 pm.max_children = 10改成5；修改 /etc/nginx/nginx.conf 把worker_process 5修改成3。重启以后效果显著，内存占用降到了180M。
MySQL也是个内存大户，修改/etc/mysql/my.cnf，将query_cache_size降到8M，key_buffer降到4M，重启后，内存占用减少接近20M。
更进一步，使用dropbear来替换openssh server。openssh server的sshd占用内存比较大（4M+），如果一次多开几个terminal（比如用secureCRT，这个非常正常），内存占用马上就会上升一大截。Dropbear则只需要占用大约1M，相当节约。不过有个坏处就是，Dropbear的socks5 proxy似乎不如sshd，像twitter和facebook就总是打不开。
经过内存优化，开机以后内存占用仅154M，对于我这个以个人Blog为主的小站而言，已经比较充裕，不是很有必要进一步再压榨性能了 :D
不过还有一些棘手的问题，下回再写。
p.s. 这里有一个超省内存的教程 http://www.lowendbox.com/blog/yes-you-can-run-18-static-sites-on-a-64mb-link-1-vps/
