Oct 29

php code snippit 不指定

felix021 @ 2015-10-29 10:51 [IT » 程序设计] 评论(0) , 引用(0) , 阅读(9943) | Via 本站原创
转置二维数组：
function transpose($array) {
    array_unshift($array, null);
    return call_user_func_array('array_map', $array);
}


utf-8字符串转为utf-8字符数组：
function utf8_str2arr($str)
{
    preg_match_all("/./u", $str, $arr);
    return $arr[0];
}


按显示宽度截取utf-8字符串
function substr_width($str, $start, $width)
{
    $arr = utf8_str2arr($str);
    $arr_ret = [];
    $i = 0;
    while ($width > 0 and $i < count($arr))
    {
        $arr_ret[] = $arr[$start + $i];
        if (strlen($arr_ret[$i]) == 1) //ascii,width=1
            $width -= 1;
        else
            $width -= 2;
        $i++;
    }
    if ($width < 0)
        array_pop($arr_ret);
    return join('', $arr_ret);
}


让进程在后台运行（detached process），出乎意料地简单
pclose(popen("nohup $cmd &", 'r'));
Oct 16

ssh clone session 不指定

felix021 @ 2015-10-16 11:48 [IT » 软件] 评论(2) , 引用(0) , 阅读(6484) | Via 本站原创
在Windows下用惯了Secure CRT的Clone Session功能，切换到mac下面，还真有点怀念。于是搜了一下，发现达到类似的效果倒是也不难。

1. mkdir ~/.ssh/cm_socket

2. 创建 ~/.ssh/config

  Host *
  ControlMaster auto
  ControlPath ~/.ssh/cm_socket/%r@%h:%p

3. 之后只要是相同的 user@host:port 都会共用一个tcp connection，不需要再输入密码了。

p.s. 补充说明一下，通常来说，能登录服务器也就意味着可以建立信任关系，那么clone session的意义就减少了很多，但是仍然有两个优势：

1. 类似B公司的relay机器，必须使用token认证才能登录的，信任关系不能满足需求(Google Authenticator这样的两步认证方案也类似)

2. 对于延迟比较高的机器，直接复用tcp connection，可以减少相当多的时间（tcp三次握手、ssh认证的各种交互等）。
Aug 18

T02安装Ubuntu 不指定

felix021 @ 2015-8-18 12:42 [IT » 操作系统] 评论(1) , 引用(0) , 阅读(14056) | Via 本站原创
前一段时间在京东众筹购入了一款名为"光棍一号T02"的电视棒，Intel Atom Z3735F(1.33G*4) + 2GB + 32GB，之所以下单，最主要是因为他们家宣称可以支持ubuntu（因为看起来好像就是intel Compute Stick的贴牌产品，而后者是可以支持ubuntu的）。可是到手了以后，问了众筹方才知道，原来安装镜像是不公开的，需要在发货前说明，他们装好再寄过来（跟Compute Stick一个尿性，据说是因为第三方的驱动问题）。没办法，只能自己动手了。

在网上有找到一篇文章：Install Ubuntu 14.04 LTS on the 2GB Intel Compute Stick，里面提供了一个64bit的ubuntu 14.04镜像以及相应的步骤，可以直接安装到2GB内存的Compute Stick上；以及对安装32位UEFI支持的一些说明和提示。

情况是这样的，Intel Compute Stick 2GB+32GB版本出厂预装的是Win8，Ubuntu版本只有1GB内存+16GB存储，所以大神们琢磨着弄一个ubuntu到windows版本上去，可是intel官方因为第三方驱动的原因不开放镜像，于是他们自己做了一个。从文章里可以知道，stick可以在UEFI里面选择启动的系统是32bit的win8还是64bit的ubuntu，也就是说可以按需向操作系统提供32/64位的uefi接口。可是手头的这个T02只有一个非常简单的32bit的uefi，所以整个过程就比较蛋疼了，下面记录一下，备忘。

1. 准备相关材料：http://pan.baidu.com/s/1qWN0jIO

包括 (a) 安装镜像 ubuntu14.04_z3735f.iso (b) 启动盘制作工具rufus-2.2p.exe (c) 支持32位efi的grub启动器 bootia32.efi (d) 安装后用的grub.tar.gz

2. 制作启动盘

使用rufus把iso写入到一个U盘里。把wubi.exe删掉，然后把 bootia32.efi 放到 EFI/BOOT/ 下面

3. 安装使用启动盘启动T02，可以先通过"try ubuntu"体验一下效果。

(a) 如果希望直接安装的话，建议选择"install ubuntu"，比较快且不容易出错。
(b) 安装中进行分区的时候选择“使用整个磁盘”，这样会自动使用GPT分区并且创建一个EFI分区。由于本身内存空间有限，建议不要考虑双系统共存了。
(c) 安装期间建议不要插入TF卡，速度超慢。不要安装到TF卡上。

==》 安装完以后不要急着重启

4. 复制文件

(a) 把启动盘上的 bootia32.efi 拷贝到新系统的 [挂载点]/boot/efi/EFI/ubuntu 下面去。
(b) 把grub.tar.gz的内容解压到新系统的随便一个目录中（比如 /home 下面）

5. 重启，进入EFI Shell（因为新系统中没有包含配置好的32位的启动程序，会自动进入到EFI Shell中）

6. 进入grub shell：根据前面列出文章中的Troubleshooting，按顺序执行：

(a) fs0:  （注意冒号）
(b) cd EFI\ubuntu
(c) bootia32.efi  （于是就引入了一个裸的grub shell）

7. 进入initrd中的准系统：在grub shell下面执行

(a) linux (hd0,gpt2)/vmlinuz
(b) initrd (hd0,gpt2)/initrd.img
(c) boot

于是就进入了initrd中的

8. 安装支持32位efi的grub（这一步可能有点坑）

(a) chroot到rootfs
$ mkdir -p /rootfs
$ mount -o rw -t ext4 /dev/mmcblk0p2 /rootfs
$ mount -t vfat /dev/mmcblk0p1 /rootfs/boot/efi/
$ mount --bind /dev /rootfs/dev
$ cd /rootfs
$ chroot .

(b) 安装grub-ia32
这一步记得不是很清楚了，因为各种deb包有奇怪的依赖关系，总之大概是这样的：
$ cd /home
$ dpkg -i *.deb
根据报错信息按需卸载系统中存在的package（dpkg --remove xxx），然后再重新执行上一句直到安装成功。

【注意】安装成功以后、在/rootfs/efi/EFI/ubuntu下面应该有 grubia32.efi 这个启动器。

(c) 重启进入efi shell
是的，因为efi配置里面还是grubx64.efi

9. 从EFI Shell启动进入系统

> fs0:
> cd EFI\ubuntu
> grubia32.efi

一切顺利的话，这里就可以启动进入ubuntu了（真心不容易啊）。

10. 更新EFI配置（依然是参考文章的Troubleshooting）

$ sudo apt-get install efibootmgr #安装EFI配置编辑器
$ sudo efibootmgr -v #查看当前的efi配置（可以看到启动器是grubx64.efi，这个不对！）
$ sudo efibootmgr -b 0003 -B  #删除所有的EFI启动配置
$ sudo efibootmgr -b 0002 -B
$ sudo efibootmgr -b 0001 -B
$ sudo efibootmgr -b 0000 -B
$ sudo efibootmgr -c -d /dev/mmcblk0 -p 1 -l \\EFI\\ubuntu\\grubia32.efi -L ubuntu #加入新的启动配置
$ sync

大功告成！


==== 后记 ====

启动以后就可以按需安装各种package拉，运行速度还不错，wifi没问题，显卡驱动正常（可以调整分辨率），但是声音和蓝牙驱动貌似还是有问题，不过对于一个server来说都是小问题。稍微麻烦一点的是wifi的延迟不太正常，局域网每两次ping的响应，差不多都会有一次是1000ms, 一次是2ms，但是加上一个有线USB网卡以后就都一切正常（这是什么病啊。。），接下来再试用几天看看拉。

@2015-08-19
T02是Intel Atom Z3735f (BayTrail)方案（x86_64 1.33GHz*4 + 2GB ram + 32GB rom），手头有一个2012年8月份入手的mk802（居然已经3年了，依然在勤恳地工作！感谢它！），全志A10的方案（Cortex A8 1GHz*1 + 1GB ram + 4GB rom），二者都安装上了Ubuntu Desktop版，正好作个对比。

实际使用上二者性能上的差距还是蛮直观的，ssh登录的时候，T02马上就进入shell，MK要卡几秒；在桌面程序上，比如Chrome，启动速度、页面加载速度什么的，感受很明显。下面是一些简单的测试数据：

1. 最简单的，编译一个 busy.c 源码（main里面只有一行 while(1)）：
T02：0.124s
MK：0.251s

2. 编译bash
以前自己打过patch的一个bash的tar.gz

2.1 解压
T02：0.598s
MK：1.552s

2.2 configure
T02：1min
MK：1min56s

2.3 make
T02：2min16s（make），45s（make -j4）
MK：5m26s

3. CPU温度/频率@T02
这个只测T02：一个720p视频播放、5个busy.c的a.out，测试是否有风扇对着吹的情况
无风扇：81°C/81°C/87°C/87°C，500MHz*4（自动降频）
有风扇：72°C/72°C/79°C/79°C，1333MHz*4（继续吹可能还会再降点温）
Jul 14

vim tips 不指定

felix021 @ 2015-7-14 11:00 [IT » 软件] 评论(0) , 引用(0) , 阅读(3293) | Via 本站原创
~ vimdiff 比对文件的时候，可以使用 "]c" 或者 "[c" 跳转到下一个/上一个不同的地方。

~ retab 将文件中的tab字符按vimrc中指定的格式转换成空格

~ 未完待续
Jul 7

记一个诡异的问题 不指定

felix021 @ 2015-7-7 23:36 [IT » 操作系统] 评论(0) , 引用(0) , 阅读(9684) | Via 本站原创
今天Sandy同学在开发一个网络相关应用的时候遇到了一个奇怪的问题。

大约是这样的一个单例类Foo（以下是类python的伪代码，实际是VB.NET），当调用方法 bar('remove', key, value) 的时候，经常（而不是总是）在for循环过程中报错，错误信息是 "循环过程中_pool已经被修改" 。

class Foo(singleton):
    _pool  = {}
    _mutex = Threading.Mutex()

    def bar(self, action, key, value=None):
        self._mutex.waitOne()

        if action == 'add':
            self._pool[key] = value

        else: #'remove'
            remove_keys = []
            for key, value in self._pool.items():
                if do(key, value):
                    remove_keys.append(key)
            for key in remove_keys:
                del self._pool[key]

        self._mutex.release()

_pool 作为Foo的一个私有成员并且被 _mutex 保护着，理论上是不会出现这个问题的，然而各种排查的表现都指向了线程间的竞争问题，因为只有在调用到 bar('add', key, value) 的时候，_pool才有可能被修改到。

仔细查了一下MSDN上面Threading.Mutex的说明，在备注一栏中藏着一句话："拥有互斥体的线程可以在对 WaitOne 的重复调用中请求相同的互斥体而不会阻止其执行。"，也就是说，如果是同一个线程两次调用 bar 方法的话，这个 _mutex 就相当于失效了。

换用其他的互斥锁机制（例如Syncing）并不解决这个问题（事实上Mutex已经是第三个尝试选项了）。我们甚至试着采用Threading.Senaphore，然而却导致整个进程卡住。

于是debug.print把 Threading.Thread.CurrentThread.ManagedThreadId 输出到控制台，发现在出现错误之前是有多个不同的thread id，但是出错的时候，确实是同一个线程两次调用 bar 方法，也就是说 _mutex 确实不能解决这个问题。

经过各种排查，确认是正好在 do(key, value) 方法调用中出现的，然而 Sandy 同学信誓旦旦地保证，do(key, value) 方法绝对不可能递归地调用回到 bar 函数。由于 do(key, value) 内部调用了某个阻塞的网络请求，据此我推测，.NET的网络模型底层使用了线程+纤程的模型，那只能想办法了。通过查看 bar('add', key, value) 的调用栈，发现确实这是同一个请求，但是中间夹杂了一个未知的"外部过程"，也就是说空闲的线程被调度来做其他的事情了。

深坑一个，但是既然找到了原因，就可以考虑如何针对性地去解决它，初步的想法是，Semaphore理论上应该是可以解决这个问题的，可能之前没有细看MSDN、调用方式有点问题。

Sandy同学的想法是，既然 Mutex 已经过滤掉了线程间的冲突，那我们就自己模拟 Semaphore 来解决线程内的冲突，只要简单增加一个初始值为 0 的 _counter 变量 ，在 self._mutex.waitOne() 后面加上
while self._counter != 0:
    Threading.sleep(10) #10ms
self._counter = 1

并在 self._mutex.release() 之前执行 self._counter = 0 就可以了。

想法是美好的，但是一执行就卡死在 foo('add') 调用的 while 循环里。简单分析一下就能发现，这个线程既然一直在while循环里面，就不可能被调度回到 foo('remove') 的纤程去修改 _counter=0，于是就卡住了。

没办法，再回头去仔细看MSDN，Threading.Semaphore 确实没有类似Mutex这样的同线程调用，于是把这个代码按照Example重新写了一遍，但是还是卡死了……

然后我瞬间醒悟过来——这似乎根本就是一个因为.net底层实现导致的死锁！除非上层应用能控制线程调度的细节，否则无论是信号量还是修改过的Mutex（同一个线程不能多次获得的）都不能解决这个问题。于是暂时的结论是可能要采用自己实现的线程池来进行调度，但是改动似乎很大。

完。

UPDATE @ 20150720 后来仔细考虑了下，根本问题是在do(key, value) 内部调用的那个“阻塞”请求，在临界区内本就不该调用阻塞请求。按照.net的文档，那个请求应当是非阻塞的，但是不知道为什么在这里阻塞了。由于我对.net并不了解，我没有再继续追究了。
Dec 31

记一次蛋疼的性能调优 不指定

felix021 @ 2014-12-31 16:49 [IT » Python] 评论(2) , 引用(0) , 阅读(15837) | Via 本站原创
手头项目中有一个模块，一般情况下需要用python将数十万条数据加载到一个dict中处理，其中每条数据是一个小的dict，整体速度稍微有点慢（毕竟python不适合处理大量琐碎的小对象），由于在性能要求范围内，所以也没怎么在意。

但是在最近的性能测试中用160w+数据来压的时候，发现性能恶化得厉害。虽然算法是线性的，但是实际运行时间却明显不对劲。增加一些log后，发现在处理过程中，每隔几万条数据就会出现一个很明显的lag，而且lag的时间越拉越长。

由于不像是算法本身的问题，初步猜测可能是python中dict的rehash带来的时间开销。但是根据一般哈希表的实现方法，lag出现得太平均，又不是很符合逻辑。

大胆假设，小心求证，翻了一下python源码，Objects/dictobject.c 中 "static int dictresize(PyDictObject *mp, Py_ssize_t minused)" 函数被多处调用，其中PyDict_SetItem的末尾的调用是："dictresize(mp, (mp->ma_used > 50000 ? 2 : 4) * mp->ma_used)"，也就是说，在需要rehash的情况下，按4倍（少于50000个item）或2倍的规模扩大。

用下面这段代码测试1600w数据，将输出数据拷贝到Excel并生成图表，可以很明显地看出lag的出现规律与上述扩张规则非常相符。
begin = time.time()
i = 0
d = {}
while True:
    i += 1
    if i % 50000 == 0:
        print '%d\t%.4f' % (i, time.time() - begin)
    d[i] = i


{图一}
点击在新窗口中浏览此图片

将上述代码稍作修改，每次插入的value是个dict，测试100w数据，生成图表，每隔10w左右产生一个lag，且lag时间越拉越长，与遇到的问题现象一致。
from copy import deepcopy
data = {'abcdefg': 1234, 'hijklnm': 4.0, 'opqrst': 'uvwxyz'}
begin = time.time()
i = 0
d = {}
while True:
    i += 1
    if i % 50000 == 0:
        print '%d\t%.4f' % (i, time.time() - begin)
    d[i] = deepcopy(data)


{图二}
点击在新窗口中浏览此图片

因此大体可以判断问题出在大量零碎小对象上，很自然地，就联想到会不会是gc在捣蛋。查了一下，虽然Python对象内部是引用计数的管理方式，但是为了避免循环引用导致的内存泄漏，解释器还是内置了一个gc，当现有对象数量超过某个阈值以后扫描一下，看看是否可以回收一些空间。由于我们的代码中并不存在循环引用的对象，这种gc其实是没有意义的，于是把gc关掉再测：
from copy import deepcopy
import gc
gc.disable()
data = {'abcdefg': 1234, 'hijklnm': 4.0, 'opqrst': 'uvwxyz'}
begin = time.time()
i = 0
d = {}
while True:
    i += 1
    if i % 50000 == 0:
        print '%d\t%.4f' % (i, time.time() - begin)
    d[i] = deepcopy(data)


{图三}
点击在新窗口中浏览此图片

一条直线。
Nov 30

Python多进程库multiprocessing的封装 不指定

felix021 @ 2014-11-30 22:09 [IT » Python] 评论(0) , 引用(0) , 阅读(12405) | Via 本站原创
最近项目上有需要，大概就是有一个list里的东西需要处理，例如一堆文件什么的，于是有一个file_processor——按顺序处理一个文件列表。简单封装了一下multiprocessing这个库，发现用起来很方便，很轻松地就实现了多进程并行处理（进程间无交互）：

import multiprocess

slices = multiprocess.split_list(filelist, 8) #分成8份
processes = map(lambda slice: multiprocess.spawn(file_processor, slice), slices)
sys.exit(multiprocess.start_and_join(processes))


multiprocess.py 则是这样的：
#!/usr/bin/python
#coding: utf-8

import sys
from multiprocessing import Process

def split_list(data, n_slice, hash_func=lambda i, d: i): #default: sequential
    slices = []
    for i in range(n_slice):
        slices.append([])

    for i, d in enumerate(data):
        slices[hash_func(i, d) % n_slice].append(d)

    return slices

def spawn(target, *args, **kwargs):
    return Process(target=target, args=args, kwargs=kwargs)

def start_and_join(processes, killall_if_fail=True):
    for p in processes:
        p.start()

    exitcode = 0
    for p in processes:
        p.join()
        if p.exitcode != 0:
            exitcode = p.exitcode
            break

    if exitcode != 0:
        for p in processes:
            if killall_if_fail and p.is_alive():
                p.terminate()

    return exitcode
Oct 14

virtualbox虚拟机中nat和host only的网络“冲突”问题 不指定

felix021 @ 2014-10-14 11:26 [IT » 网络] 评论(1) , 引用(0) , 阅读(10750) | Via 本站原创
我大约从2010年起，就一直在自己的机器上使用 Windows宿主机+Ubuntu Server@VBox虚拟机 这种组合，一方面不用抛弃windows上早已熟悉的众多GUI软件，另一方面又可以享受到Linux带来的便利，在上面做开发等等。

虽然仅仅用一个NAT就可以解决网络的问题，但是如果每次新增一个服务就要添加一个端口映射也很麻烦，所以我开了双网卡，另一个使用Host-Only，这样主机和虚拟机之间可以直接互访。

虽然有人说用Bridged Network也能解决这个问题，但是前述方法却有更多好处：首先因为是外网无法直接访问这台机器，所以可以使用弱密码；其次虚拟机里使用NAT通过宿主机访问外部网络，因此像我现在主机上的双网卡的目标网络也可以免配置直接访问。

不过昨天遇到了个问题（貌似以前也曾经遇到过），就是突然不能访问外网了（但是仍然能ping通192.168.56.1，即宿主机的Host-Only IP），经过测试发现如果把Host-Only的网卡去掉就没问题，所以看起来像是这两个网络冲突了。

经过放狗搜索，SuperUser上的一个问题提醒我，这个其实是路由表的问题，由于没有指定默认网关，因此不知道为什么Ubuntu（WinXP也会）就把Host-Only的gateway当成默认网关了。

解决问题很简单，先删掉错误的默认网关，再添加新的默认网关：

    $ sudo route del default
    $ sudo route add default gw 10.0.2.2

不过这个重启以后就会消失，需要保持的话，就在 /etc/network/interfaces 添加一行

    up route add default gw 10.0.2.2
分页： 13/103 第一页 上页 8 9 10 11 12 13 14 15 16 17 下页 最后页 [ 显示模式： 摘要 | 列表 ]