Shell's Home

openwrt特性——2.4g和5g频段的冲突

Nov 18, 2011 - 1 minute read - Comments

贝壳昨天想起,自己的平板是支持11n的,路由器也支持,为啥不做呢?于是把路由器的第二AP打开。结果——报错了。 具体过程就不废话了,老妈和外婆在唠叨各种废话,没那个心情。 DIR-825用户,把你的第二AP设定成和第一AP不同的频率。如果两者使用同一频率段,系统就会报错。估计是两个频率各自给了一根天线,混用没那么多天线。

mongo无法利用多核?

Nov 16, 2011 - 1 minute read - Comments

太伤心了,本来以为mongo的速度很快呢。测试插入数据,结果当场被泼了冷水。 conn = pymongo.Connection('localhost', 27017) db = conn['perform'] coll = db['test'] testdata = [] def init_testdata(): for i in xrange(1000): s1 = ''.join([random.choice(string.hexdigits) for j in xrange(16)]) s2 = ''.join([random.choice(string.letters) for j in xrange(200)]) testdata.append((s1, s2)) init_testdata() def insert_mongo(): for s1, s2 in testdata: coll.insert({'_id': s1, 'content': s2}) def find_mongo(): for s1, s2 in testdata: s = coll.find_one({'_id': s1}) def testfunc(funcname, times=1000): from timeit import Timer t = Timer("%s()" %

语言的易读性

Nov 15, 2011 - 2 minute read - Comments

何谓语言的易读性,简单来说,就是看到一段代码的时候,能够了解其意思。易读性最差的典型代表作是汇编语言和机器语言,因为在读这两种语言的时候,其实是你的大脑在替代模拟CPU的功效。说起来,自从汇编以后,每种语言多多少少都注重了人类阅读的习惯,像brainfuck这种特例是万难一见的。例如下面的例子。 printf("hello, worldn"); 即使没有任何C基础的人,也能够看懂这是在做一个字符串打印。 语言的易读性其实是语言非常重要的特征,比其他特征都重要。因为人类的大脑不可能记得所有的代码细节,并且能够直观的反应出如何修改。往往我们需要阅读一下代码,搞明白每段的意思,然后才能动手——哪怕这段代码出自自己手笔,只要过得一两个月,还是要重读一下的。正是因为读这个技能的使用频率非常高,所以语言的易读性非常直观的影响到语言的易用性。而易读性差的语言和习惯,目前来看有以下几个典型例子。 1.罗嗦 典型代表是Java。下面是一个Java解压Zip的代码,引用自参考1。 public class Zip{ static final int BUFFER=2048; public static void main(String argv[]){ try{ BufferedInputStream origin=null; FileOutputStream dest=new FileOutputStream("E:testmyfiles.zip"); ZipOutputStream out=new ZipOutputStream( new BufferedOutputStream(dest)); byte data[]=new byte[BUFFER]; Filef=new File("e:\test\a"); File files[]=f.listFiles(); for(int i=0;i<files.length;i++){ FileInputStream fi=new FileInputStream(files[i]); origin=new BufferedInputStream(fi, BUFFER); ZipEntryentry=new ZipEntry(files[i].getName()); out.putNextEntry(entry); int count; while((count=origin.read(data,0,BUFFER))!=-1){ out.write(data,0,count); } origin.close(); } out.close(); }catch(Exceptione){ e.printStackTrace(); } } } 我下面给出python版本。 import os, zipfile with zipfile.ZipFile(‘filename.zip’, ‘w’ ,zipfile.ZIP_DEFLATED) as

NSIS在64位下安装时无法写入注册表的问题

Nov 14, 2011 - 1 minute read - Comments

最近公司碰到一个问题,NSIS在64位下安装时无法写入注册表。 首先,这个问题不是UAC没有权限的问题,因为我使用administrator安装依然有问题。其次,问题和win2008没关系,只出现在64位上。 问题在哪里呢?在写入注册表前,SetRegView 64,写入后换回32,问题解决。 真TMD的。

关于网站架构的几封邮件摘抄

Nov 11, 2011 - 1 minute read - Comments

Shell.Xu <shell909090@gmail.com>: 我知道,我自己写过一个greenlet + epoll的实验性框架。 http://code.google.com/p/py-web-server 最主要的问题是,写到后来我发现,这东西对用户的要求太高了。要用好这种框架,用户必须具备系统经验,知道阻塞操作实际上是由非阻塞操作和上下文调度去模拟的,知道代码处处无阻塞(其实是不能有无调度的阻塞),能够想像系统是如何运行的。 这种人不会太多。在cpyug里面不算少,抓10个20个肯定能抓出来,抓上100个也不是没希望。但是实际在操作的时候,平摊到上海这么个地方,会python的也就见过那么不到100人,有这种要求的几乎可以一个个数出来。而且大多数已经在一个不错的公司里面有个不错的职位,你没法指望招个人来做事。 这也是为什么很多公司凡python必django的原因,毕竟用了django,虽然罕见,但是可以招人。用了tornado,能招的范围就少了很多。我自己做的这个实验性的玩意,风险大不说,HR角度来说,可选程序员只有一个。一旦在上面做了系统,不废弃系统的前提下,你压根没法谈判工资。。。 从语言角度来说,我更倾向于lisp,那个比较优美一些,而且也有编译成C的选项,速度不慢,天然的fp。问题是lisp从语义的自然可理解性来说非常差劲,那个传说中某AI实验室源码最后一页全是)并非空穴来风。对于新手入门而言,lisp成本更加高,使用lisp做系统,HR执行的难度也更高。haskell我并不懂,不过从语言理解来说,大概介于lisp和python之间吧。 协程型框架和进程/线程型框架相比,最大的好处就是减少了锁的问题。因为上下文切换的位置都是已知的,是否需要锁很容易考虑。很多时候甚至不需要严格锁定,只要置标志位就好,速度很快。使用fp,也可以大幅减少锁的问题,但绝对不是避免。目前的系统架构设计,已经越来越多的把锁的问题扔到了数据库层。 例如,我在操作一条记录的时候,一定会发生行级锁,否则就是不安全的。而在添加一条记录的时候,必然会修改这个表上关联的索引。而修改索引的瞬间,就会发生瞬时的锁定和解锁,否则也是不安全的。这个过程虽然对用户不可见,但是并非不存在。诚然,数据库访问是基于网络的,而基于网络的read是一个阻塞操作,在架构级别一定会调度到别的上下文执行。但是没意义阿,大规模的用户访问,除掉可以缓存的部分外,都被压到了数据库上进行读写。这些访问,在表级频繁的发生冲突,被各种锁序列化成顺序访问。到最后,我们不断的向系统中添加机器,来换取性能增长的时候,应用服务器实际上变成了问题最小的一个——小到用也许bash去写cgi都可以满足。与此同时,我们的数据库问题越来越大,还没法拆分——你没办法像应用服务器负载均衡那样把数据库拆到多个机器上去,然后让他们的写入性能成倍数增加。 无论是mongo,redis,还是mysql,都没有本质上的解决锁,尤其是写入锁的问题。mongo的读取性能可以上到15kreq/s,但是写入只有5kreq/s,而且好像还不能由sheding做加速——至少不是成倍级别的加速。mysql目前比较成熟的方案还是单写多读。当然,还有所谓水平拆分和垂直拆分的方法。垂直拆分对业务有要求,水平拆分只解决了大规模数据吞吐分布到多个存储媒体的问题,不解决索引访问的问题。redis压根没有自己的分布方案,你必须自己来做。 k-v受到热捧的原因之一,在它给了你一个从某个层面绕过这个问题的方法。目前写入锁最严重的点在于索引。无论是插入还是修改记录都需要在数据库上变更索引,而索引的变更就必然会发生锁。K-V的要点在于不允许在记录上做索引——所以mongo不是k-v数据库——从而允许用户将庞大的写操作分布到数十乃至数百台机器上的同时,获得倍数级别的性能增长。我们先不考虑添加/删除——这个是一致性哈希的目标,也不考虑可用性——这个是冗余的目标。仅从这点来说,k-v数据库受到热捧是有原因的。 问题是,这也不是解决问题,这只是绕过问题。相信使用k-v的人应该有所感受,这玩意根本没法替代常规数据库来用。没有事务,没有一致性隔离就算了。连索引都没有,这TMD的怎么用阿。目前来说,更加实际的使用还是用k-v来存储一些确实没必要进行索引的东西——例如大量小规模图片,用户的属性数据。 Zoom.Quiet <zoom.quiet@gmail.com>: 那么这样的话,可以考虑用 Erlang ,这货天然就是为了大分布高迸发服务发明的 而且从语义行文角度看也很好理解 更加要命的是 erl 提供了丰富到变态的动态调试工具,风骚无比的热部署无缝回滚… 只是,摧悲的是 erl 对于计算无爱… 不过,反过来想一下: 现在 web2.0 的世界,以及在爆发中的移动互联应用中,有什么是非要复杂关系查询的?! 通过业务的良好统计,可以从业务角度就异步化 那么,不论什么语言来开发,都没有阻塞问题存在了哈… 这也是为毛 K/V 数据库得以商业应用的主要原因 另外,前述有人说 git 作存儲的思路也是个方向: 既然分布式写入锁是个难题 那么就直接只进行本地操作好了 仅在必要时,进行分布式合并,这方面,各种版本控制系统都作得很好 如果 redis 的bilog 文本对 git 合并是可耐受的,那不就是个山寨的分布异步安全锁了? Shell.Xu <shell909090@gmail.com>: 我觉得我的最终解决方案是到大学里面培训lisp课程,争取弄出一批语义上看C系列语言不顺眼,只能读懂lisp的变态出来。这种现象在自然界有广泛分布,地球上至少有1/4的人类在使用最流行的语言系统时有障碍,只能使用一种难用的要死的古老的,基于符号的语言系统,并且引以为傲。。。 业务角度异步化并不是最终方案,因为除了移动互联网应用外,数据库业务最赚钱的还是公司业务。公司业务的数据量不见得比移动互联网应用小,而且他们有钱。由于目前没办法,公司业务都是找oracle这种公司来处理,而且对性能没有要求。其实不是真的没要求,而是没法要求而已。 我觉得比较有前景的,是如何将索引分布,理论来说这是可以做的。一致性哈希,DHT,都有希望。问题是目前来说,安全的写入分布式的索引本身好像也是要锁的,这就没意义了哈。 我还没想过分布式的索引本身写入锁的冲突概率是多少,能降低一个数量级就值得玩玩看。

openwrt配置——自动重启openvpn

Nov 10, 2011 - 1 minute read - Comments

还记得如何配置openvpn么?手工配置有个问题,当我ppp0连接断掉,需要重启路由器的时候,网络会短暂的断开。然后,openvpn就失效了,导致各种混乱后果。为了解决这个问题,我测试了一下,做了以下设置。 -----/etc/hotplug.d/iface/30-openvpn----- #!/bin/sh [ "$ACTION" = "ifup" -a "$INTERFACE" = "wan" ] && [ -z "`/sbin/ifconfig tun0 2>&1 | grep inet`" ] && { /etc/init.d/openvpn start } [ "$ACTION" = "ifdown" -a "$INTERFACE" = "wan" ] && [ -n "`/sbin/ifconfig tun0 2>&1 | grep inet`" ] && { /etc/init.d/openvpn stop } -----end files----- 好了,你重启外网连接的时候,就会自动连接openvpn。 参考: OpenWRT下的动态DNS(用3322.org的服务)

几个模板系统的性能对比

Nov 9, 2011 - 2 minute read - Comments

对比目标,jinja2,cheetah,mako,webpy,bottle,tornado,django的性能。 方法,随机生成一个二维数组,第一列是自增数据,第二列是长度为100的随机字符串,然后生成html,比较一次生成的时间。 说明,如果模板有编译缓存,打开。有其他方法加速,打开。生成缓存,关闭。不计算随机数据生成时间,一次生成后一直使用。 以下是文件有效内容,没用的都略去了。最后的顺序是因为我根据结果整理了一下调用次序。 -----testcheetah.tmpl----- <table> \#for \$i in \$l <tr> <td>\$i\[0\]</td> <td>\$i\[1\]</td> </tr> \#end for </table> -----testdjango.html----- <table> {% for i in l %} <tr> <td>{{ i.0 }}</td> <td>{{ i.1 }}</td> </tr> {% endfor %} </table> -----testjinja2.html----- <table> {% for i in l %} <tr> <td>{{ i\[0\] }}</td> <td>{{ i\[1\] }}</td> </tr> {% endfor %} </table> -----testmako.html----- <table> % for i in l: <tr> <td>\${i\[0\]}</td> <td>\${i\[1\]}</td> </tr> % endfor

openwrt配置——arptables配置

Nov 7, 2011 - 1 minute read - Comments

让其他人的设备无法使用网络。 opkg install arptables --------/etc/init.d/arptables-------- \#!/bin/sh /etc/rc.common start (){ arptables -F INPUT arptables -A INPUT --src-mac aaa -j ACCEPT arptables -P INPUT DROP } stop (){ arptables -F INPUT arptables -P INPUT ACCEPT } --------end files-------- 注意,千万把自己的mac地址写对了,否则一个/etc/init.d/arptables restart下去,你自己的机器就断线连不上了。不过一般来说,重启后arp限制会失效,因此可以重启来去掉限制。实在不行也可以拔下U盘,在电脑上进行mount和修改,然后再插回去启动设备。根据测试结果,内网还是可以访问的,不过路由器无法访问了。有一个链叫做FORWARD,也许改这个可以解决。但是我没有找到相关资料,因此没有下手。

Openwrt pptp passthought

Nov 4, 2011 - 1 minute read - Comments

你还在为使用openwrt路由器无法使用pptp客户端而烦恼么?请看这个页面。按照他的说法,输入以下句子就可以解决你的烦恼。 If you use a pptp client behind an openwrt router, and pptp tunnel not work, look at thispage. opkg update opkg install kmod-ipt-nathelper-extra 这个方法不仅对路由器内使用一个pptp有效,而且对多个pptp也有效。 It’s work for both single pptp tunnel and for multi pptp tunnels. 然后,记得重启。 Remember to reboot router.

SHLUG Summit 2011

Nov 3, 2011 - 1 minute read - Comments

这次有我的演讲,转一下转一下,大家来捧场。 ———- Forwarded message ———- From: ghosTM55 <ghosthomas@gmail.com> Date: 2011/11/2 Subject: [shlug] [公告]SHLUG Summit 2011 To: shlug <shlug@googlegroups.com> Hi all,我们SHLUG的2011年年度大会来了! 作为惯例,我们的年会会面向Linux新手以及初学者来进行Linux的宣传与知识普及,这次也不例外 这次我们将会来到松江大学城,在东华大学进行一场200人规模的交流会,欢迎有时间和兴趣的朋友一同前去参加 时间: 2011年11月6日(周日) 下午2点 地点: 东华大学 松江大学城校区 报名: 不需要 入场费用: 不需要 演讲主题: 如何成为一名黑客 Debian GNU/Linux介绍 实战Linux网络部署 隐藏关卡: Ubuntu 11.10 Release Party 和去年一样,在这里我需要: 一些朋友能够来帮助到我们运维好本次SHLUG的年会(拍照,摄影,现场话筒传递,入场引导等) SHLUG的朋友在参与活动的时候尽可能坐在教室后排并请勿在演讲过程中大声讨论问题 大家对于此次活动的线上以及线下的帮忙宣传 在这里需要感谢东华大学开源社区的同学们的积极配合与帮助,为我们奔波于松江大学城各高校进行宣传 并且为我们找到了能够容纳200人的教室(具体教室号码尚未确定,我会在列表以及blog中进行更新,请持续关注) 欢迎各位参与本次年会并向我提出建议,谢谢