Shell's Home

语言的易读性

Nov 15, 2011 - 2 minute read - Comments

何谓语言的易读性,简单来说,就是看到一段代码的时候,能够了解其意思。易读性最差的典型代表作是汇编语言和机器语言,因为在读这两种语言的时候,其实是你的大脑在替代模拟CPU的功效。说起来,自从汇编以后,每种语言多多少少都注重了人类阅读的习惯,像brainfuck这种特例是万难一见的。例如下面的例子。 printf("hello, worldn"); 即使没有任何C基础的人,也能够看懂这是在做一个字符串打印。 语言的易读性其实是语言非常重要的特征,比其他特征都重要。因为人类的大脑不可能记得所有的代码细节,并且能够直观的反应出如何修改。往往我们需要阅读一下代码,搞明白每段的意思,然后才能动手——哪怕这段代码出自自己手笔,只要过得一两个月,还是要重读一下的。正是因为读这个技能的使用频率非常高,所以语言的易读性非常直观的影响到语言的易用性。而易读性差的语言和习惯,目前来看有以下几个典型例子。 1.罗嗦 典型代表是Java。下面是一个Java解压Zip的代码,引用自参考1。 public class Zip{ static final int BUFFER=2048; public static void main(String argv[]){ try{ BufferedInputStream origin=null; FileOutputStream dest=new FileOutputStream("E:testmyfiles.zip"); ZipOutputStream out=new ZipOutputStream( new BufferedOutputStream(dest)); byte data[]=new byte[BUFFER]; Filef=new File("e:\test\a"); File files[]=f.listFiles(); for(int i=0;i<files.length;i++){ FileInputStream fi=new FileInputStream(files[i]); origin=new BufferedInputStream(fi, BUFFER); ZipEntryentry=new ZipEntry(files[i].getName()); out.putNextEntry(entry); int count; while((count=origin.read(data,0,BUFFER))!=-1){ out.write(data,0,count); } origin.close(); } out.close(); }catch(Exceptione){ e.printStackTrace(); } } } 我下面给出python版本。 import os, zipfile with zipfile.ZipFile(‘filename.zip’, ‘w’ ,zipfile.ZIP_DEFLATED) as

NSIS在64位下安装时无法写入注册表的问题

Nov 14, 2011 - 1 minute read - Comments

最近公司碰到一个问题,NSIS在64位下安装时无法写入注册表。 首先,这个问题不是UAC没有权限的问题,因为我使用administrator安装依然有问题。其次,问题和win2008没关系,只出现在64位上。 问题在哪里呢?在写入注册表前,SetRegView 64,写入后换回32,问题解决。 真TMD的。

关于网站架构的几封邮件摘抄

Nov 11, 2011 - 1 minute read - Comments

Shell.Xu <shell909090@gmail.com>: 我知道,我自己写过一个greenlet + epoll的实验性框架。 http://code.google.com/p/py-web-server 最主要的问题是,写到后来我发现,这东西对用户的要求太高了。要用好这种框架,用户必须具备系统经验,知道阻塞操作实际上是由非阻塞操作和上下文调度去模拟的,知道代码处处无阻塞(其实是不能有无调度的阻塞),能够想像系统是如何运行的。 这种人不会太多。在cpyug里面不算少,抓10个20个肯定能抓出来,抓上100个也不是没希望。但是实际在操作的时候,平摊到上海这么个地方,会python的也就见过那么不到100人,有这种要求的几乎可以一个个数出来。而且大多数已经在一个不错的公司里面有个不错的职位,你没法指望招个人来做事。 这也是为什么很多公司凡python必django的原因,毕竟用了django,虽然罕见,但是可以招人。用了tornado,能招的范围就少了很多。我自己做的这个实验性的玩意,风险大不说,HR角度来说,可选程序员只有一个。一旦在上面做了系统,不废弃系统的前提下,你压根没法谈判工资。。。 从语言角度来说,我更倾向于lisp,那个比较优美一些,而且也有编译成C的选项,速度不慢,天然的fp。问题是lisp从语义的自然可理解性来说非常差劲,那个传说中某AI实验室源码最后一页全是)并非空穴来风。对于新手入门而言,lisp成本更加高,使用lisp做系统,HR执行的难度也更高。haskell我并不懂,不过从语言理解来说,大概介于lisp和python之间吧。 协程型框架和进程/线程型框架相比,最大的好处就是减少了锁的问题。因为上下文切换的位置都是已知的,是否需要锁很容易考虑。很多时候甚至不需要严格锁定,只要置标志位就好,速度很快。使用fp,也可以大幅减少锁的问题,但绝对不是避免。目前的系统架构设计,已经越来越多的把锁的问题扔到了数据库层。 例如,我在操作一条记录的时候,一定会发生行级锁,否则就是不安全的。而在添加一条记录的时候,必然会修改这个表上关联的索引。而修改索引的瞬间,就会发生瞬时的锁定和解锁,否则也是不安全的。这个过程虽然对用户不可见,但是并非不存在。诚然,数据库访问是基于网络的,而基于网络的read是一个阻塞操作,在架构级别一定会调度到别的上下文执行。但是没意义阿,大规模的用户访问,除掉可以缓存的部分外,都被压到了数据库上进行读写。这些访问,在表级频繁的发生冲突,被各种锁序列化成顺序访问。到最后,我们不断的向系统中添加机器,来换取性能增长的时候,应用服务器实际上变成了问题最小的一个——小到用也许bash去写cgi都可以满足。与此同时,我们的数据库问题越来越大,还没法拆分——你没办法像应用服务器负载均衡那样把数据库拆到多个机器上去,然后让他们的写入性能成倍数增加。 无论是mongo,redis,还是mysql,都没有本质上的解决锁,尤其是写入锁的问题。mongo的读取性能可以上到15kreq/s,但是写入只有5kreq/s,而且好像还不能由sheding做加速——至少不是成倍级别的加速。mysql目前比较成熟的方案还是单写多读。当然,还有所谓水平拆分和垂直拆分的方法。垂直拆分对业务有要求,水平拆分只解决了大规模数据吞吐分布到多个存储媒体的问题,不解决索引访问的问题。redis压根没有自己的分布方案,你必须自己来做。 k-v受到热捧的原因之一,在它给了你一个从某个层面绕过这个问题的方法。目前写入锁最严重的点在于索引。无论是插入还是修改记录都需要在数据库上变更索引,而索引的变更就必然会发生锁。K-V的要点在于不允许在记录上做索引——所以mongo不是k-v数据库——从而允许用户将庞大的写操作分布到数十乃至数百台机器上的同时,获得倍数级别的性能增长。我们先不考虑添加/删除——这个是一致性哈希的目标,也不考虑可用性——这个是冗余的目标。仅从这点来说,k-v数据库受到热捧是有原因的。 问题是,这也不是解决问题,这只是绕过问题。相信使用k-v的人应该有所感受,这玩意根本没法替代常规数据库来用。没有事务,没有一致性隔离就算了。连索引都没有,这TMD的怎么用阿。目前来说,更加实际的使用还是用k-v来存储一些确实没必要进行索引的东西——例如大量小规模图片,用户的属性数据。 Zoom.Quiet <zoom.quiet@gmail.com>: 那么这样的话,可以考虑用 Erlang ,这货天然就是为了大分布高迸发服务发明的 而且从语义行文角度看也很好理解 更加要命的是 erl 提供了丰富到变态的动态调试工具,风骚无比的热部署无缝回滚… 只是,摧悲的是 erl 对于计算无爱… 不过,反过来想一下: 现在 web2.0 的世界,以及在爆发中的移动互联应用中,有什么是非要复杂关系查询的?! 通过业务的良好统计,可以从业务角度就异步化 那么,不论什么语言来开发,都没有阻塞问题存在了哈… 这也是为毛 K/V 数据库得以商业应用的主要原因 另外,前述有人说 git 作存儲的思路也是个方向: 既然分布式写入锁是个难题 那么就直接只进行本地操作好了 仅在必要时,进行分布式合并,这方面,各种版本控制系统都作得很好 如果 redis 的bilog 文本对 git 合并是可耐受的,那不就是个山寨的分布异步安全锁了? Shell.Xu <shell909090@gmail.com>: 我觉得我的最终解决方案是到大学里面培训lisp课程,争取弄出一批语义上看C系列语言不顺眼,只能读懂lisp的变态出来。这种现象在自然界有广泛分布,地球上至少有1/4的人类在使用最流行的语言系统时有障碍,只能使用一种难用的要死的古老的,基于符号的语言系统,并且引以为傲。。。 业务角度异步化并不是最终方案,因为除了移动互联网应用外,数据库业务最赚钱的还是公司业务。公司业务的数据量不见得比移动互联网应用小,而且他们有钱。由于目前没办法,公司业务都是找oracle这种公司来处理,而且对性能没有要求。其实不是真的没要求,而是没法要求而已。 我觉得比较有前景的,是如何将索引分布,理论来说这是可以做的。一致性哈希,DHT,都有希望。问题是目前来说,安全的写入分布式的索引本身好像也是要锁的,这就没意义了哈。 我还没想过分布式的索引本身写入锁的冲突概率是多少,能降低一个数量级就值得玩玩看。

openwrt配置——自动重启openvpn

Nov 10, 2011 - 1 minute read - Comments

还记得如何配置openvpn么?手工配置有个问题,当我ppp0连接断掉,需要重启路由器的时候,网络会短暂的断开。然后,openvpn就失效了,导致各种混乱后果。为了解决这个问题,我测试了一下,做了以下设置。 -----/etc/hotplug.d/iface/30-openvpn----- #!/bin/sh [ "$ACTION" = "ifup" -a "$INTERFACE" = "wan" ] && [ -z "`/sbin/ifconfig tun0 2>&1 | grep inet`" ] && { /etc/init.d/openvpn start } [ "$ACTION" = "ifdown" -a "$INTERFACE" = "wan" ] && [ -n "`/sbin/ifconfig tun0 2>&1 | grep inet`" ] && { /etc/init.d/openvpn stop } -----end files----- 好了,你重启外网连接的时候,就会自动连接openvpn。 参考: OpenWRT下的动态DNS(用3322.org的服务)

几个模板系统的性能对比

Nov 9, 2011 - 2 minute read - Comments

对比目标,jinja2,cheetah,mako,webpy,bottle,tornado,django的性能。 方法,随机生成一个二维数组,第一列是自增数据,第二列是长度为100的随机字符串,然后生成html,比较一次生成的时间。 说明,如果模板有编译缓存,打开。有其他方法加速,打开。生成缓存,关闭。不计算随机数据生成时间,一次生成后一直使用。 以下是文件有效内容,没用的都略去了。最后的顺序是因为我根据结果整理了一下调用次序。 -----testcheetah.tmpl----- <table> \#for \$i in \$l <tr> <td>\$i\[0\]</td> <td>\$i\[1\]</td> </tr> \#end for </table> -----testdjango.html----- <table> {% for i in l %} <tr> <td>{{ i.0 }}</td> <td>{{ i.1 }}</td> </tr> {% endfor %} </table> -----testjinja2.html----- <table> {% for i in l %} <tr> <td>{{ i\[0\] }}</td> <td>{{ i\[1\] }}</td> </tr> {% endfor %} </table> -----testmako.html----- <table> % for i in l: <tr> <td>\${i\[0\]}</td> <td>\${i\[1\]}</td> </tr> % endfor

openwrt配置——arptables配置

Nov 7, 2011 - 1 minute read - Comments

让其他人的设备无法使用网络。 opkg install arptables --------/etc/init.d/arptables-------- \#!/bin/sh /etc/rc.common start (){ arptables -F INPUT arptables -A INPUT --src-mac aaa -j ACCEPT arptables -P INPUT DROP } stop (){ arptables -F INPUT arptables -P INPUT ACCEPT } --------end files-------- 注意,千万把自己的mac地址写对了,否则一个/etc/init.d/arptables restart下去,你自己的机器就断线连不上了。不过一般来说,重启后arp限制会失效,因此可以重启来去掉限制。实在不行也可以拔下U盘,在电脑上进行mount和修改,然后再插回去启动设备。根据测试结果,内网还是可以访问的,不过路由器无法访问了。有一个链叫做FORWARD,也许改这个可以解决。但是我没有找到相关资料,因此没有下手。

Openwrt pptp passthought

Nov 4, 2011 - 1 minute read - Comments

你还在为使用openwrt路由器无法使用pptp客户端而烦恼么?请看这个页面。按照他的说法,输入以下句子就可以解决你的烦恼。 If you use a pptp client behind an openwrt router, and pptp tunnel not work, look at thispage. opkg update opkg install kmod-ipt-nathelper-extra 这个方法不仅对路由器内使用一个pptp有效,而且对多个pptp也有效。 It’s work for both single pptp tunnel and for multi pptp tunnels. 然后,记得重启。 Remember to reboot router.

SHLUG Summit 2011

Nov 3, 2011 - 1 minute read - Comments

这次有我的演讲,转一下转一下,大家来捧场。 ———- Forwarded message ———- From: ghosTM55 <ghosthomas@gmail.com> Date: 2011/11/2 Subject: [shlug] [公告]SHLUG Summit 2011 To: shlug <shlug@googlegroups.com> Hi all,我们SHLUG的2011年年度大会来了! 作为惯例,我们的年会会面向Linux新手以及初学者来进行Linux的宣传与知识普及,这次也不例外 这次我们将会来到松江大学城,在东华大学进行一场200人规模的交流会,欢迎有时间和兴趣的朋友一同前去参加 时间: 2011年11月6日(周日) 下午2点 地点: 东华大学 松江大学城校区 报名: 不需要 入场费用: 不需要 演讲主题: 如何成为一名黑客 Debian GNU/Linux介绍 实战Linux网络部署 隐藏关卡: Ubuntu 11.10 Release Party 和去年一样,在这里我需要: 一些朋友能够来帮助到我们运维好本次SHLUG的年会(拍照,摄影,现场话筒传递,入场引导等) SHLUG的朋友在参与活动的时候尽可能坐在教室后排并请勿在演讲过程中大声讨论问题 大家对于此次活动的线上以及线下的帮忙宣传 在这里需要感谢东华大学开源社区的同学们的积极配合与帮助,为我们奔波于松江大学城各高校进行宣传 并且为我们找到了能够容纳200人的教室(具体教室号码尚未确定,我会在列表以及blog中进行更新,请持续关注) 欢迎各位参与本次年会并向我提出建议,谢谢

收稿子啦,宅男买数码

Nov 2, 2011 - 1 minute read - Comments

淘宝上东西很多,360buy东西也很多,电脑卖场多如牛毛,听起来买个数码产品是个很容易的事情。其实才不是呢,尤其是对于对数码有要求的宅男来说,买个设备要多困难有多困难。 贝壳上淘宝买一个充电器,要求也不高,5V/2A,可以用于我的台电P81HD平板。OK,上淘宝,找第一个卖家,狮王的四口充电器——结果,总电流不足,退货。第二个卖家,瑞能官方店——结果,有高频分量,在充电时无法正常操作,目前还在协商中。第三个卖家,三星的充电器——结果,充电有高频电流声,温度很高。gary说,他有个DELL的充电器也有类似问题。我很高兴的说,那是没事咯?他说,结果,爆了,连带烧了整个房间的电闸。然后拆开塑封看印刷,粗糙,肯定假货无疑,强行要求退货。第四个卖家,上去问,有货么?有货。真货么?真货。确定么?确定。我这么说吧,我不和您讲道理,到手后,我找三星干活的兄弟看。他说真货我就收货,他说假货我就退货,连邮费一起退。不退差评。 ——先生? ——您好? ——还在么? OK,这就是淘宝的品质。当然,我不是说淘宝无好货。Thomas老婆在淘宝上买的DIR-825路由器还是挺好用的,我在上面订花什么的也不错。问题是,对于产品挑剔的宅男来说,在淘宝上买东西是一个艰难的抉择。应该说,淘宝基本无真货。 那么京东之类的电子商城呢? 贝壳买过他们的两箱秋叶原六类线,结果其中一箱的中心龙骨缺失。我问他们怎么回事,他们就只负责退货。还好,退货,换发票的过程都是OK的,但是没有一个人出来说一句,这是为什么,也没有人道歉。看看京东上面比较热门的东西,基本都能看到旧货贴。啊——运气不好,终于让我碰到旧货了。看来他们也没靠谱到哪里去。 那咋办? OK,贝壳简单说一下一个想法。 贝壳会收集您的文章,包括某个数码产品,您的购买时间,价格,个人评价,当然,最重要的,购买方式。因为文章要发在贝壳的blog上,所以您需要同意内容以cc-by-sa3.0相容版权发布。当然,文章会署您的名字。收集文章的前提是,我得认识您。您和贝壳是在哪里吃过饭,您帮贝壳解决过什么问题,物理世界里面互相有过交流。只要认识,我就会贴出,或者转发您的文章。注意,需要反复强调的是,里面需要提供购买方式。贝壳不介意那个卖家和您有没有亲戚朋友关系,只要这个东西是可靠的。为什么可靠?既然我认得您,我就相信您。一个人钻研半天技术,只为了其他几个宅买几样东西而说谎,这是不值得的。就好象贝壳写那么一大堆技术资料,开这么一个blog,不会为了几个钱的回扣专门骗你一回。因此,如果你认得贝壳,这个事情也是比较有保障的——至少你不会故意的被骗。至于运气好坏,个人感觉,这个就真不好说了。所以,如果您不认识贝壳,只是经常跑过来看技术资料的——那,就看您信不信了。不管您信不信,反正我信了。 而对于来挑选东西的宅男们,贝壳要说明的是。贝壳买东西的风格,是偏好产品的用途和质量,而无视价格的。所谓无视,既包括可能因为某个卖家不靠谱或者某个型号不靠谱而购买相对比较贵的产品。也包括某个东西虽然名声不显,但确实很好用,而无视东西的品牌。因此,您可能会问,为什么贝壳这里只介绍DIR-825路由器,还有那么多更物美价廉的呢?例如buffalo的某款。首先,可能因为贝壳的朋友只有人用过DIR-825。其次,贝壳知道buffalo的路由器都是单AP,而贝壳本身是一定需要双AP的。或者您也可能会问,为什么我们对苹果这样的东西,周边居然配了一个名不见经传的充电器/触摸笔。实话说,只要好用,我不在乎。 另外,我也希望从文章中挑东西的人,把您的经历也附加在下面。包括您买了同样产品,感觉如何?其他产品,好不好用?这也是给后来者一个借鉴。 好吧,废话半天,现在贝壳开始征集稿子了。 PS:个人希望,如果有买了小米手机量产版本的小白鼠,能够跳出来说说情况。贝壳希望入一个,可是网络上说法满天飞,不知道该信谁啊。

P81HD,以及任意一种Android的翻墙

Oct 31, 2011 - 1 minute read - Comments

假如,你有一台Android,不能刷机(厂家没提供ROM,也没有源码,而且可能锁了bootloader),没有ip_gre模块,没有tun模块,连iptables_filter模块都没有,那怎么办呢?没有第一个,就无法使用pptp/l2tp的内置VPN,没有第二个,就无法使用openvpn,没有第三个,就无法使用sshtunnel。如果你运气不好,这个东西连root都没有,肿末办? 很简单,你得先弄到Opera,注意Opera Mini没有测试过,据说不行。然后准备一台vps,上面不但要开ssh,而且必须在机器上有个代理。然后在地址里面输入opera:config,看到设定了?下面有一项proxy。按照参考[1]的方法设定代理,地址设定为127.0.0.1:1984。注意不要写成localhost:1984,后者不一定认。代理服务器用sshtunnel,注意不要用Socks5翻墙,必须用http模式。打开看看?是不是可以了? 原理很简单,sshtunnel使用redsocks来执行的全局翻墙。根据参考[3],redsocks是通过iptables规则来将所有连接重定向到自身,然后包装成代理的。由于iptables_filter模块缺失,或者干脆没有root,这个路子走不通。但是启动sshtunnel后1984端口的翻墙链是好的,只是程序都不使用而已。Opear又给了我们一个自行设定代理的能力。因此,结合使用两种方法,能让你在没有模块,没有root的情况下,自行拥有翻墙能力。由于Opera只支持HTTP代理,因此你必须满足http代理翻墙要求(远程服务器上有代理,不启用socks5模式)。 参考: 1.Android下使用Opera实现Wifi代理上网 2.Android 平台的 SSH Tunnel 应用 3.redsocks on android指南