erl 的 log4*, bt 以及杂七杂八
etorrent 是最近相当活跃(常能在 maillist 见到 ann )的一个项目，它是用 erlang 实现的一个 bittorrent 客户端。记得刚刚接触 erlang 的时候就觉得它貌似很适合用来写 bittorrent 客户端(分布式/TCP/并发)，深入了解一番了之后，又觉得比起 C 来 erlang 并没有太明显的优势(GUI/CPU Heavy/IO/File)，加之后来见到堪称完美的 uTorrent 横空出世(说实话，除了网上银行，唯一想让我回到 windows 平台的东西就是它了)让人不再有动力作“写 torrent 客户端”之想，没想到时隔一年，还真见到了这样的项目，让人感慨。现在的 etorrent 已经是第二个公开发布的版本了，从它的 change log 看到，特性增强很厉害，以“ 20 个 torrent 占用 50－80M 内存”这样的指标来说，已经相当接近实用水平了。或许日后的 etorrent 再配上一个好用的 frontend 能够打造出像 xmms2 那样强大的软件也说不定呢。
log4erl 是一个 log4* 的 erlang 实现。对于广大习惯了 log4* 的 erlang 使用者来说，确是一个福音。不过，从某种程度上讲，这也可以算是某种“重复建设”—— erlang 自身已经内置了相当强大的日志机制。注意，只是强大，我并没有说易用。因为对于广大 log4* 爱好者们而言，只有能使用 grep/awk/perl 这些标准 unix tool chain 来处理的，格式化的，每条一行的(问题是，以我的经验来说，”每条一行”这种限制常常会逼人多费半天劲，或者多写一大堆)才是易用的日志。而 erlang 自身内置的日志机制说实话也毫不逊色，只是用来颇有一些不同(加之文档组织得别出心裁，让人不易找到)，各自属于不同的风格。既被拔到了“风格”层面，也就参杂了情感因素，无法以简单的方式来区分高下(君不见 csdn 上 x vs y 的口水仗层出不穷无休无止?)。本是见仁见智的事，大家看个人的喜好各取所需就是了。
顺便说说 erlang 自身的日志机制，极简的例子看上去象这样：
[{kernel,
[{error_logger,
{file, "debug.log" }}]}].
这好比是 log 的配置文件，然后，这样用：
1> error_logger:error_report([{tag1,data1},a_term,{tag2,data}]).
ok
2> error_logger:error_report("Serious error in my module").
ok
3> q().
ok
这样，在 debug.log 里面就有了：
=ERROR REPORT==== 17-Jul-2008::11:32:11 ===
tag1: data1
a_term
tag2: data
=ERROR REPORT==== 17-Jul-2008::11:32:31 ===
Serious error in my module
差不多就是这样了，更多配置，相关工具，以及更 “The Erlang Way” 的用法，可以参看文档 SASL 的部分。
btw，升级 wp 时从 incoming link 里发现一个 “默默无闻的领悟Erlang传说” 的中文 blog ToQuick (图快?)，主人 cheng 同学治“程”(程序)态度严谨，细密，文章写得勤也写的好，值得推荐。下面对于 log4erl 的代码观感就转自图快：
log4erl代码非常精简，保持了erlang代码的风格，log4erl包括1个supervisor和2个gen_server和1个gen_event。
log4erl.erl为gen_server和application behaviour的callback，其作为主要的module，
log4erl_sup.erl为supervisor,启动log4erl,初始时将通过log4erl_sup:add_file_logger启动default_logger 日志记录器。
log4erl_sup:add_file_logger/1会动态添加file_logger_guard和file_logger两个child process。
have fun.
经由 Erlang 开源项目之间的合作“铸就”更好的 key-value 存储系统？
自从 Amazon 的 Dynamo 横空出世，开源的 Erlang 的 Key-Value 存储机制(毕竟有一些区别，因此我并不愿意把这个东西称作数据库)似乎已经成为了一个炙手可热的研究领域。先是有 CouchDB (本站多次介绍，已经被 apache 接纳的开源项目)，现在又有了 Kai 。如果算上 Alexander Reinefeld 在 erlang exchange 2008 上展示的项目，很短的时间之内，这一领域已经产生了三个 open source 项目了，可谓进展神速。
说起来，这个新出的 Kai 乃与是我们“一衣带水”的日本同行们的作品。加之此前听说的 Orto，以及零星听说的具有超强并发能力的 tokyocabinet，等。老实说，对于他们在 opensource 领域所表现出来的整体活力，确实有些惊讶。可惜不懂日文，未能对此作进一步的了解。(召唤日语达人整理一下)
话说这几个项目共同关注的是一个相同的问题，然而各自的侧重又略有不同。比如说，Kai 项目实现的乃是(又是) memcache 的访问接口和协议，主要侧重在利用 Erlang 来提升系统在“分布和容错”方面的特性。而 couchDB 则首先关注于实现 key-value 的数据存储本身，在此基础上建立完全不同于 RDBMS 的查询机制，并以优雅的 RESTful 访问接口而著称(Alexander 的项目资料不多，尚不明朗)。应该说是各有特色，而且具有很好的互补性，实在让人很难在这两者之间进行取舍。所以当 couchDB 团队的 Jan Lehnardt 向 Kai 团队的 Takeru Inoue 提出 Collaborate 的建议时，对于广大使用者而言，确实是最为“喜闻乐见”的情形。
或许我们很快就能见到 CouchDB Powered Kai 又或者是 Kai Powered CouchDB，两个项目的特性得到融合，也许，两者之间会形成一种如同 innoDB 之于 mysql 那样的合作关系，谁知道呢？未来充满可能，值得我们期待。开源的 Erlang 就是这么精彩。
上干货 slides on Erlang-Exchange-2008
Erlang-Exchange-2008(别点了，超流量被关啦)刚刚结束，对于我们这些无法亲临现场的“干粉”(干粉＝＝只能干瞪眼的粉丝)而言，等的就是会议结束，各路 slide 纷纷出炉的这一刻。这个场景多少让我想起小时候，看着别人放完炮，一大堆小屁孩就一拥而上，吸溜着鼻涕猛捡那些还没炸完的零碎小鞭炮的岁月。所不同的是，数字时代，每个人都可以捡到“第一手”的干货，不会为了分赃不均而打上一架。不过，任何一个时代，找到干货或者捡到鞭炮的快乐都是相同的，简单而纯粹。下面就是快乐的“干货大放送”(远未集齐，所缺部分希望各位能继续跟帖完善)。
由 Jamaal 同学补充：
在 video.google.com 上搜索 Erlang eXchange 能找到一堆演示视频，虽然没有 PPT/PDF 会略有遗憾，但胜在真人出演，也相当不错。懒得搜索的同学可以点[这里]。
Armstrong on Software: Erlang & SMP,
Joe Armstrong
Introducing Erlang to Motorola: The Journey to Success,
Nicholas Gunder & Torben Hoffman
Erlang- D-Trace,
Garry Bulmer
Erlang & Robotics: The ROSEN Framework at the Eurobot 2008 Competion,
Corrado Santoro
Erlang/OTP Vs Google App Engine, The CEO View,
Gordon Guthrie
Building Web Applications in Erlang,
Xingdong Bian & Michal Slaski
Erlang in Financial Applications,
Dr. Erik Stenman
Erlang and Ajax Web Applications,
Roberto Saccon
Quick Check for Erlang,
John Hughes
Introduction using Faxien & Sinan: Erlang Project Build & Packaging Systems,
Eric Merrit & Martin Logan
Roktalk, Erlang Powered Mobile Conferencing,
Jay Fenton
Wrangerl, The Erlang Refactoring Tool,
Simon Thompson
Enterprise Integration,
Steve Vinoski
Erlang & Tail-F,
Klacke Wikström
Presenting RabbitMQ: An Erlang Based Implementation of AMQP,
Matthias Radestock
EUnit – Lightweight Unit Testing for Erlang,
Richard Carlsson,
ejabberd for web 2.0 development,
Mickael Remond
Load Testing of Web Applications,
Karthik Ramachandra,
Using Jinterface to Bridge Erlang and Java,
Dennis Byrne
Quick Check Tutorial: Using QuickCheck to Test Erlang Programs,
John Hughes & Thomas Arts,
Using Faxien and Sinan, A Hands-on Approach,
Martin Logan & Eric Merrit
Couch DB at 10,000 feet,
Jan Lehnardt
Building a transactional distributed data store with Erlang,
Alexander Reinefeld
Tsung Tutorial,
Mickael Remond,
Erlang Enterprise Integration Panel Discussion,
Garry Bulmer
Good News — Mnesia Unlimited!
我们知道 mnesia 为很多人诟病的一个问题是——它有着诸多让人费解的限制。比如说，在 32 位的系统上，你最多只能存储 4G 的数据。又比如传说中磁盘表让人胆战心惊的修复过程。这些缺陷常常让人在试图推广 erlang 时，总觉得有些底气不足。虽然说，在实用的角度， 4G 其实也够用了，况且还可以分块。但无论怎么说，这种限制毕竟让人不爽。但其实，这些让人尴尬的限制其实并不是 mnesia 代码的问题（冤枉 mnesia 同学了），而是由它底层的存储机制 ets 和 dets 的特性所决定的(好比 mysql 之于 myisam / innodb 的关系)。现在好了，我们可以说，这些让人不快的限制已经可以被抛在脑后了。
Joel Reymont 就是那位在 05 年写出惊到大家的《Writing Low-Pain Massively Scalable Multiplayer Servers》一文的作者。(此文本站亦有中文翻译《轻松实现可伸缩性，容错性，和负载平衡的大规模多人在线系统》，感谢译者“神宗冥浩”)。他这次带给大家的是一个让人惊叹的大礼包——超乎想象的 mnesia 补丁包 mnesiaex 。这个东西解除了加在 mnesia 数据库系统上所有的限制(虽说上面已经提到，实际上 mnesia 代码本身没有什么真正的限制)——你现在可以用 SleepyCat/BerkeleyDB/MySQL/Amazon S3/Tokyo Cabinet/… 甚至是你自己喜欢的某种东西来当作 mnesia 的后端，就像 ets/dets 一样。而访问的接口仍保持不变——继续沿用 mnesia 的接口，一行也不用改。 DIY 这种扩展也变得相当容易，写一个 behavior 就成了。
感谢 Joel Reymont 将这些工作回馈到开源社区。让我们一起祈祷 OTP Team 将这堆 patch 合并到 Erlang 的下一个发布版本中去吧。
顺便 blah 一下：
关于 Erlang
Erlang 就好像是 Ericsson 的私生子，从出生之日起就一直不得宠。在 AXD301 中的耀眼光芒，还是逃脱不了被弃用的命运(Ericsson 又转回去用 C 写交换机了，别让我猜中是因为公司政治)。失败了的 Joe 一伙人被迫离开自组 BlueTail 公司，绝望之中以 Open Source 协议公布了 Erlang 的代码，这个挫折使得它在编程语言的坟场寂寞的躺了多年，但仍然保留着翻盘的火种。默默无闻的完善了多年(加入SMP支持之类)，一直不为人所知。直到碰上 CPU 多核变革的机遇，这才重新捡回半条命，并渐渐被人提起。但别忘了，Erlang 直到现在仍然都是由 Ericsson 所拥有(整个的 OTP Team 都是他的员工)和操纵的(你能看到 Erlang 的 souce code 但能访问 Erlang source code 的 SVN 么？)。而比 Sun 的 Java 更加糟糕的是老态龙钟的 Ericsson 从来也没有意识到 Erlang 这个私生子身上所蕴含的潜力。麻烦哪位消息人士请一定转告 Ericsson 的老爷爷们，现在连 Sun 都已经完全开源了 Java ，请抓紧赶上吧，把那些没用的遮遮掩掩全都扔掉。因为对于一个程序设计语言而言，只有 Open Source Community 的程序员们，只有这些人，才是它生命力的真正源泉。在此祈祷 Open Source Erlang 项目朝着更 Open Source Way 的方向前进。
关于 Mnesia
因为工作关系，最近又有机会再来近距离审视 mnesia 这坨神奇的东西。Joe 老头在他的书中说：“关于 Mnesia 的更多内容，恐怕还要再写一本书才能讲得清楚”，现在我(部分地)知道这句话的分量了——我发现自己之前对于 Mnesia 的认识完全错了，而基于新的认识，好多东西都要推翻了重来(害我多做了那么多蹩脚的实现，写了那么多苍白的代码)。我的感觉(现在的)是—— mnesia 根本就不是什么数据库，这只是一个善意的谎言(以它出现的时代来说，太激进，会把人都吓跑了)。实际上，它根本就是一个 Erlang 的 hibernate 。换句话说，这个东西就不应该被拿来当作“数据库”用，而是应该拿来当作“数据层”用。一字之差，谬以千里，熟悉 Java/SSH 编程的同学们相信都能明白我在说什么。实际上，我私下里在怀疑这是 mnesia 最初的设计目的之一，但为了某种原因而故意不去点破这一层。但愿在这个问题上我只是个可耻的阴谋论者。
[荐]《对“A History of Erlang”的评论》
原文在这里。貌似“功夫网”并未“河蟹”——既然能访问，俺就不盗版了。
这篇文章是 Robert Zubek 对 Joe Armstrong 在 07 年某个会上 show 的 “A History of Erlang” PDF 的评论(更象是写了一个“注”)。基本上，相比著名的 “Joe Thesis 2003” (本站提供了中文翻译，感谢段先德同学)而言，这篇 PDF 中并没有太多的新内容，只能算是一个精编浓缩 remix 版而已。
但对 Joe Thesis 2003 这篇略嫌艰深的博士论文来说， Robert Zubek 的文章提供了很好的“补充视角”。也就是说，从 Joe Thesis 中我们能看到 Erlang 在“一系列问题”上做出了与众不同的选择。但如果没有一定的背景知识，我们或许没怎么觉得这“一系列问题”又有什么大不了的。而这一篇正好(部分地)补充了这些背景知识。
照例，对于这篇文章的干货，还是打捞一下。
But this paper really conveys the feel for what that means: huge collections of loosely coupled finite-state machines, all running in parallel, doing little bits of protocol validation here and there, but mostly staying dormant.
英文的描述，如果写得好了，会有一种准确精妙难以言表的感觉，通常很难原汁原味的译为相对应的中文。不过，这句太经典，我还是想翻来看看。
这篇文档所传达的要义(用 Erlang 构造系统的感觉)是：一大堆并行运行着的有限状态机，各处做一做协议验证，彼此松散耦合，通常大部分的有限状态机都处在休眠状态。
作者提到他对这篇 “A History of Erlang” 中“有感觉”的几点是：
First, there’s strong emphasis on easily tracking and manipulating the flow of control, rather than data. Second, I enjoyed the explanation of one particular detail of Erlang: in the message-passing implementation, individual processes don’t handle messages immediately. Third, Erlang is somewhat infamous for its distributed error handling mechanism.
这只是起头，精妙在于剖析。任何一个设计决策都是有 trade off 的，对这些设计决策正反两面的分析，或许能够部分解释“为什么 Erlang 会这么怪异”，相当值得一读。
顺便说一句，我“有感觉”的一点是 “Erlang 天生就是以消息驱动模型来架构的系统” 而 “消息驱动的编程模型” 如何应用于互联网编程环境，正是值得我们深思的问题。
用 SSH 来连接 Erlang Shell
Erlang 的 SSH 支持 “很好很强大” ——可以让 Erlang 在 22 (或其他指定的)端口启动 Erlang 自己的 sshd ，然后，当你通过 Putty 之类的 ssh 客户端连上去时，就能直接得到 Erlang Shell 。很酷吧，更酷的是，这个功能完备的 Erlang Shell 已经支持了 Public-Key Authorization 以及 “One Password Rule Them All” 的 “超级密码” Authorization 。尤其对于那些需要伺候集群中 N 多台 Erlang 服务器的 “ IT 农场工人” ，这会是一个极度 “系统管理员友好” 的功能。那么，具体来说，整个步骤又是怎么样的呢？
下面是我们的前方记者从 “不明地带” 发回的 —— 现场 “流水帐” 
。
[荐] “RPC is bad” 续篇 —— joe 老爷爷如是说
继 Steve 大叔的 “RPC is bad” 开腔惊起娃声一片之后，Joe 老爷爷抓当前的大好形势又写了一篇“大字报”，“掀起了Erlang主义建设的新高潮”(第二声部唱：新高潮，新高潮)。不过，Joe 老爷爷的 Blog 建在 BlogSpot ，有“伟大的火墙”“护着”，我们可以免受这些“不良内容”的毒害，为方便大家学习，特将这篇文章盗版如下，供大家批判。(召唤翻译达人)：
[荐]RPC is bad?
偶像 Steve Vinoski 在 maillist 的回帖中一不留神就泄漏了他为 ErlangeXchange 准备的 session ，我们可以先一睹为快。Steve 大拿是 CORBA 界的牛人，对 RPC 是 bad 很有发言权地。这篇文章也写得很漂亮，水分相当少，我就不干“损失味道”的事情了。
为方便阅读，将 mail 内容盗版如下：
Facebook chat 跟踪报导 —— comet with mochiweb
话说 facebook 推出了支持高并发的 web im 引起众“hacker”(与 linux hacker 中的 hacker 相同的那个词)的一片哗然，纷纷出手研究其秘密。互联网上迅速的出现了一批“拆解 facebook webim”的文章。这里就是其中相当有意思的一篇。其中的干货如下：
1 作者放出 firebug 发现，http header 的 server 字段赫然写着 MochiWeb/1.0 的字样。
2 作者开动脑筋，在 mochiweb 基础之上，写了一个“最简单”的 facebook webim 概念模型，mochi loop 的核心代码如下：
'GET' ->
case Path of
"chat" ->
% 1) subscribing
Room ! {self(), subscribe},
% 2) waiting
receive
Message ->
% 3) everything went right
Req:ok({"text/plain", Message})
after 10000
% 4) oOops, too long buddy.
room ! {self(), unsubscribe},
Req:not_found()
end;
...
简而言之就是：在 browser 和 mochiweb 之间保持 10 秒的长连接，这(10s的)期间收到的任何消息都会即时发送给 browser ，然后再由 browser 内的代码再次发起下一个连接。作者提供了完整例子代码的下载。PS.关于这一实现方式的更多说明也可以参考拙作“the google way”。
当然这只是一个“概念模型”，距离“实用价值”仍有一段距离。比如：这个 web 层如何与 ejabberd 接起来，如何识别同一个用户，如何增加更多的“聊天逻辑”。
有兴趣(有时间)深入研究的读者可以移步阅读原文。如果看不到原文，请留言，以便“进行盗版”。
Facebook 的 Erlang 加持
这篇消息的两个要点是：
1. Facebook 总算推出了 developer’s blog，在大家都推出自己的“开发者博”之后。
2. 这个“facebook 开发者博”透出来的第一条消息是——纯正 PHP/LAMP 血统的 Facebook 在高度 realtime 的 Chat 应用中，终于用了 Erlang 来提高性能( ejarbberd backend? 估计是 process-one 的那帮法国人最近一直都在搞的定制项目 )，我知道他迟早都会要用的。
如果觉得“干货”不过瘾，时间充裕的朋友可以移步阅读更“ juicy ”的原文—— 《Real-World Erlang Applications - Scaling Facebook Chat to 70 Million Active Users Almost Overnight》。
PS. 这篇 blog 亦可看作是《challenges of scaling up a realtime application》，所以，如果有人花时间将其 i8n 一下，那将会非常棒。
update 20080516：有人说打不开，那就“被迫盗版”一下吧。[节约版面起见，请点“继续阅读”]
Recent Comments