页内导航：

• 能否只用官方的API来获取全部饭否消息？
• 饭否消息结构
• 使用regex解析饭否消息
• 使用xml解析饭否消息
• 两相比较
• 相关阅读

批量导出饭否程序的方法很多，但是基本思路都是先将该网页保存到本地，然后将有用的饭否消息析取出来。本文不讨论如何下载饭否网页了（使用迅雷、wget、curl等），重点讨论对于下载到本地的网页，如何将有用的饭否消息析取出来。

小插曲：能否只用官方的API来获取全部饭否消息？

您或许会提议为什么不使用饭否自身的API。是的，饭否的API更快捷方便，兼容性很强。只是，饭否官方只提供下载前20条饭否消息的API。如果纯粹使用饭否官方API来下载全部饭否消息的方法也不是没有，只是很邪恶：

while (true)
{
    download 20 messages via API;
    store them;
    delete this 20 messages via API;
}

一边下载一边删除，确实总能得到全部消息。删除了前面的20条，能保证后面的20条以新消息的面目出现。这在理论上是行得通的。但是我们需要的是英雄Heroes里Peter那样无损的复制方式，而不是Sylar那样的残忍的剪切方式，呵呵。既然官方的API有限制，我们就自己动手了。请继续阅读本文。

饭否消息结构

打开一个饭否消息网页的源代码，例如本人的
http://fanfou.com/regex/p.1（其实http://fanfou.com/regex是http://fanfou.com/regex/p.1的快捷方式。这里使用完整的路径，以便体现其一般性。），观察可见，有用的饭否消息在这个框架里面：（代码较长，阅读请点击展开）

 


        
            代码非抄不能懂也。
        
            
                2008-10-03 12:07
            
                通过 
                    API
            
        
    

        
            向自由的身心致敬！ - 早嗷嗷也盼~晚安安也盼~望穿安安双眼~~怎知道今日里打土匪进深山自己的队伍来哎到嗷~面安前安呐啊啊啊啊啊~~~ 

http://www.douban.com/event/10273487/

        
        
            
                2008-10-06 14:07
            
                通过
                    饭否分享
            
        
    

        
            
                
            
            上传了新照片：caixinceshi - no description
        
            
                2008-10-03 11:33
            
                通过
                    彩信
            
        
    

    #更多的
...

条目，每页最多20条。

Tips：在分析饭否源代码时，饭否消息全在一行，不便于阅读。您可以拷贝所需要的代码（注意前后结构的匹配呼应）到vim中，执行:%s/>/>\r/g(将每个>后面加上一个换行符)，再按ggvG全选，按=格式代码，所有的代码就成了漂亮的缩进格式，便于阅读了。

使用regex解析饭否消息

下面是使用regex来解析饭否消息的代码（直接拷贝自本人原来的perl抓饭程序。）

my $ffmsg=qr{

        
            (.*?)
        
        
            
                [^<]+
            
            
                通过(网页|(?:\s*<[^>]+>)[^<]+(?:))
            
        
    

' }xi;

可以看出，使用正则表达式，能够比较真实地再现原网页代码的风貌。有几处小地方需要说明一下：

• 在第一组小括号里，我使用了([^<]+?)来捕获消息正文（一条完整的消息可以分为：消息正文；发送时间；消息uuid例如QD6qHiqUbeE，发送方法，类型（彩信还是文本））。最初是使用.*?的。但是这样不精确，有时候两条消息竟然混合在一起。而([^<]+?)捕获的是从当前位置开始至下一个<之前的所有内容。或许您会问，这不怕受到消息正文中可能出现的<的影响吗？答案是：不会受到影响。因为饭否会把所有的<以及其实有可能影响解析的字符，都转换成<的形式了，因此它不影响解析。同时，使用精确的正则表达式有助于提高效率，让不匹配的正则式尽早失败。
• (?:statuses|share)。这条正则表达式是用来捕获饭否的uuid。它不但能捕获以普通方法发布的消息（网页、短信、手机、API、IM工具等），还能捕获由“饭否分享”工具发布的消息。我不是很喜欢饭否分享这个工具。（或许改天有时间写篇文章，揭露它的缺点？）之所以把“饭否分享”消息和普通消息分开来说，是因为两者的结构是不一样的。
• 通过(网页|(?:\s*<[^>]+>)[^<]+(?:))这条正则式，既用了捕获型括号，又用了非捕获型括号。使用后者，能有效地避免程序太复杂，便于按序号引用（$1,$2等，如果越多则越混乱，修改正则式后，更是乱成一团遭），还能节省内存（如果程序中捕获了太多的内容，而不及时释放，或许会占尽资源。毕竟不是只捕获几十字节。要考虑到饭否用户或许有近十万条的饭否消息。指的是苹果流冰这样的“万玻南痨话”）
• xi选项：x是为了使用忽略空白字符和允许注释；i选项是忽略大小写。

使用正则表达式来析取饭否消息文本，需要考虑的细节很多。一处不细致，程序运行起来就会给你难看。饭否彩信的格式就略过不分析了。道理相同，点到为止。

使用xml解析饭否消息

再来看一下在python下，使用xml来解析饭否消息。注：该程序参考了ppip的pyfan程序。
 

from xml.dom import minidom, Node #引人解析工具：xml小马驹！
node = minidom.parse(urllib2.urlopen("http://fanfou.com/zhasm/p.1"))
#抓取页面http://fanfou.com/zhasm/p.1 的全部内容到变量node中
l = node.getElementsByTagName("ol")[0]
#将饭否消息部分内容保存到变量l中
for c in range(0, number):
    # 时间
    if l.childNodes[c].hasAttribute("class"):
        continue
    content = (
            #时间:
            l.childNodes[c].childNodes[5].\
            firstChild.getAttribute("title"),
            #消息正文 :
            childNodes[c].childNodes[0].toxml()[22:-7],
            #uuid
            l.childNodes[c].childNodes[5].firstChild.\
            getAttribute("href")[10:]
            )