我爱正则表达式 » 杂项 http://iregex.org 原创、翻译、转载关于正则表达式的文章 Fri, 30 Mar 2012 12:50:01 +0000 en hourly 1 http://wordpress.org/?v=3.3.1 饭否新手指南（非官方） http://iregex.org/blog/fanfou-the-missing-manual.html http://iregex.org/blog/fanfou-the-missing-manual.html#comments Sat, 27 Nov 2010 08:09:15 +0000 rex http://iregex.org/?p=153 500多天之后，饭否回来了。这是不是以前的那个饭否不要紧，重要的是你还是那个你。(via@王兴) 有人说：“饭否回来不被阉割就很好了。”要俺看被阉割也成啊，被阉割俺也愿意继续跟它，好歹曾经完整过，不像这个新浪围脖儿，还没出生时就是太监了。(via @女流氓.exe)

总结了一款非官方的新手指南。老fanfouers请无视。

饭否官方求助页面

  • http://fanfou.com/help
  • http://help.fanfou.com/faq.html

    • 注册新帐户

    现在饭否采用了邀请制注册方式。可以使用下面的邀请码：

    http://fanfou.com/register/cDzSYlKOY6MX （@.rex提供）

    我猜测如果A提供注册链接，供B注册的话，A和B自动相互Follow。这能够解释为什么有的人的friends 和 followers 同时上升，而自己并没有主动去follow 谁的。猜测而已。求官方证实。

    PS: 听一下@带三个表 的心声：“为了方便大家注册微博，我在博客上把邀请链接贴出来了。所以大家进来后默认我关注你。但是现在有将近三千人被我关注，我实在看不过来，就把不认识的人取消了。如果您将来写的好看，我还会关注。”

    饭否登录

  • 电脑登录页面：
  • 手机登录
  • 结合@穆荣均 所说，可以使用下面的登录名：
    • 自己的短网址（即个性域名，例如http://fanfou.com/zhasm ，就使用 zhasm 来登录）；大小写无关。
    • 自己的邮箱
    • 之前登记过的手机号

    发消息的正确格式

  • 提及某人 消息正文@用户名称 半角空格 其余消息。@号为半角。
  • @号之前可以没有空格，但是用户名称后一定要有空格才可以。最简单的办法是直接点击页面上的回复与转发。
  • @号之后是用户名称，而不是ID（或曰短网址）。这与推特的做法是截然不同的。
  • 贴网址 饭否对于网址的解析，同样比推特的更智能。一般情况下，网址前后都没有空格分隔也能正确解析。但是两端各加一个空格，是最优雅的方式，在任何微博中都通行无阻。
  • @与回复的关系受@布丁丁丁的委托，面向从新浪刚转至饭否的朋友，解释一下@与回复的关系。
    可能在新浪两者是没有直接关系的。在饭否，可以这样简单解释一下：如果饭否消息里有N个 @饭友名称 ，则这N位饭友都会在饭否界面 @提到我的 一栏看到通知；如果饭友A给他的好友B发了一条消息：”@B ……”，则只有既关注A又关注B的人才能在自己的主页看到这条消息。如果A发的不是以＠开头的消息，例如：”something @B ……”，则A的所有听众都会看到这条消息。一般而言，如果只是针对B发的消息，较为礼貌的格式就是”@B …”，这样既不影响B收到这条消息，又不打扰其他饭友。但愿我解释清楚了。没关系，没那么复杂。尝试一下你就知道。

    • 上传图片

  • 电脑上传
  • 手机上传

    • API以及应用

  • 爱饭样式头像生成器2.0地址在这里，avatar.ifanfou.com，非常有爱，敬请试用。
  • 饭否Apps寻找好玩的应用http://help.fanfou.com/apps.html
  • 饭否博客导入饭否博客导入是把博客上新发表的文章自动导入到饭否的工具。当你的博客新发表一篇文章，饭否博客导入会帮你自动发布一条消息到饭否。http://daoru.fanfou.com/
  • 饭否 API 应用书签这是饭否官方收集的，保存在delicious上的书签集合。相当之丰富。饭否 API 应用书签
  • 爱饭这是一款非常不错的饭否客户端。因为有Adobe Air的支持，该应用可以在Windows, Linux, 以及Mac下使用。界面美观，功能贴心。
  • 爱饭官方爱饭的作者是@realazy 同学，请你关注爱饭的帐号：@ifan 。
  • iPhone客户端
    • @郭万怀提供的链接115.com, 并提示，只能供已越狱的iPhone手机使用。App Store对上传的软件要求服务器要稳定，现在我们刚开始，服务器要调试。所以，他暂时还没有上传到App Store官方网站。如果有新消息，会在饭否里第一时间通知。如果有其它同学制作了iPhone客户端，我们也会第一时间通知大家。(via @郭万怀)
    • 饭友Tiger 提供提供的链接bbs.weiphone.com没有测试。请自行尝试。
  • FanFox(Firefox的饭否插件)饭友@雷小雷提供的链接。在这里115.com。已经修正API问题。这是一款非常好用的插件，推荐以Firefox为主浏览器的朋友使用。附fanfox的官网地址panweizeng.com。

    • 饭否公约

  • 修改头像建议新注册用户尽快修改一下头像，不要使用默认的问号头像。这个头像出现别人的好友表里的话，对别人不礼貌，自己也没有起到识别宣传的作用。而且，即使是被人加为好友，也有可能被清理掉。
  • 修改ID ID就是你的短域名。相比与上一项，这个不是必需修改的，而且只有修改一次的机会。想好了再改。
  • 个人介绍个人介绍是你在饭否的开场白，是你准备向其它饭友介绍一个怎样的自己，是其他饭友决定follow你与否的重要参考。因此，花点心思好好介绍一下自己，可能会迅速赢得不少关注。
  • 尽量不版聊这个只是提一个建议。视你自己的习惯，以及你的好友对你的容忍度而定。如果你在话痨圈，这个约定就很宽松；如果你的好友都有time line洁癖，喋喋不休的人会被unfo 或 block。
  • 加删随意你有follow别人的权利（私密型除外），但是对方没有follow back的义务。多分享一些有趣有用的话题，自然会吸引更多的人follow你。

    • 导航

  • 排行榜大牛们聚集的地方。你如果初来乍到，不知道应该follow谁，那么不妨来这里看看，或许能找到不少。http://bang.fanfou.com/。“有的人很重要，你一定要follow；有的人更重要，你不必follow，自会有人将他的话转发给你。”(via@和菜头 )

    另外，你也可以给自己加上标签（最多三个）。
  • 可能关注的人貌似是根据你现在follow的用户群，帮你推荐一些新朋友。与“豆瓣猜”类似。http://fanfou.com/userpush
  • 小调查饭否新增功能需求小调查。参与一下吧，让饭否更好用～

    • 饭否的新特性

  • 标签使用两个半角井号 ## 将中文或英文词包围起来即可。例如，#fanofu# #应用#. 将来服务器布署完毕之后，可以通过http://fanfou.com/q/TAG_KEYWORD 的方式访问该标签下的消息集后。
  • 压缩网址: ye.ma 消息中的长网址自动被压缩为ye.ma短网址 。这是自动进行的，但是却不够智能。原因是在你输入长网址时，你只能输入 140-length(长网址) 的字数，而不是 140-length(短网址) 个字。解决办法是不用它，先使用id.gd等压缩好了，再来输入。如果你需要的话。不过，无论使用何种压缩网址，都可以方便转发。
  • logo加上了“测试版”。

    • 问答(结合饭否金牌客户@郭万怀的留言整理; 文中的“我们”指饭否官方)

  • 为什么饭否关闭期间有人可以一直更新饭否消息?
    在此期间其实仍然可以使用发短信至13489133650的方式锲而不舍地更新自己的状态。
  • 为什么收不到验证邮箱？非常抱歉，因为饭否这几天来的人超多，服务器无法一下子发完那么多邮件，存在严重延迟和丢失的现象。我们的工程师正在努力解决，希望本周内有所改善，让你收到验证邮箱的电子邮件。
  • api什么时候开放？对不起，这是我们的错。一开始没有预料到会有那么多人回来，以为最多就是二、三十万的样子。刚开始内测，服务器就被压垮了。经过工程师的紧急处理，目前可以保证网页访问，消灭白屏现象。我们希望在本周（11月末～12月初）晚些时候能够开放API服务，祈祷别把服务器又拉垮了。
  • 首页新关注我的用户列表怎么不见了？由于系统压力，之前暂时关闭了这个功能，今天（11月29日）已恢复正常。


    • 如果您想到其它，请补充。谢谢。本文持续更新中。

    ]]>     http://iregex.org/blog/fanfou-the-missing-manual.html/feed 30     anti spam杂谈 http://iregex.org/blog/anti-spam.html http://iregex.org/blog/anti-spam.html#comments Sun, 15 Aug 2010 02:03:50 +0000 rex http://iregex.org/?p=140 本文是一篇随笔，将email的anti spam技术和论坛的防灌水结合在一起讨论。从技术层面出发。不涉及其它。

    据说德国有这样一句谚语：没有泡沫的啤酒不是好啤酒。推而广知，可以得到：没人灌水的论坛不是好论坛，没有垃圾邮件的邮件系统不是好系统（至少是不知名的系统／电邮地址），没有病毒骚扰的OS不是好的OS，等等。但是，只有泡沫的啤酒也不是什么好啤酒吧？关键是将不需要的内容控制在可以允许的范围内。单就开论坛、维护垃圾邮件的角度出发，审核技术还是很有用，很有必要的。否则，其地盘很快就会淹没在垃圾广告的汪洋大海之中。自己的论坛，自己发广告是为了维持网站开销，但是不请自来的广告是无法容忍的。

    Spam

    垃圾邮件有两个特点：

    1. 大量。一封两封垃圾邮件，个人用户可能比较在意，但是对于服务器来说，邮件数以百万计。在这样大的分母下，如果偶然有一两封垃圾邮件被判为合法邮件，或者合法邮件被误判为垃圾，实属正常。
    2. 不需要。需要与否，取决于用户的主观判断。大家都认为 porn 和 drug 内容是spam，但是也不排除有人将这类邮件标为 ham 的。

    Anti-Spam

    常用的反垃圾邮件有以下几种方法：

    • 静态关键词列表。如果邮件头（标题，收发件人，电邮地址，正文）含某些关键词（例如Viagra），就将邮件标为Spam 或 Ham。这是最简单的方式，为各大邮件厂商所采用，包括Gmail。它最大的优点是快。缺点多多，一是需要维护（增／改／删 关键词），二是准确率不高（含黑名单中关键词的邮件未必全是Spam，反之亦然），三是不能识别含有干扰因素的邮件。例如，V1agra，发*漂，含这种关键词的邮件，人眼立即能识别它是垃圾邮件，但是静态法就傻了。
    • 正则表达式规则表。与静态关键词列表相反，它速度稍慢，但是极其强大和灵活。对于邮件头的扫描，效果尤佳：邮件头是有规律可循的，尤其是对于大量的垃圾邮件而言，不可能不在邮件头中留下蛛丝马迹。
      但是这种方法也有其短板。与上述方法类似，它也需要专人来维护，而且无论从配置难度到维护成本，都远高于前者。对于邮件的正文，正则表达式的扫描速度比较缓慢，尤其是对于精心设计了干扰因素的垃圾邮件。有相当大的一部分邮件，人眼看上去确实也是垃圾邮件，但是使用正则表达式也不好写规则。一个新的规则写手，可能要在准确率与查杀总量的折哀上花费很长一段时间才能掌握其规律。
    • 贝叶斯概率法。若已知某些字词经常出现在垃圾邮件中，却很少出现在合法邮件中，当一封邮件含有这些字词时，那么link它是垃圾邮件的可能性就很大。参考此文。贝叶斯过滤技术。
      它最大的优点是，只要有足够健壮的算法，足够的样本空间，其准确率是非常高的。同时，它主要依赖于机器学习，而不需要后期大量的人工干预。

    国内有的网站，其内容过滤系统极其简单粗暴，只要出现单个汉字“日”，“操”，“干”等等字眼，就当作垃圾邮件／评论对待，而不分析具体上下文，实在令人又好气又好笑。又有，《百家姓》的常见姓氏用字本身不是垃圾字眼或违禁词汇，如果将其加入静态列表，就会导致连萝卜也无法搜索。其实，用一点点正则表达式（环视）或贝叶斯的技术（条件概率），就能提高过滤质量，皆大欢喜。当然，如果要扫描亿万级的网页，速度的要求肯定要优先于准确度，某些情况下只能做到大致靠谱罢了。然而，频频出错的系统，即使快一点点又有何用（成语：南辕北辙）？ 不过，从来都是宁枉勿纵的。

    由于静态法的特点，注定了列表只能向管理员开放，而对普通游客讳莫如深。这导致了另一种现象：该贴无法显示，是因为含有某关键词。至于哪些词是关键词，不好意思，不能告诉你，怕这个列表一旦公开，想发类似内容的人就能轻易绕过。那就有劳管理员们从严自省，并用心地揣摩圣意。

    动静结合，人、机结合，系统才能越用越新。@chunzi说得很形象：反垃圾邮件的过程，不是拼耐力的马拉松赛跑，而是适者生存的进化。总是魔已先高一丈，道才一尺尺增高，并最终压住魔。同时有新的魔即将出现。

    一些工具

    如果你说自己的邮箱里其实没多少垃圾邮件，或者即使有也已经自动被转入垃圾箱了，那么有两种可能。一是你所用的邮箱系统本身的反垃圾邮件系统做得不错（有太多太多各式各样的明显的垃圾邮件在进入你的邮箱之前，已经被服务器端给block了）。二是你的邮址没有被爬虫抓到或算出来。

  • Spamassassin是一套不错的反垃圾邮件系统。免费，与Apache紧密结合，强大的正则式支持。国内有一个组织专门动态维护一个中文的规则表，在这里，可以参考。Spamassassin其实也有贝叶斯模块，只是它以正则知名罢了。
  • WordPress 有个 Akismet 插件是用来block 博客上的垃圾评论的。这个设置起来比较傻瓜（只需要申请一个API）即可，效果比较智能，完全不用用户再手工添加任何规则。对于出错的判断，用户有义务提交给Akismet官方，方便它学习新的变种。应该说，用户提交的漏判或误判，是必不可少的语料库。没有用户提交，Akismet就会一根筋地按照既定的思路继续犯同样的错误。

    • 个人应用

    国人开发的Discuz是一款不错的论坛程序。不过，它没有较好的反垃圾模块，我一直在颇厌其烦地删除spam和spammer。看了一下Ak的官网，几乎国外知名的论坛程序都有Ak的插件了。我研究了dz的数据结构，使用python写了一个脚本，定时搜索新贴子，将其提交到Ak做判断。如果判为垃圾，则屏蔽贴子，并对该会员实施减分操作。刚开始试用，效果还可以。其实可以做成原生的php插件，集成到dz中的。

    流程很直接：

    • 定时搜索最新贴子；
    • 对于每一个新贴子:
      • 提交给Akismet作测试。
      • 如果不是垃圾，忽视之。
      • 如果是垃圾，将该贴转为仅管理员可见。同时将该用户扣分。
    • 总合一下应该执行的操作，执行SQL, Commit。
    • 生成报表，发邮件给管理员。

    Ak的开发者页面在这里 Akismet API Documentation。我用了其中的Python 模块 将其封装为一个class，只需要init和check即可：

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    #!/usr/bin/python
    # -*- coding: utf-8 -*-
    #
    #author:         rex
    #blog:           http://iregex.org
    #filename        comment.py
    #created:        2010-08-14 15:58

    from akismet import Akismet

    class Comment():
        def __init__(self):
            self.api=Akismet()

            if self.api is None or not self.api.verify_key():
                print 'No Valid Akismet API'
                exit(1)

        def init(self, comment, user='', ip='', email=''):
            self.user=user.encode("utf-8")
            self.comment=comment.encode("utf-8")
            self.ip=ip
            self.email=email

        def check(self):
            return self.api.comment_check(self.comment,
                        {
                             'comment_author': self.user,
                             'comment_author_email':self.email,
                             'user_ip':self.ip,
                             'user_agent':"Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.2.8) Gecko/20100723 Ubuntu/10.04 (lucid) Firefox/3.6.8",
                        },
                    )

    这是程序的主要部分

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    42
    43
    44
    45
    46
    47
    48
    49
    50
    51
    52
    53
    54
    55
    56
    57
    58
    59
    60
    61
    62
    63
    64
    65
    66
    67
    68
    69
    70
    71
    72
    73
    74
    75
    76
    77
    78
    79
    80
    81
    82
    83
    84
    85
    86
    87
    88
    89
    90
    91
    92
    93
    94
    95
    96
    97
    98
    99
    100
    101
    102
    103
    104
    105
    106
    107
    108
    109
    110
    111
    112
    113
    114
    115
    116
    #!/usr/bin/python
    # -*- coding: utf-8 -*-
    #
    #author:         rex
    #blog:           http:#iregex.org
    #filename        dzas.py
    #created:        2010-08-14 15:20

    #anti spam for discuz! bbs.

    from comment import Comment as C
    from eml import Email

    #########################################################
    #global settings
    send_email_log =1

    dbhost = 'yourhost.website.com';
    dbuser = 'db_user';              
    dbpw = 'yourpassword';            
    dbname = 'dbname';    
    dbpre='cdb_'


    #punish : punish for the user if he/she publish spam
    punish_score=2

    #now is 2 hours; you may change
    sql={
        'last_n_hr':'''select `%sposts`.pid, `%sposts`.author, `%sposts`.message, `%sposts`.useip, `%smembers`.email, authorid from `%sposts`, `%smembers` where dateline>UNIX_TIMESTAMP(now())-2*3600 and `%sposts`.author=`%smembers`.username order by pid desc;''' % (dbpre,dbpre,dbpre,dbpre,dbpre,dbpre,dbpre,dbpre,dbpre,),
        'hide':'update %sposts set `status`= 1 where pid in (%s);',
        'punish':'update %smembers set credits=credits-%s where uid=%s;',
        'find_hided':"SELECT * FROM  `%sposts` WHERE  `status`=1;"%(dbpre),
    }

    import MySQLdb

    def init_db():
        db=MySQLdb.connect(host=dbhost, user=dbuser, passwd=dbpw,db=dbname, charset='utf8')
        return db

    def hide_spam(db, spam):
        c=db.cursor()
        sql_str=sql['hide'] % (dbpre,','.join(spam))
        c.execute(sql_str)
        db.commit()

    def punish(db,score):
        c=db.cursor()

        for u in score.keys():
            s=score[u]
            sql_str=sql['punish'] % (dbpre,s*punish_score,u)
            c.execute(sql_str)
        db.commit()

    def get_msg(db):
        c=db.cursor()
        c.execute(sql['last_n_hr'])
        records= c.fetchall()
        result=[]
        for r in records:
            result.append(
                    {
                        'pid':r[0],
                        'user':r[1],
                        'msg':r[2],
                        'ip':r[3],
                        'email':r[4],
                        'uid':r[5]
                    })

        return result

    #send log to admin. change the global variable
    #send_email_log = 1 or 0 to enable/disable
    def report(spam, score):

        sub="%s spams caputured" % len(spam)
        body="spammers including: %s\n" % ', '.join( set([m['user'] for m in spam] ))
        body+="spam pids including: %s\n" % ', '.join( [ str(m['pid']) for m in spam] )
     
        body+="useful sql: %s\n\n" % sql['find_hided']
        body+="spam preview: \n%s" % "\n".join( m['msg'].splitlines()[0] for m in spam)
        Email(sub.encode("utf-8"),body.encode("utf-8"))

    #the core part

    def anti_spam(db, msgs):
        c=C()
        spam=[]
        score={}.fromkeys([m['uid'] for m in msgs], 0)
        for m in msgs:
            c.init(m['msg'], m['user'], m['ip'], m['email'])
            if c.check():
                score[m['uid']]+=1
                spam.append(m)

        for s in score.keys():
            if score[s]==0:
                del score[s]

        if score and spam:
            hide_spam(db, [str(m['pid']) for m in spam])
            punish(db, score)

            if send_email_log:
                report(spam, score)

    def main():
        db=init_db()
        msg=get_msg(db)
        anti_spam(db, msg)

    if __name__=='__main__':
        main()
    ]]>     http://iregex.org/blog/anti-spam.html/feed 6     正则凡客 http://iregex.org/blog/fanke.html http://iregex.org/blog/fanke.html#comments Tue, 10 Aug 2010 12:00:51 +0000 rex http://iregex.org/?p=139 按需替换，精准搜索；
    有时贪婪，有时懒惰。
    喜欢正则，不喜欢回溯；
    喜欢用正则解决问题，也知道并非所有问题都能用正则解决。
    喜欢在论坛上讨论疑点，也喜欢在博客上分享心得。
    自学而未成才，不是什么大牛，我是一名正则凡客。

    ]]>     http://iregex.org/blog/fanke.html/feed 1     搬家完毕 http://iregex.org/blog/moved.html http://iregex.org/blog/moved.html#comments Tue, 04 May 2010 01:57:32 +0000 rex http://iregex.org/?p=86 原空间(homezz.com)到期, 顺便换为法国alwaysdata.com的了. 搬家很顺利, 使用scp将数据从原空间隔空传物过去; 配置好域名dns, 数据文件, 新空间就激活了. 很顺利.

    另, 新站的访问速度如何? 可以接受吗?

    目前在蕴酿一篇关于”如何DIY一款像RegexBuddy那样的正则表达式工具”的博客, 敬请期待.

    ]]>     http://iregex.org/blog/moved.html/feed 6     五一搬家 http://iregex.org/blog/moving.html http://iregex.org/blog/moving.html#comments Thu, 29 Apr 2010 10:53:30 +0000 rex http://iregex.org/?p=85 本站在五一期间将更换空间。

    ]]>     http://iregex.org/blog/moving.html/feed 7     效率问题 http://iregex.org/blog/20091022-efficiency.html http://iregex.org/blog/20091022-efficiency.html#comments Thu, 22 Oct 2009 12:13:46 +0000 rex http://iregex.org/?p=70 上周发了篇《两条与密码验证相关的正则表达式问题》。今天看了些python的正则表达式，心血来潮，想看看这几种正则哪种效率较高。代码、运行结果见下。这是为什么呢？

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    #!/usr/bin/python
    import re
    import time
    import fpformat
    Regex1 = re.compile("^(?=[0-9a-zA-Z@%&]*\d)(?=[0-9a-zA-Z@%&]*[a-zA-Z])(?=[0-9a-zA-Z@%&]*[@%&])[0-9a-zA-Z@%&]{8,}$", re.MULTILINE)
    Regex2 = re.compile("^(?=.*\d)(?=.*[a-zA-Z])(?=.*[@%&])[0-9a-zA-Z@%&]{8,}$", re.MULTILINE)
    Regex3 = re.compile("^(?![0-9a-z]{8,16}$|[@%&]{8,16}$)[a-z0-9@%&]{8,16}$", re.IGNORECASE |re.MULTILINE)



    TimesToDo = 1250;
    TestString = ""
    for i in range(800):
        TestString += "aba134babdedfg@&%\n"

    StartTime = time.time()
    for i in range(TimesToDo):
       Regex1.search(TestString)
    Seconds = time.time() - StartTime
    print "R1 takes " + fpformat.fix(Seconds,3) + " seconds"

    StartTime = time.time()
    for i in range(TimesToDo):
       Regex2.search(TestString)
    Seconds = time.time() - StartTime
    print "R2 takes " + fpformat.fix(Seconds,3) + " seconds"

    StartTime = time.time()
    for i in range(TimesToDo):
       Regex3.search(TestString)
    Seconds = time.time() - StartTime
    print "R3 takes " + fpformat.fix(Seconds,3) + " seconds"

    运行结果：
    我爱正则表达式|效率问题

    ]]>     http://iregex.org/blog/20091022-efficiency.html/feed 3     concise perl re table http://iregex.org/blog/concise-perl-re-table.html http://iregex.org/blog/concise-perl-re-table.html#comments Wed, 21 Oct 2009 04:19:41 +0000 rex http://iregex.org/blog/concise-perl-re-table.html GDOC链接在这里。

    ]]>     http://iregex.org/blog/concise-perl-re-table.html/feed 2     正则学习杂感：磨刀不误砍柴功 http://iregex.org/blog/20090923-learning-regex.html http://iregex.org/blog/20090923-learning-regex.html#comments Wed, 23 Sep 2009 06:05:39 +0000 rex http://iregex.org/?p=67 反复读紫龙书第三章，以及网文Write Your Own Regular Expression Parser（链接在这篇文章中找），连同该网文附带的源码，终于破关。一点感悟，写在这里。

    使用正则表达式搜索字串，比逐位进行strcmp这样的方法要复杂N倍，如果说strcmp是只支持＋－×÷的计算器的话，那么正则表达式就是一台现代化的电脑。正则式不用逐位比较，它有自己的一整套方法。

    要想在源字串找某个正则式模式，需要先详尽地分析该正则式，其过程是将该正则式解剖成不可再分的字符（称为状态），然后从任意一个状态开始，通过不同的路径（字符输入）可以到达不同的状态。第一个字符之前，叫做初始状态；最后一个字符之后，叫做接收状态。这种是NFA（不确定的有穷自动机），因为一个状态上有可能存在不止一条的转出状态。

    一旦做好了这样的状态集合，就可以进行匹配了。每输入一个字符，从开始状态上就会产生不同的状态集合；依次输入完毕，如果所得到状态集合中包含了一个接受状态，就证明所输入的串是匹配的。但是NFA的效率低下。因为从每个状态上转出的路径不止一条，因此就有回溯。为提升效率，可以将NFA转成等效的DFA，即确定的有穷自动机。

    DFA的原理是，对于每个状态集合D和给定的输入字符a，最多只有一条通路可走。与NFA的区别是，对于每个单个的状态f和给定的字符a，就有N条路可走。但是DFA也不是生来就万能的，比方说，它有死状态需要消除，同构的状态需要合并，还存在对于复杂正则表达式的DFA的转换效率低、实现复杂度高的情况，等等。虽如此，NFA转换为DFA还是值得的，有道是磨刀不误砍柴功。

    对于正则表达式做好了DFA，就可以进行匹配了。每输入一个字符，自动机就转至下一个状态集合，直至输入结尾。如果所达到的状态集合中包含了接受状态，那么匹配就是成功的。

    以上就是NFA、DFA的原理。当然，细节是简化过的。否则的话，上面任何一个步骤都有N多的细节，需要使用各种奇怪的数据结构来存储，复杂的成员函数来操作。

    说到这里，想起python, pcre，以及其它一些正则表达式库，都有compile一个选项。先编译再执行，一次编译多次执行，文档一再这样强调。这比一上来就execute效率要高，如果重复执行多次的话。以前总是图方便直接就execute了，现在想想，实现一个正则表达式多不容易呀，对于多次重复的匹配，还是老老实实地compile一次才有礼貌。正则引擎在幕后默默无闻地做了那么多工作，不应该老是麻烦它老人家，呵呵。

    ]]>     http://iregex.org/blog/20090923-learning-regex.html/feed 2     正则学习杂感，附几枚链接 http://iregex.org/blog/20090918-learning-regex-with-some-urls.html http://iregex.org/blog/20090918-learning-regex-with-some-urls.html#comments Fri, 18 Sep 2009 02:31:37 +0000 rex http://iregex.org/?p=65 最近在学习编译原理，尤其是正则表达式的实现这一节。从网上搜索到有用的链接，张贴在这里。一个感受是，数学知识是非常有用的，尤其是创造性的编程。如果数学知识足够，完全可以写出更加高效的算法；如果数学知识不够，最多只是重复别人已经写好的算法而已。因此在初步学习时，可以不必另造车轮，老老实实地学习已经很成熟的算法，才是正途。

    至于正则表达式的实现，其实也只是先有数学思想，然后将其使用编程语言实现而已。准备步骤是先归纳语法树，自顶至下，逐级细分；而实现步骤是从现有的正则表达式自叶至顶，先将正则式转换为NFA图，再优化，转为DFA，这时才可与目标字串进行比较。

    在看紫龙书时，感觉到其中从思路到算法，从伪代码到实际代码之间，其转换需要太多的细节来补充。而这些知识，不单来自于对具体语言语法的掌握，还需要合适的数据支持，才能化繁为简，事半功倍。顺便读了一些C++ STL的内容，觉得这些标准库真是相当有用，在构建正则表达式时这些库正好可以物尽其用。STL的作者善莫大焉。

    从理论上说，即使没有STL支持的纯C语言，对于实现正则表达式也是没有任何问题的，只不过是自己捎带着再写一遍自己需要的数据结构而已。别说C，就是宏汇编，也可以实现的。如果感兴趣，可以自行到Aogo的www.aogosoft.com上自行搜索他的实现。归结到一句话：思路有了，语言的实现只是翻译。我等初学者是无力想出更高级的实现的，只是在这种翻译过程中，作为一种深化理解和课后练习罢。言归正传，下面是我要推荐的几则链接。

    1. 《正则表达式识别》 http://blog.csdn.net/slavik/archive/2006…40386.aspx
    有图有真相。本文的配图还是挺丰富的。思路也清晰。极具指导意义。
    可惜没有源码。该博客的其它相关文章，也值得阅读。

    2. 正则表达式 TO NFA表格
    http://hi.baidu.com/rabbit5455/blog/item…1aac8.html
    这篇文章主要是提供了源码，源码中附注释。也不错。

    3. 《Write Your Own Regular Expression Parser》 http://www.codeguru.com/cpp/cpp/cpp_mfc/….php/c4093

    本文是英文文章，有图示，有源码，很不错。我正在边阅读，边学习，边翻译，一边自行实现。建议直接阅读英文资料，不必等我的翻译。本文的代码只提供了*,|，以及连接操作的实现。不过也对其它操作的实现给出了指导。我已经在源代码基础上添加了问号和加号的支持。

    ]]>     http://iregex.org/blog/20090918-learning-regex-with-some-urls.html/feed 0     DIY万能通配符 http://iregex.org/blog/diy-match-all-mode-dot.html http://iregex.org/blog/diy-match-all-mode-dot.html#comments Tue, 11 Aug 2009 08:22:08 +0000 rex http://iregex.org/?p=63 指定了点号匹配换行符模式，就可以使用点号来匹配包括换行符在内的任意字符了。不过，JavaScript的正则中无法设置点号通配模式，但是我们可以创造一个可以匹配换行符的点号，如下：

    1
    (?:.|[\r\n])

    除此之外，还可以使用互逆的元字符，来构造这样的万能通配符，例如

    1
    [\s\S], [\d\D], [\w\W]

    使用普通字符也可以的。因为我们可以将全部字符划分为a和非a，

    1
    (?:a|(?!a).)
    ]]>     http://iregex.org/blog/diy-match-all-mode-dot.html/feed 0