首字母大小写无关模式

有一段时间，我在写正则表达式来匹配Drug关键字时，经常写出 /viagra|cialis|anti-ed/ 这样的表达式。为了让它更美观，我会给关键词排序；为了提升速度，我会使用 /[Vv]iagra/ 而非/viagra/i ，只让必要的部分进行大小写通配模式。确切地说，我是需要对每个单词的首字母进行大小写无关的匹配。

我写了这样的一个函数，专门用来批量转换。

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

#convert regex to sorted list, then provide both lower/upper case for the first letter of each word #luf means lower upper first sub luf{     #   split the regex with the delimiter |     my @arr=sort(split(/\|/,shift));     #   provide both the upper and lower case for the       #   first leffer of each word     foreach (@arr){s/\b([a-zA-Z])/[\l$1\u$1]/g;}     #   join the keyword to a regex again     join('|',@arr); } print luf "sex pill|viagra|cialis|anti-ed"; #   the output is:[aA]nti-[eE]d|[cC]ialis|[sS]ex [pP]ill|[vV]iagra

控制全局匹配下次开始的位置

记得jyf曾经问过我，如何控制匹配开始的位置。嗯，现在我可以回答这个问题了。Perl 提供了 pos 函数，可以在 /g 全局匹配中调整下次匹配开始的位置。举例如下：

1 2 3 4 5

$_="abcdefg"; while(/../g) {     print $&; }

其输出结果是每两个字母，即ab, cd, ef

可以使用 pos($_)来重新定位下一次匹配开始的位置，如：

1 2 3 4 5 6

$_="abcdefg"; while(/../g) {     pos($_)--;  #pos($_)++;     print $&; }

输出结果：

1 2	pos($_)--:  ab, bc, cd, de, ef, fg. pos($_)++:  ab, de.

可以阅读 Perl 文档中关于 pos的章节获取详细信息。

散列与正则表达式替换

《effective-perl-2e》第三章有这样一个例子（见下面的代码），将特殊符号转义。

1 2	my %ent = { '&' => 'amp', '<' => 'lt', '>' => 'gt' }; $html =~ s/([&<>])/&$ent{$1};/g;

这个例子非常非常巧妙。它灵活地运用了散列这种数据结构，将待替换的部分作为 key ，将与其对应的替换内容作为 value 。这样只要有匹配就会捕获，然后将捕获的部分作为 key ，反查到 value 并运用到替换中，体现了高级语言的效率。

不过，这样的 Perl 代码，能否移植到 Python 中呢？ Python 同样支持正则，支持散列（Python 中叫做 Dictionary），但是似乎不支持在替换过程中插入太多花哨的东西（替换行内变量内插）。

查阅 Python 的文档，（在 shell 下 执行 python ，然后 import re，然后 help(re)），：

1 2 3 4 5 6 7

sub(pattern, repl, string, count=0)     Return the string obtained by replacing the leftmost     non-overlapping occurrences of the pattern in string by the     replacement repl.  repl can be either a string or a callable;     if a string, backslash escapes in it are processed.  If it is     a callable, it's passed the match object and must return     a replacement string to be used.

原来 python 和 php 一样，是支持在替换的过程中使用 callable 回调函数的。该函数的默认参数是一个匹配对象变量。这样一来，问题就简单了：

1 2 3 4 5 6 7 8 9

ent={'<':"lt",     '>':"gt",     '&':"amp",     } def rep(mo):     return ent[mo.group(1)] html=re.sub(r"([&<>])",rep, html)

python 替换函数 callback 的关键点在于其参数是一个匹配对象变量。只要明白了这一点，查一下手册，看看该种对象都有哪些属性，一一拿来使用，就能写出灵活高效的 python 正则替换代码。

另, 新站的访问速度如何? 可以接受吗?

目前在蕴酿一篇关于”如何DIY一款像RegexBuddy那样的正则表达式工具”的博客, 敬请期待.

运行结果：

使用正则表达式搜索字串，比逐位进行strcmp这样的方法要复杂N倍，如果说strcmp是只支持＋－×÷的计算器的话，那么正则表达式就是一台现代化的电脑。正则式不用逐位比较，它有自己的一整套方法。

要想在源字串找某个正则式模式，需要先详尽地分析该正则式，其过程是将该正则式解剖成不可再分的字符（称为状态），然后从任意一个状态开始，通过不同的路径（字符输入）可以到达不同的状态。第一个字符之前，叫做初始状态；最后一个字符之后，叫做接收状态。这种是NFA（不确定的有穷自动机），因为一个状态上有可能存在不止一条的转出状态。

一旦做好了这样的状态集合，就可以进行匹配了。每输入一个字符，从开始状态上就会产生不同的状态集合；依次输入完毕，如果所得到状态集合中包含了一个接受状态，就证明所输入的串是匹配的。但是NFA的效率低下。因为从每个状态上转出的路径不止一条，因此就有回溯。为提升效率，可以将NFA转成等效的DFA，即确定的有穷自动机。

DFA的原理是，对于每个状态集合D和给定的输入字符a，最多只有一条通路可走。与NFA的区别是，对于每个单个的状态f和给定的字符a，就有N条路可走。但是DFA也不是生来就万能的，比方说，它有死状态需要消除，同构的状态需要合并，还存在对于复杂正则表达式的DFA的转换效率低、实现复杂度高的情况，等等。虽如此，NFA转换为DFA还是值得的，有道是磨刀不误砍柴功。

对于正则表达式做好了DFA，就可以进行匹配了。每输入一个字符，自动机就转至下一个状态集合，直至输入结尾。如果所达到的状态集合中包含了接受状态，那么匹配就是成功的。

以上就是NFA、DFA的原理。当然，细节是简化过的。否则的话，上面任何一个步骤都有N多的细节，需要使用各种奇怪的数据结构来存储，复杂的成员函数来操作。

说到这里，想起python, pcre，以及其它一些正则表达式库，都有compile一个选项。先编译再执行，一次编译多次执行，文档一再这样强调。这比一上来就execute效率要高，如果重复执行多次的话。以前总是图方便直接就execute了，现在想想，实现一个正则表达式多不容易呀，对于多次重复的匹配，还是老老实实地compile一次才有礼貌。正则引擎在幕后默默无闻地做了那么多工作，不应该老是麻烦它老人家，呵呵。

至于正则表达式的实现，其实也只是先有数学思想，然后将其使用编程语言实现而已。准备步骤是先归纳语法树，自顶至下，逐级细分；而实现步骤是从现有的正则表达式自叶至顶，先将正则式转换为NFA图，再优化，转为DFA，这时才可与目标字串进行比较。

在看紫龙书时，感觉到其中从思路到算法，从伪代码到实际代码之间，其转换需要太多的细节来补充。而这些知识，不单来自于对具体语言语法的掌握，还需要合适的数据支持，才能化繁为简，事半功倍。顺便读了一些C++ STL的内容，觉得这些标准库真是相当有用，在构建正则表达式时这些库正好可以物尽其用。STL的作者善莫大焉。

从理论上说，即使没有STL支持的纯C语言，对于实现正则表达式也是没有任何问题的，只不过是自己捎带着再写一遍自己需要的数据结构而已。别说C，就是宏汇编，也可以实现的。如果感兴趣，可以自行到Aogo的www.aogosoft.com上自行搜索他的实现。归结到一句话：思路有了，语言的实现只是翻译。我等初学者是无力想出更高级的实现的，只是在这种翻译过程中，作为一种深化理解和课后练习罢。言归正传，下面是我要推荐的几则链接。

1. 《正则表达式识别》 http://blog.csdn.net/slavik/archive/2006…40386.aspx
有图有真相。本文的配图还是挺丰富的。思路也清晰。极具指导意义。
可惜没有源码。该博客的其它相关文章，也值得阅读。

2. 正则表达式 TO NFA表格
http://hi.baidu.com/rabbit5455/blog/item…1aac8.html
这篇文章主要是提供了源码，源码中附注释。也不错。

3. 《Write Your Own Regular Expression Parser》 http://www.codeguru.com/cpp/cpp/cpp_mfc/….php/c4093

本文是英文文章，有图示，有源码，很不错。我正在边阅读，边学习，边翻译，一边自行实现。建议直接阅读英文资料，不必等我的翻译。本文的代码只提供了*,|，以及连接操作的实现。不过也对其它操作的实现给出了指导。我已经在源代码基础上添加了问号和加号的支持。

除此之外，还可以使用互逆的元字符，来构造这样的万能通配符，例如

使用普通字符也可以的。因为我们可以将全部字符划分为a和非a，

所谓正则表达式，其实是一种抽象，是从现有的文本中找到规律，然后用正则的语言描述出来。例如，上次有人问，以http开头的，以空格结尾的正则式如何写？这个问题不难，我们只要符合这两个要求即可，即^(http\S+)\s。至于http后面的冒号、双斜杠，都不必劳神去匹配。这样写出来的正则表达式简洁明快，清晰易读。当然，从效率出发，越精确的正则式越有利于尽早失败，有利于提升效率。权衡写的效率与执行的效率，其过程也是很不错的。

则输出：

注意事项：

1. 整数部分可以使用半角的逗号、空格、单引号、下划线、中划线分隔。
2. 分隔符的位置可以任意（每3位可，每4位也可），可以任意组合（可以混合使用上述的分隔符）。
3. 如果使用单引号，请注意在最外边加上双引号以免转义。

完整程序：