我爱正则表达式 » php http://iregex.org 原创、翻译、转载关于正则表达式的文章 Sun, 27 Jun 2010 04:20:24 +0000 en hourly 1 http://wordpress.org/?v=3.0 PHP中的递归正则 http://iregex.org/blog/recursive-regex-in-php.html http://iregex.org/blog/recursive-regex-in-php.html#comments Mon, 10 May 2010 04:57:28 +0000 rex http://iregex.org/?p=84 之前一篇文章翻译了Perl语言中的递归正则表达式. 其实不少语言中的正则都是支持递归的, 例如本文要介绍的PHP正则递归. 虽然, 工作中最常用的正则表达式都很”正则”, 只用最基本的语法就能解决85%以上的问题, 而且合理有效地使用普通正则来解决复杂问题也是一门技巧与学问; 但是高级一点的语法的确有它存的价值, 有时不用它还真办不了事儿; 况且学习正则的乐趣也在于尝试各种各样的可能性, 满足自己无穷无尽的好奇心.

本文内容, 整理自网文Finer points of PHP regular expressions. 其分析过程剥茧抽丝, 丝丝入扣, 值得一读. 该文系统地列出了PHP中正则表达式常见特性, 我只摘取其中递归部分翻译整理出来.

正文

例子

什么时候会用到递归正则表达式呢? 当然是待匹配的字串中递归地出现某种模式时(貌似废话). 最经典的例子, 就是递归正则处理嵌套括号的问题了. 例子如下.

假设你的文本中包含了正确配对的嵌套括号. 括号的深度可以是无限层. 你想捕获这样的括号组.

恕我剧透, 标准答案是这样的:

1
2
3
4
5
6
7
<?php
$string = "some text (a(b(c)d)e) more text";
if(preg_match("/\(([^()]+|(?R))*\)/",$string,$matches))
{
    echo "<pre>"; print_r($matches); echo "</pre>";
}
?>

其输出结果是:

1
2
3
4
5
Array
(
    [0] => (a(b(c)d)e)
    [1] => e    
)

可见, 我们所需要的文本, 已经捕获到$matches[0]中了.

原理

现在思考原理.

上面的正则表达式中的关键点是(?R). (?R)的作用就是递归地替换它所在的整条正则表达式. 在每次迭代时, PHP 语法分析器都会将(?R)替换为”\(([^()]+|(?R))*\)“.

因此, 具体到上述的例子, 其正则表达式等价于:

"/\(([^()]+|\(([^()]+|\(([^()]+)*\))*\))*\)/"

但是上面的代码只适合深度为3层的括号. 对于未知深度的括号嵌套, 就只好使用这种正则了:

"/\(([^()]+|(?R))*\)/"

它不但能够匹配无限深度, 还简化了正则表达式的语法. 功能强大, 语法简洁.

现在来细看一下"/\(([^()]+|(?R))*\)/"是怎样匹配"(a(b(c)d)e)"的:

  1. "(c)"这部分被正则式 "\(([^()]+)*\)" 匹配. 请注意, (c) 其实就相当于整个递归的一个缩影, 麻雀虽小五脏俱全, 因此它用到了整个正则表达式.
    换言之, 下一步中的(c), 可以使用(?R) 来匹配.
  2. (b(c)d)的匹配过程为:
    1. "\("匹配"(";
    2. "[^()]+"匹配"b";
    3.  (?R)匹配"(c)";
    4. "[^()]+"匹配"d";
    5. "\)"匹配")".

根据上面的匹配原理, 不难理解为什么数组的第2个元素$matches[1]与'e'等价. 子串'e'是在最后一次匹配迭代中被捕获. 匹配过程中, 只有最后一次的捕获结果才会保存到数组中.

rex注: 关于这个特性, 可以自行尝试一下, 看看使用正则式([a-z]+[0-9]+)+来匹配字串abc123xyz890, 其捕获结果$1是什么. 注意, 其结果与 Left Longest 原理并不冲突.

如果我们只需要捕获 $matches[0], 可以这样做:

1
2
3
4
5
6
7
<?php
    $string = "some text (a(b(c)d)e) more text";
    if(preg_match("/\((?:[^()]+|(?R))*\)/",$string,$matches))
    {
        echo "<pre>"; print_r($matches); echo "</pre>";
    }
?>

产生的结果相同:

1
2
3
4
Array
    (
     [0] => (a(b(c)d)e)
    )

所做的改动是捕获括号()改为非捕获捕获括号(?:)了.

还可以进一步完善为:

1
2
3
4
5
6
7
<?php
    $string = "some text (a(b(c)d)e) more text";
    if(preg_match("/\((?>[^()]+|(?R))*\)/",$string,$matches))
    {
        echo "<pre>"; print_r($matches); echo "</pre>";
    }
?>

这里我们用到了所谓的一次性模式(rex注: 余晟先生译的《精通正则表达式v3.0》中, 谓之”固化分组”. 可参考该书.) PHP手册也推荐只要条件允许, 就尽可能使用这种模式, 以便提升正则表达式的速度.

一次性模式很简单, 这里不再详述. 如果感兴趣, 可以参考PHP 官方手册. 如果您想深入学习PERL兼容式正则表达式, 请参考文末链接.

提到的链接

]]> http://iregex.org/blog/recursive-regex-in-php.html/feed 5 wordpress UTF8 中文字数统计插件 http://iregex.org/blog/wordpress-word-counter-for-utf8-chinese.html http://iregex.org/blog/wordpress-word-counter-for-utf8-chinese.html#comments Fri, 02 Jan 2009 14:37:55 +0000 rex http://iregex.org/?p=50

最近想在博客中实现这样的功能：“本文字数XXX，继续阅读…”。在网上找了一款Word Count Plugin for WordPress，作者是 Murray Williams，可惜它只能统计英文单词数，却不能统计中文字数。我下载了源码，自己动手修改，实现了想要的功能。修改过程中涉及了PHP语言中如何使用正则表达式来匹配中文，于是我把过程写这在里。


该插件的核心部分是这样的：

1
2
3
4
5
6
7
8
function mtw_wordcount() {
    global $page, $pages;
    if ( !function_exists('str_word_count') ) {
        return str_word_count(strip_tags($pages[$page-1]));
    } else {
        return count(explode(" ",strip_tags($pages[$page-1])));
    }
}

看来，它并没有自己来数字数，还是调用PHP函数str_word_count实现的。查文档，找到它的官方文档，http://us2.php.net/str_word_count。它能统计字串中的英文单词数，按要求返回单词数目或单方数组。其原理是以默认或指定的分隔符来将字串分隔，再逐个统计。由于该函数对utf8无效，应该使用utf8版：str_word_count_utf8。

英文的单词之间有空格等分隔符，中文的应该怎样统计呢？由于WordPress的中文字符编码为utf8，我们就从utf8入手。根据以前我写过一篇文章《匹配中文的正则表达式》可知，在utf8中，匹配单个汉字的正则式是[\x80-\xff]{3}。这样一来，只要将中文的每一个单字视为一个英语单词来处理，那么统计出来的单词数量就应该是正确的。例如，

你好，世界。Hello world.

我的处理方法是，将所有的中文单字替换成两边带空格的英文字母a，即使用正则表达式：

1
$string = preg_replace('/[\x80-\xff]{3}/', ' a ', $string);

考虑到中文标点不计入总数，前边还应该有一条：

1
2
$string =  $string = preg_replace("/～|！|｀|·|＃|￥|％|…|—|
（|）|＋|－|＝|｛|｝|［|］|\＼|｜|“|”|’|‘|；|：|《|》|〈|〉|、|？|。|，/",' ',$string);

此时运行程序，得到正确的结果：6。

wordpress UTF8 中文字数统计插件完整的PHP程序是：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
<?php
load_plugin_textdomain('mtw-wordcount','wp-content/plugins/mtw-wordcount');

/*  Call this from inside "The Loop" (see WordPress documentation) to get
    a WordCount of the current posting. Function RETURNS the Word Count as
    a value, it does not automatically display (ie. 'echo') the value.
 */

    define("WORD_COUNT_MASK", "/\p{L}[\p{L}\p{Mn}\p{Pd}'\x{2019}]*/u");

    function str_word_count_utf8($string, $format = 0)
    {
        $string =  $string = preg_replace("/～|！|｀|·|＃|￥|％|…|—|（|）|＋|－|＝|｛|｝|［|］|\＼|｜|“|”|’|‘|；|：|《|》|〈|〉|、|？|。|，/",' ',$string);
        $string = preg_replace('/[\x80-\xff]{3}/', ' a ', $string);
        switch ($format) {
        case 1:
            preg_match_all(WORD_COUNT_MASK, $string, $matches);
            return $matches[0];
        case 2:
            preg_match_all(WORD_COUNT_MASK, $string, $matches, PREG_OFFSET_CAPTURE);
            $result = array();
            foreach ($matches[0] as $match) {
                $result[$match[1]] = $match[0];
            }
            return $result;
        }
        return preg_match_all(WORD_COUNT_MASK, $string, $matches);
    }


function mtw_wordcount() {
    global $page, $pages;
    if ( function_exists('str_word_count_utf8') ) {
        return str_word_count_utf8(strip_tags($pages[$page-1]));
    } else {
        return count(explode(" ",strip_tags($pages[$page-1])));
    }
}

/*  Auxilliary method. In case you want to use this somewhere outside the
    loop, where the $page and $pages globals don't necessarily work. Pass
    the string you want counted instead.
*/
function mtw_string_wordcount($instring) {
    if ( function_exists('str_word_count_utf8') ) {
        return str_word_count_utf8(strip_tags($instring));
    } else {
        return count(explode(" ",strip_tags($instring)));
    }
}
?>

这样修改后，该插件就能在wp中正确统计中文字数。我的使用方法是：

1
<?php the_content("本文共计".mtw_wordcount().'字，已浏览'.the_views("",false).'次。　继续阅读... »'); ?>

其中的the_views("",false)部分是另一款插件WP-PostViews Plus实现的效果，不赘述。

]]> http://iregex.org/blog/wordpress-word-counter-for-utf8-chinese.html/feed 4 为project babel加上geshi语法高亮显示 http://iregex.org/blog/project-babel-with-geshi.html http://iregex.org/blog/project-babel-with-geshi.html#comments Sun, 08 Jun 2008 08:57:50 +0000 rex http://iregex.org/?p=15 注：本文使用的正则表达式为php风格。

从v2ex到M6，我一直喜欢project babel(PB)。自己也尝试在本地或服务器上架设PB系统。遇到的一个问题是：PB只支持有限的ubb代码，当我想在PB上贴源码时，没有语法高亮很不美观。

管理员对此的答复是，简约是最好的，不必非得使用72号红色字体加上一堆感叹号才能让文字有力度。当然了，这样不给脑残以任何自证的机会，当然是不错。可是因为怕脑残搞乱而消减功能，就有些类似于怕一个男人淫乱而将全天下男人葵花宝典掉一样了。

代码语法高亮，最著名的模块莫过于geshi。我使用过php写过几行代码，语法什么的都需要现查手册；对css、form之类也不是很熟悉。因此让我自己改造PB的话，一时摸不到头绪。于是在M6上发了求教贴。有热心人sara回复如下：

有个缺点，就是一个帖子里同一种代码只能用一次，希望有高手能改进一下。
比如php代码：[php]your code[/php]

  1. 在v2excore.php加geshi的路径。
  2. 在utilities.php加
    1
    2
    3
    4
    5
    6
    7
    8
    9
    preg_match('/\[php\]/i', $text, $_m_php_open);
    preg_match('/\[\/php\]/i', $text, $_m_php_close);
    if ((count($_m_php_open) == 1) && (count($_m_php_open) == count($_m_php_close))) {
    list($a, $b) = explode('[php]', $text);
    list($c, $d) = explode('[/php]', $b);
    $c = str_replace('&lt;', '<', $c);
    $c = str_replace('&gt;', '>', $c);
    $text = $a . '<div class="codes php">' . geshi_highlight($c, 'php', '', 'true') . '</div>' . $d;
    }

    加在

    1
    $text = preg_replace($p, $r, $text);

    的后面。

我读了这段代码之后，发现它并没有大段的CSS内容，这我就放心多了。于是细读之，遇到问题就查手册。

这段代码翻译成自然语言，就是：

  1. 查找文本中[php]的次数$_m_php_open，以及[/php]的次数$_m_php_close；查找时不分大小写。
  2. 次数$_m_php_open与$_m_php_close是否相等且等于1。如果不满足条件，就不处理了。
    只有两者相等且为1时，记录下[php]与[/php]之间的内容$c，把里面所有的”<”、”>”都换成”<"、">“形式。
  3. 把需要处理的代码部分$c使用geshi_highlight的相关语法(这里是PHP)进行格式化。

既如此，那我就可以自已实现了。

刚才使用

1
2
preg_match('/\[php\]/i', $text, $_m_php_open);
preg_match('/\[\/php\]/i', $text, $_m_php_close);

寻找配对的标签，不是一种好的方法。因为它的通用性不强，不便于前后配对。较好的解决方法是：

1
$text=preg_replace_callback("#\[(asp|bash|c|cpp|csharp|css|delphi|div|dos|dot|ini|java|java5|javascript|latex|lisp|luamatlab|mysql|pascal|perl|php|python|qbasic|rails|reg|ruby|scheme|sql|tcl|text|vb|vbnet|xml)\](.*?)\[/\\1\]#ix","geshi_replace",$text);

使用正则表达式，第一组括号捕获了语言种类标签，第二组捕获了程序内容。选项i表示不分大小写，s表示点号可以匹配任意字符（包括换行符）。

之所以使用callback方式的正则匹配，是因为替换的内容多而复杂。该callback函数是这样定义的：

1
2
3
4
5
6
7
8
9
10
11
12
function geshi_replace($matches)
{
    //matches[1]=lang
    //matches[2]=code
    $code=$matches[2];
    $lang=$matches[1];
    $code = str_replace('&lt;', '<', $code);
    $code = str_replace('&gt;', '>', $code);
    $str = '<div class="code">'. geshi_highlight($code, $lang,'','true') .'</div>';
    $str = str_replace("<br />","",$str);
    return $str;
}

程序与原来给出的大同小异。只是还有一行

1
$str = str_replace("<br />","",$str);

是新加上去的。这是因为geshi_highlight输出的文本，总是包含”<br /><br />”，因此显示出来的高亮代码行距太大，这里给它修剪一下，就可以了。

总结一下如何在PB6.0中加入geshi：

1. 上传geshi到babel目录；
2. 在v2excore.php加geshi的路径，让pb能找到geshi.php。
3. 在Utilities.php文件下，function format_ubb之前加上如下function:

1
2
3
4
5
6
7
8
9
10
11
12
      function geshi_replace($matches)
      {
      //matches[1]=lang
      //matches[2]=code
      $code=$matches[2];
      $lang=$matches[1];
      $code = str_replace('<', '<', $code);
      $code = str_replace('>', '>', $code);
      $str = '<div class="code">'. geshi_highlight($code, $lang,'','true') .'</div>';
      $str = str_replace("<br />","",$str);
      return $str;
      }

4. 在function format_ubb中的

1
      $text = preg_replace($p, $r, $text);

之后插入一行代码：

1
      $text=preg_replace_callback("#\[(asp|bash|c|cpp-qt|cpp|csharp|css|delphi|diff|div|dos|dot|eiffel|fortran|freebasic|genero|gml|groovy|haskell|html4strict|idl|ini|inno|io|java|java5|javascript|latex|lisp|lua|m68k|matlab|mirc|mpasm|mysql|nsis|objc|ocaml-brief|ocaml|oobas|oracle8|pascal|per|perl|php-brief|php|plsql|python|qbasic|rails|reg|robots|ruby|sas|scheme|sdlbasic|smalltalk|smarty|sql|tcl|text|thinbasic|tsql|vb|vbnet|vhdl|visualfoxpro|winbatch|xml)\](.*?)\[/\\1\]#is","geshi_replace",$text);

大功告成。
使用方法：

  1. 在PB贴子的编辑框中使用[lang]…[/lang]标签。
  2. lang标签不可嵌套。
  3. lang的可选方案以geshi支持为限，大致包括：asm, asp , bash, c, cpp-qt, cpp, csharp, css, delphi, diff, div, dos, dot, eiffel, fortran, freebasic, genero, gml, groovy, haskell, html4strict, idl, ini, inno, io, java, java5, javascript, latex, lisp, lua, m68k, matlab, mirc, mpasm, mysql, nsis, objc, ocaml-brief, ocaml, oobas, oracle8, pascal, per, perl, php-brief, php, plsql, python, qbasic, rails, reg, robots, ruby, sas, scheme, sdlbasic, smalltalk, smarty, sql, tcl, text, thinbasic, tsql, vb, vbnet, vhdl, visualfoxpro, winbatch, xml。呵呵。

结论：

  1. 十分感谢sara。
  2. 正则表达式一如既往地有用、好用。
  3. 有些问题看上去很难。可是只要打开缺口，剩下的就不成问题；就如慕容复语：“这几步棋我也想得出来。万事起头难，便是第一着怪棋，无论如何想不出。”
]]> http://iregex.org/blog/project-babel-with-geshi.html/feed 1