我爱正则表达式 » chinese http://iregex.org 原创、翻译、转载关于正则表达式的文章 Tue, 31 Aug 2010 04:35:39 +0000 en hourly 1 http://wordpress.org/?v=3.0.1 Python 中文正则笔记 http://iregex.org/blog/python-chinese-unicode-regular-expressions.html http://iregex.org/blog/python-chinese-unicode-regular-expressions.html#comments Sun, 27 Jun 2010 03:50:41 +0000 rex http://iregex.org/?p=129 总结在 python 语言里使用正则表达式匹配中文的经验。关键词：中文，cjk，utf8，unicode，python。

从字符串的角度来说，中文不如英文整齐、规范，这是不可避免的现实。本文结合网上资料以及个人经验，以 python 语言为例，稍作总结。欢迎补充或挑错。

一点经验

  • 可以使用 repr()函数查看字串的原始格式。这对于写正则表达式有所帮助。
  • Python 的 re模块有两个相似的函数：re.match(), re.search 。两个函数的匹配过程完全一致，只是起点不同。match只从字串的开始位置进行匹配，如果失败，它就此放弃；而search则会锲而不舍地完全遍历整个字串中所有可能的位置，直到成功地找到一个匹配，或者搜索完字串，以失败告终。如果你了解match的特性（在某些情况下比较快），大可以自由用它；如果不太清楚，search通常是你需要的那个函数。
  • 从一堆文本中，找出所有可能的匹配，以列表的形式返回，这种情况用findall()这个函数。例子见后面的代码。
  • utf8下，每个汉字占据3个字符位置，正则式为[\x80-\xff]{3}，这个都知道了吧。
  • unicode下，汉字的格式如\uXXXX，只要找到对应的字符集的范围，就能匹配相应的字串，方便从多语言文本中挑出所需要的某种语言的文本。不过，对于像日文这样的粘着语，既有中文字符，又有平假名片假名，或许结果会有所偏差。
  • 两种字符类可以并列在一起使用，例如，平假名、片假名、中文的放在一起，u"[\u4e00-\u9fa5\u3040-\u309f\u30a0-\u30ff]+"，来自定义所需要匹配的文本。
  • 匹配中文时，正则表达式和目标字串的格式必须相同。这一点至关重要。或者都用默认的utf8，此时你不用额外做什么；如果是unicode，就需要在正则式之前加上u""格式。
  • 可以这样定义unicode字符串：string=u"我爱正则表达式"。如果字串不是unicode的，可以使用unicode()函数转换之。如果你知道源字串的编码，可以使用newstr=unicode(oldstring, original_coding_name)的方式转换，例如 linux 下常用unicode(string, "utf8")，windows 下或许会用cp936吧，没测试。

例程序

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
#!/usr/bin/python
# -*- coding: utf-8 -*-
#
#author:         rex
#blog:           http://iregex.org
#filename        py_utf8_unicode.py
#created:        2010-06-27 09:11

import re
def findPart(regex, text, name):
    res=re.findall(regex, text)
    if res:
        print "There are %d %s parts:\n"% (len(res), name)
        for r in res:
            print "\t",r
        print

#sample is utf8 by default.
sample='''en: Regular expression is a powerful tool for manipulating text.
zh: 正则表达式是一种很有用的处理文本的工具。
jp: 正規表現は非常に役に立つツールテキストを操作することです。
jp-char: あアいイうウえエおオ
kr:정규 표현식은 매우 유용한 도구 텍스트를 조작하는 것입니다.
puc: 。？！、，；：“ ”‘ ’——……·－·《》〈〉！￥％＆＊＃
'''
#let's look its raw representation under the hood:
print "the raw utf8 string is:\n", repr(sample)
print

#find the non-ascii chars:
findPart(r"[\x80-\xff]+",sample,"non-ascii")

#convert the utf8 to unicode
usample=unicode(sample,'utf8')

#let's look its raw representation under the hood:
print "the raw unicode string is:\n", repr(usample)
print

#get each language parts:
findPart(u"[\u4e00-\u9fa5]+", usample, "unicode chinese")
findPart(u"[\uac00-\ud7ff]+", usample, "unicode korean")
findPart(u"[\u30a0-\u30ff]+", usample, "unicode japanese katakana")
findPart(u"[\u3040-\u309f]+", usample, "unicode japanese hiragana")
findPart(u"[\u3000-\u303f\ufb00-\ufffd]+", usample, "unicode cjk Punctuation")

其输出结果为：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
the raw utf8 string is:
'en: Regular expression is a powerful tool for manipulating text.\nzh: \xe6\xad\xa3\xe5\x88\x99\xe8\xa1\xa8\xe8\xbe\xbe\xe5\xbc\x8f\xe6\x98\xaf\xe4\xb8\x80\xe7\xa7\x8d\xe5\xbe\x88\xe6\x9c\x89\xe7\x94\xa8\xe7\x9a\x84\xe5\xa4\x84\xe7\x90\x86\xe6\x96\x87\xe6\x9c\xac\xe7\x9a\x84\xe5\xb7\xa5\xe5\x85\xb7\xe3\x80\x82\njp: \xe6\xad\xa3\xe8\xa6\x8f\xe8\xa1\xa8\xe7\x8f\xbe\xe3\x81\xaf\xe9\x9d\x9e\xe5\xb8\xb8\xe3\x81\xab\xe5\xbd\xb9\xe3\x81\xab\xe7\xab\x8b\xe3\x81\xa4\xe3\x83\x84\xe3\x83\xbc\xe3\x83\xab\xe3\x83\x86\xe3\x82\xad\xe3\x82\xb9\xe3\x83\x88\xe3\x82\x92\xe6\x93\x8d\xe4\xbd\x9c\xe3\x81\x99\xe3\x82\x8b\xe3\x81\x93\xe3\x81\xa8\xe3\x81\xa7\xe3\x81\x99\xe3\x80\x82\njp-char: \xe3\x81\x82\xe3\x82\xa2\xe3\x81\x84\xe3\x82\xa4\xe3\x81\x86\xe3\x82\xa6\xe3\x81\x88\xe3\x82\xa8\xe3\x81\x8a\xe3\x82\xaa\nkr:\xec\xa0\x95\xea\xb7\x9c \xed\x91\x9c\xed\x98\x84\xec\x8b\x9d\xec\x9d\x80 \xeb\xa7\xa4\xec\x9a\xb0 \xec\x9c\xa0\xec\x9a\xa9\xed\x95\x9c \xeb\x8f\x84\xea\xb5\xac \xed\x85\x8d\xec\x8a\xa4\xed\x8a\xb8\xeb\xa5\xbc \xec\xa1\xb0\xec\x9e\x91\xed\x95\x98\xeb\x8a\x94 \xea\xb2\x83\xec\x9e\x85\xeb\x8b\x88\xeb\x8b\xa4.\npuc: \xe3\x80\x82\xef\xbc\x9f\xef\xbc\x81\xe3\x80\x81\xef\xbc\x8c\xef\xbc\x9b\xef\xbc\x9a\xe2\x80\x9c \xe2\x80\x9d\xe2\x80\x98 \xe2\x80\x99\xe2\x80\x94\xe2\x80\x94\xe2\x80\xa6\xe2\x80\xa6\xc2\xb7\xef\xbc\x8d\xc2\xb7\xe3\x80\x8a\xe3\x80\x8b\xe3\x80\x88\xe3\x80\x89\xef\xbc\x81\xef\xbf\xa5\xef\xbc\x85\xef\xbc\x86\xef\xbc\x8a\xef\xbc\x83\n'

There are 14 non-ascii parts:

    正则表达式是一种很有用的处理文本的工具。
    正規表現は非常に役に立つツールテキストを操作することです。
    あアいイうウえエおオ
    정규
    표현식은
    매우
    유용한
    도구
    텍스트를
    조작하는
    것입니다
    。？！、，；：“
    ”‘
    ’——……·－·《》〈〉！￥％＆＊＃

the raw unicode string is:
u'en: Regular expression is a powerful tool for manipulating text.\nzh: \u6b63\u5219\u8868\u8fbe\u5f0f\u662f\u4e00\u79cd\u5f88\u6709\u7528\u7684\u5904\u7406\u6587\u672c\u7684\u5de5\u5177\u3002\njp: \u6b63\u898f\u8868\u73fe\u306f\u975e\u5e38\u306b\u5f79\u306b\u7acb\u3064\u30c4\u30fc\u30eb\u30c6\u30ad\u30b9\u30c8\u3092\u64cd\u4f5c\u3059\u308b\u3053\u3068\u3067\u3059\u3002\njp-char: \u3042\u30a2\u3044\u30a4\u3046\u30a6\u3048\u30a8\u304a\u30aa\nkr:\uc815\uaddc \ud45c\ud604\uc2dd\uc740 \ub9e4\uc6b0 \uc720\uc6a9\ud55c \ub3c4\uad6c \ud14d\uc2a4\ud2b8\ub97c \uc870\uc791\ud558\ub294 \uac83\uc785\ub2c8\ub2e4.\npuc: \u3002\uff1f\uff01\u3001\uff0c\uff1b\uff1a\u201c \u201d\u2018 \u2019\u2014\u2014\u2026\u2026\xb7\uff0d\xb7\u300a\u300b\u3008\u3009\uff01\uffe5\uff05\uff06\uff0a\uff03\n'

There are 6 unicode chinese parts:

    正则表达式是一种很有用的处理文本的工具
    正規表現
    非常
    役
    立
    操作

There are 8 unicode korean parts:

    정규
    표현식은
    매우
    유용한
    도구
    텍스트를
    조작하는
    것입니다

There are 6 unicode japanese katakana parts:

    ツールテキスト
    ア
    イ
    ウ
    エ
    オ

There are 11 unicode japanese hiragana parts:

    は
    に
    に
    つ
    を
    することです
    あ
    い
    う
    え
    お

There are 5 unicode cjk Punctuation parts:

    。
    。
    。？！、，；：
    －
    《》〈〉！￥％＆＊＃
]]> http://iregex.org/blog/python-chinese-unicode-regular-expressions.html/feed 11 wordpress UTF8 中文字数统计插件 http://iregex.org/blog/wordpress-word-counter-for-utf8-chinese.html http://iregex.org/blog/wordpress-word-counter-for-utf8-chinese.html#comments Fri, 02 Jan 2009 14:37:55 +0000 rex http://iregex.org/?p=50

最近想在博客中实现这样的功能：“本文字数XXX，继续阅读…”。在网上找了一款Word Count Plugin for WordPress，作者是 Murray Williams，可惜它只能统计英文单词数，却不能统计中文字数。我下载了源码，自己动手修改，实现了想要的功能。修改过程中涉及了PHP语言中如何使用正则表达式来匹配中文，于是我把过程写这在里。


该插件的核心部分是这样的：

1
2
3
4
5
6
7
8
function mtw_wordcount() {
    global $page, $pages;
    if ( !function_exists('str_word_count') ) {
        return str_word_count(strip_tags($pages[$page-1]));
    } else {
        return count(explode(" ",strip_tags($pages[$page-1])));
    }
}

看来，它并没有自己来数字数，还是调用PHP函数str_word_count实现的。查文档，找到它的官方文档，http://us2.php.net/str_word_count。它能统计字串中的英文单词数，按要求返回单词数目或单方数组。其原理是以默认或指定的分隔符来将字串分隔，再逐个统计。由于该函数对utf8无效，应该使用utf8版：str_word_count_utf8。

英文的单词之间有空格等分隔符，中文的应该怎样统计呢？由于Wordpress的中文字符编码为utf8，我们就从utf8入手。根据以前我写过一篇文章《匹配中文的正则表达式》可知，在utf8中，匹配单个汉字的正则式是[\x80-\xff]{3}。这样一来，只要将中文的每一个单字视为一个英语单词来处理，那么统计出来的单词数量就应该是正确的。例如，

你好，世界。Hello world.

我的处理方法是，将所有的中文单字替换成两边带空格的英文字母a，即使用正则表达式：

1
$string = preg_replace('/[\x80-\xff]{3}/', ' a ', $string);

考虑到中文标点不计入总数，前边还应该有一条：

1
2
$string =  $string = preg_replace("/～|！|｀|·|＃|￥|％|…|—|
（|）|＋|－|＝|｛|｝|［|］|\＼|｜|“|”|’|‘|；|：|《|》|〈|〉|、|？|。|，/",' ',$string);

此时运行程序，得到正确的结果：6。

wordpress UTF8 中文字数统计插件完整的PHP程序是：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
<?php
load_plugin_textdomain('mtw-wordcount','wp-content/plugins/mtw-wordcount');

/*  Call this from inside "The Loop" (see WordPress documentation) to get
    a WordCount of the current posting. Function RETURNS the Word Count as
    a value, it does not automatically display (ie. 'echo') the value.
 */

    define("WORD_COUNT_MASK", "/\p{L}[\p{L}\p{Mn}\p{Pd}'\x{2019}]*/u");

    function str_word_count_utf8($string, $format = 0)
    {
        $string =  $string = preg_replace("/～|！|｀|·|＃|￥|％|…|—|（|）|＋|－|＝|｛|｝|［|］|\＼|｜|“|”|’|‘|；|：|《|》|〈|〉|、|？|。|，/",' ',$string);
        $string = preg_replace('/[\x80-\xff]{3}/', ' a ', $string);
        switch ($format) {
        case 1:
            preg_match_all(WORD_COUNT_MASK, $string, $matches);
            return $matches[0];
        case 2:
            preg_match_all(WORD_COUNT_MASK, $string, $matches, PREG_OFFSET_CAPTURE);
            $result = array();
            foreach ($matches[0] as $match) {
                $result[$match[1]] = $match[0];
            }
            return $result;
        }
        return preg_match_all(WORD_COUNT_MASK, $string, $matches);
    }


function mtw_wordcount() {
    global $page, $pages;
    if ( function_exists('str_word_count_utf8') ) {
        return str_word_count_utf8(strip_tags($pages[$page-1]));
    } else {
        return count(explode(" ",strip_tags($pages[$page-1])));
    }
}

/*  Auxilliary method. In case you want to use this somewhere outside the
    loop, where the $page and $pages globals don't necessarily work. Pass
    the string you want counted instead.
*/
function mtw_string_wordcount($instring) {
    if ( function_exists('str_word_count_utf8') ) {
        return str_word_count_utf8(strip_tags($instring));
    } else {
        return count(explode(" ",strip_tags($instring)));
    }
}
?>

这样修改后，该插件就能在wp中正确统计中文字数。我的使用方法是：

1
<?php the_content("本文共计".mtw_wordcount().'字，已浏览'.the_views("",false).'次。　继续阅读... »'); ?>

其中的the_views("",false)部分是另一款插件WP-PostViews Plus实现的效果，不赘述。

]]> http://iregex.org/blog/wordpress-word-counter-for-utf8-chinese.html/feed 4 windows下的正则式工具介绍之三：MTracer2.0介绍以及与RegexBuddy比较 http://iregex.org/blog/mtracer-vs-regexbuddy.html http://iregex.org/blog/mtracer-vs-regexbuddy.html#comments Tue, 16 Sep 2008 03:29:13 +0000 rex http://iregex.org/?p=32 RegexBuddy和PowerGrep是我在windows下常用的两款正则式工具。前者是帮助编写正则式的辅助工具，后者是进行批量搜索替换的实用工具。这两款软件都是外国人写的。今天介绍国人史寿伟先生写的一款正则式工具，MTracer 2.0。

 

MTracer 2.0软件版本

MTracer2.0全名是RegexMatchTracer，官方主页在regexlab.com。上面说最近更新日期是2007.10.07，不过，从我今天下载的程序的修改日期来看，是2008.09.13。变化是，之前作者提供的是绿色的程序，现在提供的是msi的安装包。 本文以下提到MTracer时，若无特殊说明，均指MTracer2.0。

 

MTracer软件特性

作为一款正则表达式撰写辅助程序，它拥有查找匹配、替换模式、分割模式，可以分别进行相应操作。前两种用的比较多，各种语言或正则式工具都有相应语句或函数来实现；第三种分割模式是指使用正则表达式来描述字符串的分割符，以便将字串分割成子串数组。举个简单的例子来说，可以使用正则式\d+;?将abcd12;sdf55656asdfasd82asd33x字串分割成子串数组：

  • abcd
  • sdf
  • asdfasd
  • asd
  • x

在实际操作时，你总会遇到使用分割模式才能最有效率地解决的问题。

除了一般的选项（忽略大小写、单行\多行、全局），它提供了从右向左、扩展模式两种匹配选项。

从右向左：平时查找字串最右边的正则式匹配，可以借助于?和$来定位。而在MTracer下，这款比较令人耳目一新的选项十分好玩，虽然我还没有在实际操作时遇到过确需此选项的例子。

扩展模式：包括如下选项：

  • 注释 (?#xxx)：在正则式中加入注释以便提高可读性；
  • 模式修改符 (?ismg-ismg)：小范围内修改匹配模式；
  • 非捕获组 (?:xxx)：匹配而不捕获，便于计数，同时还可以节省内存，提高效率（根据《精通正则表达式》的说法）；
  • 预搜索（零宽度断言）：十分有用的匹配选项，只匹配位置，而不消耗字符；有四种模式，详见手册；
  • 独立表达式 (?>pattern)：此选项在《精通正则表达式》中，被余晟先生翻译为“固化分组”，即无论匹配成功与否，内部都不进行回退，都不会再次尝试匹配；
  • 条件表达式(?(x)y|z)：与C语言的三目操作符类似，x条件为真则进行y匹配，否则进行z匹配。其中x部分有四种模式，详见手册；
  • 递归表达式 (?R)：对另一部分子表达式的引用，而不是对其匹配结果的引用。当被引用的表达式包含自身，则形成递归引用。

个人比较常用的选项是非捕获组和预搜索。

 

MTracer最有用的特性

相对于另一款正则式撰写辅助程序RegexBuddy而言，MTracer最有用的特性是中文的正则式分析树。虽然RegexBuddy也有此功能，但是MTracer的正则式分析树是中文的。这对于需要此功能但是不愿意使用英文软件的用户来说非常方便。对于初学者也很有帮助。

值得说明的是，正则式的中文术语在中文里还没有形成统一的规范。以我自身的阅读经历而言，似可分为两类：何伟平译的《Perl Programming》第三版中大量使用的正则式术语译法为第一套方案，余晟先生译的《精通正则表达式》第三版中使用的正则表达式为第二套。个人倾向于第二套。

MTracer使用的正则表达式术语，与这两套术语均有相异之处。

如果有人使用上述第二套术语将RegexBuddy汉化的话，估计在中国的普及率会大幅提高。题外话。

 

 

与RegexBuddy的简单比较

还是列表说明吧。

属性 MTracer RegexBuddy
界面语言 中文 英文
大小 471kb 9.1 MB
价格(单用户) 个人RMB49.00

公司RMB298.00		 US$ 39.95
免费版的限制 正则式长度限制 7天免费使用时间
帮助文件 原来版本有，最新的msi版已经不带帮助文件；需要的话可以下载本站上传的手册。 齐全。包括4本电子书，其中3本是关于正则表达式的教程、参考手册，1本是RegexBuddy的操作手册。十分翔实。语言是英文。
匹配模式
  1. 匹配
  2. 替换
  3. 分割
  1. 匹配
  2. 替换
  3. 分割
匹配选项
  1. 忽略大小写（开关）
  2. 单行、多行
  3. 全局局部可选
  4. 从右至左
  5. 扩展模式（详见上文）
  1. 忽略大小写 （开关）
  2. 单行、多行
  3. 默认全局
  4. 点号匹配新行
  5. ^$匹配换行符
  6. 空白字符宽松模式
  7. 扩展模式（依语言而定）
历史功能 “文本片断”即是 History
导出字串为指定语言
  1. 原状导出
  2. Visual Basic
  3. C/C++
  1. 原状导出
  2. C/C#
  3. Perl(m//或s///格式)
  4. Basic
  5. Java
  6. JavaScript
  7. Pascal
  8. PHP (//)
  9. PostgreSQL
  10. Python
  11. Ruby
  12. SQL
  13. Tcl
  14. XML
  15. 还包含在上述语言中如何调用该正则式的模块，功能强大、有用、好用。（Use）
常用正则库 帮助文件中有提及 程序中包含该功能，有定义、例代码、匹配实例。

帮助文件中也有。
扩展性 支持插件（疑安装目录下的stdplgin.dll是其插件，功能不详。） 与PowerGrep相关联。
帮助论坛 开放，地址在此 仅对付费注册软件的用户开放。
界面高度可定制 不支持 支持
是否支持批量替换外部文件 不支持 支持

当然，没有提到的功能、细节还不少，这里仅仅是列出本人关注的属性。

 

MTracer 2.0注册

付出劳动，换来报酬，是当今任何行业都认可的规则。MTracer需要注册费，这一点也十分正常。其价格是48元人民币。比起US$ 39.95的RegexBuddy来，可谓性价比极高。

如果不注册，会有什么限制呢？请看图。哦，是有100个字符的限制。

这是注册后的图。

对于未注册版本，平时写一些短小的正则式，是没有问题的。如果想无限制地使用该程序，花48元支持一下国产程序，何乐而不为？

现在无论主动还是被动，版权意识都在深入人心。这也是本人一直没有把完全版的RegexBuddy和PowerGrep的下载链接贴到blog上、而是采取来Email索取的原因之一。

MTracer2.0采用注册号的方式注册。看来作者深知在国内破解成风，于是很幽默地添加了这样一则菜单选项：如何8小时破解本软件？呵呵。8小时我们可以做许多事情，没有必要浪费在track、debug、crack上。你的时间很值钱的。

这两款软件的完全版我这里都有，如果需要RegexBuddy的话，请占击链接留下信箱索取即可；但是MTracer的话就不要索取了。

 

相关阅读

windows下的正则式工具介绍之一：RegexBuddy

windows下的正则式工具介绍之二：powergrep

]]> http://iregex.org/blog/mtracer-vs-regexbuddy.html/feed 23 探索匹配中文的正则表达式 http://iregex.org/blog/exploration-on-regular-rexpressions-that-match-chinese.html http://iregex.org/blog/exploration-on-regular-rexpressions-that-match-chinese.html#comments Sat, 23 Aug 2008 16:22:29 +0000 rex http://iregex.org/?p=31

按：本文使用的RegexBuddy为3.1.0（完全）版，并非最新版3.1.1（截至2008.08.23）。需要该版本的请在这篇文章后留言。

注：参考www.regular-expressions.info的风格，更新了本模板的style.css文件，加入了与正则式代码相关的格式：

  • 正则式格式举例：[a-z]+@[a-z]+?\.[a-z]+
  • 匹配格式举例：pig@animals.com和chicken@birds.com
  • 普通文本格式举例：这是一些普通文本。hello regex world. pig@animals.com和chicken@birds.com

可以这样使用：在字符串这是一些普通文本。hello regex world. pig@animals.com和chicken@birds.com使用正则式[a-z]+@[a-z]+?\.[a-z]+加以匹配，得到的结果为：pig@animals.com和chicken@birds.com。

极端粗放型：点号其实是近乎万能的，可以匹配任何字符，限制只在于换行符的匹配上。匹配中文自然不在话下。作为可有可无的背景符，一个.*就能匹配掉包括中文在内的全部字符。这当然是一种极端的情况，因为这样显示不出中文字符串的特性。这不是本文要探讨的。

极端集约型：如果搜索特定文本，例如在一二三四五六七八九十拾佰百千仟万亿中匹配十拾， 直接使用m/十拾/就能搞定。这同样不是本文要探讨的。与\w能匹配英文字母一样，本文想找的是能够匹配所有汉字，而不匹配其它文本的一种简写方式。

普适型型：由于汉字属于Unicode，我们就从unicode里面找。在Unicode Regular Expressions，列出了unicode的许多种表达方式。搜索chinese，找到如下一行：

Writing Systems Blocks
… …
Chinese CJK Unified Ideographs, CJK Unified Ideographs Extension A, CJK Compatibility Ideographs, CJK Compatibility Forms, Enclosed CJK Letters and Months, Small Form Variants, Bopomofo, Bopomofo Extended

关于CJK的含义，是指中日韩统一表意文字（Chinese Japanese Korean Unified Ideographs），可以参考百度释义，或wiki词条。

再查了一下regular expressions,查到其unicode一节有这样的内容：

\p{InCJK_Unified_Ideographs}: U+4E00..U+9FFF

看到这里，我想起了以前写的《匹配用户名的asp正则表达式(包括中文)》一文中，提到的中文匹配为[\u4e00-\u9fa5]，原来是有其对应的速记方式的，虽然两者有最后一组字符的差异。看附图可见U+9fa5，最后一个汉字的模样。我爱正则表达式｜在RegexBuddy中如何使用正则表达式匹配中文字符｜http://iregex.org 此序列的第一位，U+4e00，是汉字一。

自定义：到目前为止，相当于给汉字找到了官方的身份和说法，使用\p{InCJK_Unified_Ideographs}就能匹配所有的中文字符。我们其实也可以将一些重复出现的东西，封装起来，以备使用。例如，对于阿拉伯数字，我们有\d可以用。对于中文数字一二三四等等，我们有没有办法呢？

1
2
3
4
5
6
7
$zh_digit=qr/一|二|三|四|五|六|七|八|九|十|零|〇|百|千|万|亿|佰|仟|壹|贰|叁|肆|伍|陆|柒|捌|玖|拾/;

$str="人民币五十一万零三百元整。大写：伍拾壹万零三佰元整。";
while($str =~ s/((?:$zh_digit)+)//)
{
    print $1."\n";
}

我爱正则表达式｜在RegexBuddy中如何使用正则表达式匹配中文字符｜http://iregex.org

其输出结果见附图。

结论

可以使用\p{InCJK_Unified_Ideographs}匹配任意中文字符。在不支持该种标记方式时，也可以使用[\u4e00-\u9fa5]加以匹配。

关于文正则表达式，我觉得尚未穷其奥秘。以前在linux（utf8编码）下，编写scim输入平台的郑码码表时，匹配中文所使用的正则表达式为[\x80-\xff]{3}，也能很好地工作。请参阅此文：龙文郑码码表 for scim。其原理我尚不清楚，留待之后有时间研究。如有知情者，也请不吝赐教，先行谢过。

]]> http://iregex.org/blog/exploration-on-regular-rexpressions-that-match-chinese.html/feed 3 匹配用户名的asp正则表达式(包括中文) http://iregex.org/blog/regular-expressions-to-match-chinese-username-in-asp.html http://iregex.org/blog/regular-expressions-to-match-chinese-username-in-asp.html#comments Sun, 13 Jul 2008 14:01:17 +0000 rex http://iregex.org/?p=18 有人在正则表达式中文站贴出这样一道问题：

求ASP 用户名 表达式

用户名长度在2-20字符之间，由中文/大小写字母/数字/中划线-/下线线_组成。

这个问题不算难，只要下边一行核心代码就能搞定：

1
"^[-_a-zA-Z0-9\u4e00-\u9fa5]{2,20}$"

关键是没有使用过ASP语言。按此页的提示，设置了ASP环境。查询了一些在线的入门级ASP教程之后，解答如下：

1
2
3
4
5
6
7
<form action="verify.asp" method="post">
姓名：
<input name="name" type="text" />

<input name="Submit" type="submit" value="提交" />
<input name="Submit2" type="reset" value="重置" />
</form>

它调用以下verify.asp文件：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
&lt;%
Function RegExpTest(patrn, strng)
Dim regEx, retVal ' 建立变量。
Set regEx = New RegExp ' 建立正则表达式。
regEx.Pattern = patrn ' 设置模式。
regEx.IgnoreCase = False ' 设置是否区分大小写。
retVal = regEx.Test(strng) ' 执行搜索测试。
If retVal Then
RegExpTest = "合法用户名。"
Else
RegExpTest = "非法用户名。"
End If
End Function

name=request.form("name")
psw=request.form("psw")
sex=request.form("sex")
city=request.form("city")
Response.write RegExpTest("^[-_a-zA-Z0-9\u4e00-\u9fa5]{2,20}$", name)
%&gt;

运行界面见附图。

另外，还有一些正则表达式可供参考：

匹配中文字符的正则表达式：

1
[\u4e00-\u9fa5]

匹配双字节字符(包括汉字在内)正则表达式：

1
[^\x00-\xff]

匹配空行的正则表达式：

1
\n[\s|   ]*\r

匹配HTML标记的正则表达式：

1
/ &lt;(.*)&gt; .* &lt;\/\1&gt; | &lt;(.*)   \/&gt; /

匹配首尾空格的正则表达式：

1
(^\s*)|(\s*$)

用正则表达式限制只能输入中文：

1
onkeyup= "value=value.replace(/[^\u4E00-\u9FA5]/g, ' ') "   onbeforepaste= "clipboardData.setData( 'text ',clipboardData.getData( 'text ').replace(/[^\u4E00-\u9FA5]/g, ' ')) "

用正则表达式限制只能输入全角字符：

1
onkeyup= "value=value.replace(/[^\uFF00-\uFFFF]/g, ' ') "   onbeforepaste= "clipboardData.setData( 'text ',clipboardData.getData( 'text ').replace(/[^\uFF00-\uFFFF]/g, ' ')) "

用正则表达式限制只能输入数字：

1
onkeyup= "value=value.replace(/[^\d]/g, ' ')   "onbeforepaste= "clipboardData.setData( 'text ',clipboardData.getData( 'text ').replace(/[^\d]/g, ' ')) "

用正则表达式限制只能输入数字和英文：

1
onkeyup= "value=value.replace(/[\W]/g, ' ')   "onbeforepaste= "clipboardData.setData( 'text ',clipboardData.getData( 'text ').replace(/[^\d]/g, ' ')) "
]]> http://iregex.org/blog/regular-expressions-to-match-chinese-username-in-asp.html/feed 1 匹配中文的正则表达式 http://iregex.org/blog/regex-to-match-chinese.html http://iregex.org/blog/regex-to-match-chinese.html#comments Mon, 02 Jun 2008 06:23:37 +0000 rex http://iregex.org/?p=14 以前在编写linux下的scim郑码码表时，就跟正则式的中文匹配问题打过交道。当时总结了这样一条经验，utf8编码格式下，中文正则式应该这样书写：

1
[\x80-\xff]{3}

当然，这与语言无关。在perl与python中，都是一样的。

现在，这条正则式又派上用场了。正在编写的一个小程序MiniBlogs Updater中，需要计算用户所输入的文字字数。因为中英文字符编码长度不一，如果直接使用python中的len()函数，它计算的是该字串的实际长度，一个中文字并非等同于一个英文字母的。因此，需要把中文字当成英文字母来处理。

我写了这样一条语句来处理：

1
length=len(re.sub('[\x80-\xff]{3}','a',msg))

它的意思是，把所有的中文都替换成英文字母a，然后再统计字数。（只是统计而已，不修改源字串。）这条语句在windows下utf8文件中能够正常工作。

再分享两则与匹配中文的正则表达式有用的链接：

]]> http://iregex.org/blog/regex-to-match-chinese.html/feed 0