python-网络爬虫.regular

regular

正则表达式 (regular expression)

正则表达式(regular expression)描述了一种字符串匹配的模式 （pattern），

可以用来检查一个串是否含有某种子串、将匹配的子串替换或者从某个串 中取出符合某个条件的子串等。

正则表达式是由普通字符（例如字符 a 到 z）以及特殊字符（称为"元字 符"） 组成的文字模式。模式描述在搜索文本时要匹配的一个或多个字符串。正 则 表达式作为一个模板，将某个字符模式与所搜索的字符串进行匹配。

网上有的网上找

网上无的自己写

电话号码匹配

邮箱地址匹配

身份证号匹配

指定字符匹配

\d 匹配数字    \D 匹配非数字

\w 匹配字符    \W 匹配非字符

\s 匹配空白    \S 匹配非空白

\b 匹配边界

百度搜索： 史上最全正则表达式

 

 

(一) 常用正则

1、字符组 在同一个位置可能出现的各种字符组成了一个字符组，在正则表达式中用[]表示

 2、字符

 

3、量词

 

（二）正则表达式的使用

 

 

 

 

 

 

.+ 是贪婪的 - 它匹配,直到它不再匹配,只返回所需的数量.

.+? 不是贪婪的，它在第一次机会匹配即停止.

例子:

 

（二）常用方法

re模块是python独有的匹配字符串的模块，该模块中提供的很多功能是 基于正则表达式实现的，而正则表达式是对字符串进行模糊匹配， 提取自己需要的字符串部分，他对所有的语言都通用。注意：

• re模块是python独有的

• 正则表达式所有编程语言都可以使用

• re模块、正则表达式是对字符串进行操作

因为，re模块中的方法大都借助于正则表达式，故先学习正则表达式。

 

 

第一步： import re

第二步： pat= re.compile(r'◎片名:(.*)\n') #r内的字符串就是正则表达 式的规则字符串

第三步： ret =re.findall(pat,html) #开始在目标html字符串中按照正则表 达式来依次匹配

第四步： print(ret) #将匹配成功的信息打印输出

1、re.compile（pattern，flags = 0 ） 将正则表达式模式编译为正则表达式对象，可使用match()，search()以及 下面所述的其他方法将其用于匹配

>>> prog = re.compile('\d{2}') # 正则对象

>>> prog.search('12abc')

  >>> prog.search('12abc').group()

# 通过调用group()方法得到匹配的字符 串,如果字符串没有匹配，则返回None。

'12'

>>> prog.match('123abc')

 >>> prog.match('123abc').group() '12'

>>>

2、re.search（pattern，string，flags = 0 ）

扫描字符串以查找正则表达式模式产生匹配项的第一个位置 ， 然后返回相应的match对象。None如果字符串中没有位置与模式匹配，则 返回；

否则返回false。请注意，这与在字符串中的某个点找到零长度匹配不同。

#在这个字符串进行匹配，只会匹配一个对象

>>> re.search('\w+','abcde').group()

'abcde'

>>> re.search('a','abcde').group()

'a'

>>>

3、re.match（pattern，string，flags = 0 ）

如果字符串开头的零个或多个字符与正则表达式模式匹配，则返回相应的 匹配对象。

None如果字符串与模式不匹配，则返回；否则返回false。

请注 意，这与零长度匹配不同。

# 同search,不过在字符串开始处进行匹配，只会匹配一个对象

>>> re.match('a','abcade').group()

'a'

>>> re.match('\w+','abc123de').group()

'abc123de'

>>> re.match('\D+','abc123de').group()         #非数字

'abc'

>>>

4、re.fullmatch（pattern，string，flags = 0 ）

如果整个字符串与正则表达式模式匹配，则返回相应的match对象。None

如果字符串与模式不匹配，则返回；否则返回false。请注意，这与零长度 匹配不同。

>>> re.fullmatch('\w+','abcade').group()

'abcade'

>>> re.fullmatch('abcade','abcade').group()

'abcade'

>>>

5、re.split（pattern，string，maxsplit = 0，flags = 0 ）

　　通过出现模式来拆分字符串。如果在pattern中使用了捕获括号，那么 模式中所有组的文本也将作为结果列表的一部分返回。如果maxsplit不为 零，则最多会发生maxsplit分割，并将字符串的其余部分作为列表的最后一 个元素返回。

>>> re.split('[ab]', 'abcd')         # 先按'a'分割得到''和'bcd',在对''和'bcd'分别 按'b'分割

['', '', 'cd']

>>> re.split(r'\W+', 'Words, words, words.')

['Words', 'words', 'words', ''] >>> re.split(r'(\W+)', 'Words, words, words.') ['Words', ', ', 'words', ', ', 'words', '.', '']

>>> re.split(r'\W+', 'Words, words, words.', 1)

['Words', 'words, words.']

>>> re.split('[a-f]+', '0a3B9', flags=re.IGNORECASE)

['0', '3', '9']

如果分隔符中有捕获组，并且该匹配组在字符串的开头匹配，则结果将从 空字符串开始。字符串的末尾也是如此：

>>> re.split(r'(\W+)', '...words, words...')

['', '...', 'words', ', ', 'words', '...', '']

6、re.findall（pattern，string，flags = 0 ）

　　以string列表形式返回string中pattern的所有非重叠匹配项。从左到右 扫描该字符串，并以找到的顺序返回匹配项。如果该模式中存在一个或多 个组，则返回一个组列表；否则，返回一个列表。如果模式包含多个组， 则这将是一个元组列表。空匹配项包含在结果中。

>>> re.findall('a', 'This is a beautiful place!')

['a', 'a', 'a']

>>>

7、re.finditer（pattern，string，flags = 0 ）

返回一个迭代器，该迭代器在string类型的RE 模式的所有非重叠匹配中产 生匹配对象。 从左到右扫描该字符串，并以找到的顺序返回匹配项。空匹 配项包含在结果中。

>>> re.finditer('[ab]', 'This is a beautiful place!')

 >>> ret=re.finditer('[ab]', 'This is a beautiful place!')

>>> next(ret).group() #查看下一个匹配值

'a'

>>> [i.group() for i in ret]         #查看剩下所有匹配的值

['b', 'a', 'a']

>>>

8、re.sub（pattern，repl，string，count = 0，flags = 0 ） 　　

        返回通过用替换repl替换字符串中最左边的不重叠模式所获得的字符 串。如果找不到该模式， 则返回的字符串不变。 repl可以是字符串或函 数；如果是字符串，则处理其中的任何反斜杠转义。即，将其转换为单个 换行符，将其转换为回车，依此类推。count参数表示将匹配到的内容进行 替换的次数

>>> re.sub('\d', 'S', 'abc12jh45li78', 2)         #将匹配到的数字替换成S,替换2个

'abcSSjh45li78'

>>> re.sub('\d', 'S', 'abc12jh45li78')         #将匹配到所有的数字替换成S

'abcSSjhSSliSS'

>>>

9、re.subn（pattern，repl，string，count = 0，flags = 0 ）

执行与相同的操作sub()，但返回一个元组。(new_string, number_of_subs_made)

>>> re.subn('\d', 'S', 'abc12jh45li78', 3)

('abcSSjhS5li78', 3)

>>>

10、re.escape(pattern)

escape中的所有字符图案，除了ASCII字母，数字和'_'。如果要匹配可能包含正则表达式元字符的任意文字字符串，这将很有用。

>>> re.escape('python.exe\n')

'python\\.exe\\\n'

>>>

11、search（）与match（）方法

Python提供了两种基于正则表达式的原始操作： re.match()仅在字符串的 开头匹配，re.search()检查匹配项，在字符串中的任何位置检查匹配项（这 是Perl的默认设置）。

>>> re.match("c", "abcdef")         #Not match

>>> re.search("c", "abcdef")         #match

 >>>

以开头的正则表达式'^'可用于search()限制字符串开头的匹配项：

>>> re.match("c", "abcdef") #Not match

>>> re.search("^c", "abcdef") #Not match

>>> re.search("^a", "abcdef") #match

 

>>>

参考：

https://docs.python.org/3.6/library/re.html

https://www.cnblogs.com/Eva-J/articles/7228075.html#_label7

https://www.cnblogs.com/shenjianping/p/11647473.html

\xa0 是不间断空白符

str.replace(u’\xa0’, u’ ‘)

\u3000 是全角的空白符

str.replace(u’\u3000’,u’ ‘)

title.strip(‘\r\n’).replace(u’\u3000’, u’ ‘).replace(u’\xa0’, u’ ‘) content.strip(“”).strip(‘\r\n’).replace(u’\u3000’, u’ ‘).replace(u’\xa0’, u’ ‘)