网页爬虫提取纯数字时,常遇到数字与文本混合的情况。本文将详解如何通过正则表达式等技术精准提取HTML标签内的数值。本文介绍在网页爬虫中从含文本的html内容(如"7,407 people voted")中可靠提取纯数字的方法,涵盖字符串清洗、正则匹配及健壮性处理技巧。
网页抓取过程中,目标数据常以"数字+单位/描述"的混合形式嵌套在HTML标签内。例如7,407 people voted,若使用固定索引切片方法(如text[1:8]),会因数字位数变化(如"42 votes"或"12,345,678 views")而失效。建议采用语义化、鲁棒性强的解析策略。
✅ 推荐方案:正则表达式精准捕获数字(首选)
使用re.search()匹配连续的数字字符(含千分位逗号),通过replace(',', '')清除逗号,最后转为整数:
import re
html = ' 7,407 people voted '
# 提取所有数字字符(支持带逗号的数值)
match = re.search(r'[d,]+', html)
if match:
num_str = match.group().replace(',', '')
number = int(num_str)
print(number) # 输出: 7407
⚠️ 注意事项:
split(" ")[0]等简单切分法在存在前导空格、多空格或数字含空格(如"1 234")时不可靠;
千分位逗号需显式移除,否则int("7,407")会抛出ValueError;
若需兼容小数(如"3.14 kg"),可将正则改为r'd+(?:,d+)*(?:.d+)?'并用float()转换;
对于结构复杂页面,建议先用BeautifulSoup提取文本再清洗:
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'html.parser')
text = soup.get_text().strip()
match = re.search(r'[d,]+', text)
总结:正则表达式结合文本清洗是处理HTML混合数字最稳定可靠的方法,可有效应对各种网页数据变化。