在抓取页面图片时,为避免重复抓取,将抓取的img结果(结果集是list类型的)通过集合去重。这里总结了下网上搜集到的几种方法。
一、方法1
代码如下 | 复制代码 |
ids = [1,2,3,3,4,2,3,4,5,6,1] |
思路看起来比较清晰简单 ,也可以保持之前的排列顺序。
二、方法2
通过set方法进行处理
代码如下 | 复制代码 |
ids = [1,4,3,3,4,2,3,4,5,6,1] |
处理起来比较简单,使用了集合方法set进行处理,不过结果不会保留之前的顺序。
三、方法3
利用lambda匿名函数和 reduce 函数处理
代码如下 | 复制代码 |
ids = [1,4,3,3,4,2,3,4,5,6,1] func = lambda x,y:x if y in x else x + [y] reduce(func, [[], ] + ids) |
四、方法4
使用itertools模块
代码如下 | 复制代码 |
import itertools |
五、无法保持原有顺序
代码如下 | 复制代码 |
liebiao=set(liebiao) |
六、while遍历去重
代码如下 | 复制代码 |
def delRepeat(liebiao): |
七、例子
程序很简单,直接上代码吧:
代码如下 | 复制代码 |
#coding=utf-8 def open_txt(): #打开TXT文本写入数组 try: xxx = file(r'C:\Users\Administrator\Desktop\user.txt', 'r') for xxx_line in xxx.readlines(): passlist.append(xxx_line) xxx.close() except: return 0 def write_txt(): #打开TXT文本写入数组 try: yyy = file(r'C:\Users\Administrator\Desktop\list_user.txt', 'w') for i in list_passwed: yyy.write(i) yyy.close() except: return 0 global passlist #声明全局变量 passlist = [] #用户名:anonymous 密码为空 open_txt() #TXT导入数组 #passlist = list(set(passlist)) #python 列表去重 global list_passwed #列表去重,不打乱原来的顺序 list_passwed=[] for i in passlist: if i not in list_passwed: list_passwed.append(i) write_txt() |
aside# set方法可以直接去重而且还会排序,如果需要排序的话用set是最快的
敢达决战官方正版 安卓版v6.7.9
下载敢达决战 安卓版v6.7.9
下载像素火影骨架佐助 (Perseverance Fire Shadow)手机版v1.16
下载要塞英雄 安卓版v33.20.0-39082670-Android
下载梦想城镇vivo最新版本 安卓版v12.0.1
梦想城镇vivo版是这款卡通风模拟经营类手游的渠道服版本,玩
怦然心动的瞬间 安卓版v1.0
怦然心动的瞬间是一款真人向的恋爱互动游戏,在游戏中玩家将扮演
曼尼汉堡店游戏 安卓版v1.0.3
曼尼汉堡店是一款非常好玩的精品恐怖类型冒险游戏,在这款游戏中
现代总统模拟器去广告版 安卓版v1.0.46
现代总统模拟器是一款休闲养成类游戏,可能对于不少的玩家来说都
现代总统模拟器付费完整版 安卓版v1.0.46
现代总统模拟器高级版在商店是需要付费的,相对于普通版本,高级