Python内置模块：sys、os、re、random、file、hashlib、base64、gzip、yaml、csv、typing

一sys函数/变量描述argv返回python命令执行脚本的参数列表exit(arg)退出当前程序可通过可选参数指定返回值或错误信息platform操作系统标识win32darwin等pathmoudle搜索路径getsizeof(obj)查看对象占用的字节数python test.py a b c# [/Users/mengday/pythonProject/aaa.py, a, b, c]print(sys.argv)# [a, b, c]print(sys.argv[1:])# Process finished with exit code 0# status默认为0也可以自定义sys.exit()sys.exit(100# win32print(sys.platform))Python import导入的模块必须位于搜索路径下面因为搜索路径包含我们的Python3.10、虚拟环境venv、已经当前的项目所以这写目录下的模块都可以被导入进来。可以使用函数sys.path.append(other) 来临时增加搜索其它路径。[/Users/mengday/PycharmProjects/demo,/Library/Frameworks/Python.framework/Versions/3.10/lib/python3.10,/Users/mengday/PycharmProjects/demo/venv/lib/python3.10/site-packages]print(sys.path)# 临时导入sys.path.append(/Users/mengday/modules)二os函数/变量描述os.getcwd()获取项目的根目录os.listdir(path)获取当前路径或者指定路径下的文件和目录列表os.path.exists(path)判断指定路径下的目录是否存在。存在返回True否则返回Falseos.mkdir(path)传入一个path路径创建单层(单个)文件夹。注意如果文件夹已经存在就会报错。因此创建文件夹之前需要使用os.path.exists(path)函数判断文件夹是否存在os.makedirs(path)递归创建文件夹注意如果文件夹存在就会报错。因此创建文件夹之前需要使用os.path.exists(path)函数判断文件夹是否存在os.rmdir(path)删除指定路径下的文件夹注意该方法只能删除空文件夹删除非空文件夹会报错os.path.join(path1,path2)将路径拼接起来形成一个新的完整路径os.path.split(path)传入一个完整的path路径将其拆分为绝对路径和文件名2部分os.path.dirname(path)获取某个绝对路径文件的父目录os.path.basename(path)获取绝对路径文件的文件名os.path.isdir(path)判断一个绝对路径是否为目录os.path.isfile(path)判断一个绝对路径是否为文件os.path.sep获取当前系统的路径分隔符os.path.getsize(path)返回绝对路径的文件的大小importos# 获取当前文件所在的目录os.path.dirname(__file__)# 目录拼接os.path.join(os.path.dirname(__file__),config/config.ini)os.getcwd()# 获取当前路径或指定路径下的所有文件和目录os.listdir()os.listdir(os.getcwd())三re正则表达式正则表达式可以用来查找、替换等操作。说明如果需要匹配的字符是正则表达式中的特殊字符那么可以使用\进行转义处理例如想匹配小数点可以写成\.就可以了因为直接写.会匹配任意字符同理想匹配圆括号必须写成\(和\)否则圆括号被视为正则表达式中的分组。Python对正则表达式的支持函数说明compile(pattern, flags0)编译正则表达式返回正则表达式对象match(pattern, string, flags0)用正则表达式匹配字符串 成功返回匹配对象 否则返回Nonesearch(pattern, string, flags0)搜索字符串中第一次出现正则表达式的模式 成功返回匹配对象 否则返回Nonesplit(pattern, string, maxsplit0, flags0)用正则表达式指定的模式分隔符拆分字符串 返回列表sub(pattern, repl, string, count0, flags0)用指定的字符串替换原字符串中与正则表达式匹配的模式 可以用count指定替换的次数fullmatch(pattern, string, flags0)match函数的完全匹配从字符串开头到结尾版本findall(pattern, string, flags0)查找字符串所有与正则表达式匹配的模式 返回字符串的列表finditer(pattern, string, flags0)查找字符串所有与正则表达式匹配的模式 返回一个迭代器purge()清除隐式编译的正则表达式的缓存re.I / re.IGNORECASE忽略大小写匹配标记re.M / re.MULTILINE多行匹配标记说明上面提到的re模块中的这些函数实际开发中也可以用正则表达式对象的方法替代对这些函数的使用如果一个正则表达式需要重复的使用那么先通过compile函数编译正则表达式并创建出正则表达式对象无疑是更为明智的选择。re.match(匹配规则被匹配字符串)从被匹配的字符串卡头进行匹配匹配成功返回被匹配的对象包含匹配的信息匹配不成功返回空。importre regexr[\u4e00-\u9fa5]# re.Match object; span(0, 2), match汉字matchre.match(regex,汉字)print(match)ifmatch:print(True)else:print(False)re.search(匹配规则被匹配字符串)搜索整个字符串从前向后找出第一个匹配并停止搜索。re.findall(匹配规则被匹配字符串)搜索整个字符串找出所有匹配项。关键字替换。importre# 将关键字替换成*多个关键字可以使用|分割resultre.sub(谣言|草,*,我感觉你像谣言上海外滩长草了,flagsre.IGNORECASE)# 我感觉你像*上海外滩长*了print(result)多个分割符分割。importre itemsre.split(;,ab;cd;ef)# [ab, cd, ef]print(items)# 按照指定顺序分割, 多个分割符放在[]中lstre.split(r[。],you see see you one day day。 just only eat eatyou see see you fat)# [you see see you, one day day, just only eat eat, you see see you fat]print(lst)四随机数randomimportrandom# 在1~100之间产生一个随机数包含1和100randintrandom.randint(1,100)# 列表中随机一个valuerandom.choice([北京,上海,武汉])五文件5.1 文件读写模式r以读方式打开文件文件的指针将会放在文件的开头默认模式。w打开一个文件只用于写如果文件不存在自动创建从第一行开始写如果文件存在则先清空再从第一行写。a打开一个文件用于追加如果文件已存在则将会在文件的末尾处写入新数据如果不存在则自动创建可以使用\n来标识换行。b表示二进制在读图片或者写图片等通常使用rb或者wb模式。 更新既可以读也可以写5.2 常用API# 打开文件, type(f) class _io.TextIOWrapperfopen(文件名,modew,encodingUTF-8)# 写内容f.write(Hello22222)# 一次写多行内容f.writelines([第一行内容,第二行内容])# 将内存中的数据刷新到磁盘f.flush()# 关闭文件占用会自动调用flush()f.close()#读几个字符f.read(2)#光标移动到第5个索引后面f.seek(5)#读取光标所在的行f.readline()#读取剩下的所有行每一行都作为list的元素readlines会读取到每行结尾的换行符\nf.readlines()#一次读取剩下所有内容f.read()5.3 示例type(f) class _io.TextIOWrapper该类实现了迭代器所以可以通过for循环来使用每次读一行数据。with as语法相当于自动在finally中执行了f.close()保证异常情况下也能关闭文件。with as相当于jdk8中的try () { }语法。# f在try里面算是全局变量所以在finally中还可以使用这如果是其它语言还要把f单独作为一行代码写在外边有点不优雅try:fopen(a.txt,moder,encodingUTF-8)finally:f.close()withopen(a.txt,moder,encodingUTF-8)asf:forlineinf:print(line)将字典写入文件中。importjson user_dict{username:虚竹,age:30}withopen(data.json,w,encodingutf-8)asf:json.dump(user_dict,f,ensure_asciiFalse)六hashlibimporthashlib# e10adc3949ba59abbe56e057f20f883ehashlib.md5(123456.encode(UTF-8)).hexdigest()七base64方法描述encode、decode专门用来编码和解码文件的也可以对StringIO里的数据做编解码encodebytesdecodebytes用来编码和解码字符串b64encodeb64decode用来编码和解码字符串urlsafe_b64encode,urlsafe_b64decode用来对url进行base64编解码的importbase64# bpythonencodestrbase64.encodebytes(python.encode())# bcHl0aG9u\ndecodebytesbase64.decodebytes(encodestr)bytepython.encode()# bcHl0aG9uencodebase64.b64encode(byte)# bpythonvaluebase64.b64decode(encode)# 由于标准的Base64编码后可能出现字符和/在URL中就不能直接作为参数所以又有一种url safe的base64编码其实就是把字符和/分别变成-和_baiduhttps://www.baidu.com.encode(utf-8)# baHR0cHM6Ly93d3cuYmFpZHUuY29tbaiduencodebase64.urlsafe_b64encode(baidu)# print(baiduencode)decodebase64.urlsafe_b64decode(baiduencode)print(decode)# encode和decode函数的参数也可以是文件对象f1open(1.txt,r)f2open(2.txt,w)base64.encode(f1,f2)f1.close()f2.close()# 图片转base64withopen(xxx.png,rb)asf:b_encodebase64.b64encode(f.read())八gzipgzip模块能够直接压缩和解压缩bytes-like类型的数据同时也能实现对应格式文件的压缩与解压缩。gzip.compress(data, compresslevel)压缩文本data需要压缩的bytes-like类型数据。compresslevel压缩级别0-9默认最高压缩级别90表示不压缩。gzip.decompress(data)解压缩文本。gzip.open(filename, mode)打开文件打开后可以使用如read、readline、readlines、write、writelines操作mode可以是rb 或者 wb。8.1 文本压缩和解压importjson data_bytesbytes(json.dumps({k1:v2,k2:v2}),utf-8)zip_bytesgzip.compress(data_bytes)# b\x1f\x8b\x08\x00\xcaQWc\x02\xff\xabV\xca6T\xb2RP*3R\xd2QP\xca6\x82\xb2k\x01\xba\x02\xad6\x18\x00\x00\x00print(zip_bytes)raw_value_bytesgzip.decompress(zip_bytes)# b{k1: v2, k2: v2}print(raw_value_bytes)8.2 文件压缩和解压importgzipwithopen(test.txt,rb)asf:withgzip.open(test.tgz,wb)asgzf:gzf.writelines(f)withgzip.open(test.tgz,rb)asgzf:withopen(text2.txt,wb)asf:f.writelines(gzf)九yamlimportyamlfromutils.path_toolimportget_abs_pathdefload_rag_config(config_path:strget abs_path(config/agent.yml),encoding:strutf-8):withopen(config_path,r,encddingencoding)asf:returnyaml.load(f,Loaderyaml.FullLoader)config/agent.ymlchat_model_name:qwen3-maxembedding_model_name:text-embedding-v4十csvimportcsv#写withopen(csv_data/02.csv,w,encodingutf-8,newline)asf:writercsv.DictWriter(f,fieldnames[姓名,年龄,性别,爱好])writer.writeheader()# 写入表头writer.writerow({姓名:小王年龄:18,性别:男爱好:football,Java})#写入数 据writer.writerow({姓名:小李年龄:18性别:女爱好:Python})writer.writerow({姓名:小张,年龄:18,性别:男,爱好:C})writer.writerow({姓名:涛哥年龄:19,性别:男爱好:Python,Java}#读withopen(csv_data/02.csv,r,encodingutf-8)asf:readercsv.DictReader(f)forrowinreader:print(row)十一typingOptional[X] 等价于 Union[X, None] 等价于 X | None意思是这个值要么是 X 类型要么是 None。fromtypingimportOptionaldeffind_user(user_id:int)-Optional[str]:返回用户名找不到返回 Noneifuser_id1:returnAlicereturnNonename:Optional[str]None# 可能是 str也可能是 Noneage:Optional[int]18