python 去除图像中的框

最近在做图像标注，会出现以下的图片，需要去除其中的边框。

1.思路

1. 人工标注画框的范围P，并使用标注工具在画框上画一个点A。
2. 获取点A的坐标和颜色。在范围P内，将与点A颜色相似的每一个点x的颜色，替换为点x上下（或左右）范围内若干个点的平均颜色。但是对于边缘部分，可能存在如下图所示的问题：
   
3. 对边框的边缘部分Q进行额外处理。边框的颜色可能与点A的颜色有较大差异，因此需要利用其他方法进行处理。我使用异常值检测算法，因为Q中未在步骤2去除的一些残留点，与原始图片会存在较大差异，结合频度信息可以筛选出这些点，并得到以下的效果：
   

2.代码实现

1. 导包和必要的参数、模型：

from PIL import Image
import numpy as np
from sklearn.ensemble import IsolationForest
from collections import Counter# 判断rgb相似度用，可以小一些
threhold=15
threhold_border=15# 采样半径，可以设的小一些，可以根据边框的粗细来设定
redius=20
redius_border=20# 对边框进行处理需要调整的参数
step_add=37
step_max=2000
step=0
all_outliers=[]
top_outlier_num=10# 创建Isolation Forest模型
model = IsolationForest(contamination=0.05)  # 设置异常点的比例

2. 辅助函数

#判断颜色是否相似
def my_similar(a,b):if sum([abs(x-y) for (x,y) in zip(list(a),list(b))])/3<threhold:return Truereturn False# 判断颜色是否相似
def my_similar_border(a,b_s):for b in b_s:if sum([abs(x-y) for (x,y) in zip(list(a),list(b)[0])])/3<threhold_border:return Truereturn False# 获取异常值，用于处理边框的边缘Q
def get_outlier(tmp,model):normal_point=[]unnormal_point=[]# 将数据传递给模型进行训练model.fit(tmp)# 获取每个数据点的预测标签，-1 表示异常点，1 表示正常点labels = model.predict(tmp)# 打印每个数据点的标签for i, label in enumerate(labels):if label == -1:unnormal_point.append(tmp[i])if label==1:normal_point.append(tmp[i])return normal_point,unnormal_point# 在水平或处置方向上获取邻居节点，以便进行颜色替换
def get_right_neighborhood(target_color,neighborhood_x,neighborhood_y):diff_x=0diff_y=0for neighborhood in neighborhood_x:diff_x+=abs(sum([x-y for x,y in zip(list(neighborhood),list(target_color))])/3)for neighborhood in neighborhood_y:diff_y+=abs(sum([x-y for x,y in zip(list(neighborhood),list(target_color))])/3)if diff_x>diff_y:return neighborhood_x,1return neighborhood_y,2

3. 主函数和必要的准备数据

########################################################################################
############################开始对区域P和点A进行人工指定################################
################################对应“思路”第1部分#####################################
######################################################################################### 利用手动或利用labelimg等标注工具，
# 确定“思路”第1部分中的区域“P”
#人工框选画框的大致位置，需要包裹住画框
x_1=1427
y_1=723
x_2=2061
y_2=1363# 利用手动或利用labelimg等标注工具，
# 确定“思路”第1部分中的点“A”
x = 1495 # 目标像素点的 x 坐标
y = 1294 # 目标像素点的 y 坐标# 主要函数
def replace_color_around_point(image_path, x, y, radius=redius):# 采样步数step=0# 打开图像image = Image.open(image_path)pixels = image.load()# 获取图像的宽度和高度width, height = image.size####################################################################################################################开始对边框的内部节点进行处理################################################################对应“思路”第2部分############################################################################################################################## 获取目标像素点的颜色target_color = pixels[x, y]# 循环遍历图像中的每个像素点for i in range(x_1,x_2):for j in range(y_1,y_2):# 如果像素颜色与目标颜色相同，则替换为周围区域颜色的平均值if my_similar(pixels[i, j],target_color):# 计算周围水平和垂直区域的颜色平均值neighborhood_x = []neighborhood_y=[]for m in range(i - redius, i + radius + 1):if 0 <= m < width:neighborhood_x.append(pixels[m, j])for n in range(j - redius, j + radius + 1):if 0 <= n < height:neighborhood_y.append(pixels[i, n])neighborhood,direction=get_right_neighborhood(target_color,neighborhood_x,neighborhood_y)neighborhood=[n for n in neighborhood if not my_similar(n,target_color)]neighborhood = np.array(neighborhood)average_color=tuple(np.mean(neighborhood, axis=0, dtype=int))average_color_part_1 = tuple(np.mean(neighborhood[0:int(len(neighborhood)/2)], axis=0, dtype=int))average_color_part_2 = tuple(np.mean(neighborhood[int(len(neighborhood)/2)+1:], axis=0, dtype=int))# 替换像素颜色pixels[i, j] = average_color# 如果是水平方向if direction==1:for m in range(i - int(redius_border/3), i):if 0 <= m < width:pixels[m,j]=average_color_part_1for m in range(i, i + int(redius_border/3) + 1):if 0 <= m < width:pixels[m,j]=average_color_part_2# 如果是垂直方向if direction==2:            for n in range(j - int(redius_border/3), j):if 0 <= n < height:pixels[i,n]=average_color_part_1for n in range(j ,j + int(redius_border/3) + 1):if 0 <= n < height:pixels[i,n]=average_color_part_2step+=1if step%step_add==0 and step<step_max:normal_point,unnormal_point=get_outlier(neighborhood,model)unnormal_point=[tuple(x) for x in unnormal_point]all_outliers.extend(unnormal_point)####################################################################################################################开始对边框的边缘节点进行处理################################################################对应“思路”第2部分############################################################################################################################## 使用Counter来统计三元组的出现次数all_outlier_counts = Counter(all_outliers)# 获取出现次数最多的十个三元组，用来去边框top_outliers = all_outlier_counts.most_common(top_outlier_num)# 循环遍历图像中的每个像素点for i in range(x_1,x_2):for j in range(y_1,y_2):# 如果该点和异常点中的颜色相似，就进行替换if my_similar_border(pixels[i, j] ,top_outliers):# 计算周围水平和垂直区域的颜色平均值neighborhood_x = []neighborhood_y=[]for m in range(i - int(radius/3), i + int(radius/3) + 1):if 0 <= m < width:neighborhood_x.append(pixels[m, j])for n in range(j - int(radius/3), j + int(radius/3) + 1):if 0 <= n < height:neighborhood_y.append(pixels[i, n])neighborhood,direction=get_right_neighborhood(target_color,neighborhood_x,neighborhood_y)neighborhood=[n for n in neighborhood if not n in top_outliers]neighborhood = np.array(neighborhood)average_color=tuple(np.mean(neighborhood, axis=0, dtype=int))# 替换像素颜色pixels[i, j] = average_color# 保存修改后的图像image.save(r"../data/bbb.jpg")

4. 调用

image_path = r"../data/aaa.jpg"  # 替换为您的输入图像路径
replace_color_around_point(image_path, x, y)

3.存在的问题

1. 在进行颜色替换时，仅仅使用了平均值（代码中的average_color相关内容），也许可以使用其他线性插值算法。
2. 需要对参数进行精心调节，否则可能导致框内的图像会出现以下的“毛刺现象”，且无法把“框”完全去除：
   
   将threhold参数调小后，毛刺消失。也可以对其他参数进行调节。