基于首届中国互联网数据挖掘竞赛数据集的行为相似网络分析

在互联网行为分析中“社交网络分析”不一定只能依赖好友、关注、私信或转发关系。很多时候数据里并没有显式的社交边但用户的网页访问、应用使用、停留时长和活跃节奏本身就能反映出相似的兴趣圈层。本项目中的“社交网络分析核心”正是基于这个思路从清洗后的上网行为日志中抽取用户共同访问的网页域名和共同使用的应用程序构建“用户-资源-用户”的行为相似网络再识别核心用户、兴趣社群和跨圈桥接用户。一、分析背景1.1 这里的“社交网络”是什么传统社交网络一般描述真实互动关系例如A 关注了 BA 给 B 发消息A 评论或转发了 B 的内容A 和 B 是好友但本项目的数据来源是互联网行为日志核心字段是用户、访问时间、停留时长、网页域名、进程名称等。因此这里构建的不是直接社交关系而是基于共同访问资源推断出来的用户行为相似网络。也就是说如果两个用户都经常访问user.qzone.qq.com都使用qq.exe或者都长时间使用某些办公、视频、游戏类应用那么他们之间会形成一条相似关系边。这类网络适合回答以下问题哪些用户在行为网络中最核心用户是否自然形成了不同兴趣社群哪些用户连接了多个兴趣圈层哪些用户活跃度很低需要唤醒哪些用户行为强度异常高需要复核二、数据与预处理2.1 从清洗后的行为事件开始分析使用的主要数据是互联网行为分析/cleaned/behavior_events.csv 互联网行为分析/data/demographic.csv其中behavior_events.csv是清洗后的行为事件表包含用户访问网页或使用应用的事件记录demographic.csv用于补充性别、学历、职业、地区等用户画像字段。脚本中的路径定义如下CORE_DIRPath(__file__).resolve().parents[1]PROJECT_DIRCORE_DIR.parent CLEANED_DIRPROJECT_DIR/cleanedDATA_DIRPROJECT_DIR/dataEVENTS_CSVCLEANED_DIR/behavior_events.csvDEMOGRAPHIC_CSVDATA_DIR/demographic.csv这样做的好处是脚本可以稳定地从项目目录读取数据不依赖当前终端所在路径。2.2 清洗无效行为行为日志里会出现很多不适合用于兴趣分析的记录例如系统进程、浏览器空壳、无效停留时长和异常长停留。这些记录如果直接用于建图会把网络关系扭曲。脚本先定义了两类需要过滤的应用NOISE_APPS{explorer.exe,svchost.exe,rundll32.exe,ctfmon.exe,dwm.exe,conhost.exe,services.exe,winlogon.exe,?,-,unknown,null,}BROWSER_APPS{360chrome.exe,chrome.exe,iexplore.exe,firefox.exe,qqbrowser.exe,sogouexplorer.exe,opera.exe,safari.exe,}过滤逻辑主要有四点没有用户 ID 的记录不参与分析。duration_invalid_flag为 1 的无效停留记录不参与分析。停留时长小于等于 0 的记录用 2 秒作为极小默认值。异常长停留最多按 1800 秒计算避免挂机行为放大边权。核心代码如下invalidparse_int(cell(row,duration_invalid_flag))largeparse_int(cell(row,duration_large_flag))ifinvalid:continuedurationparse_float(cell(row,duration_seconds),0.0)ifduration0:duration2.0iflarge:durationmin(duration,1800.0)durationmin(duration,1800.0)这一步的目的不是“删除一切异常”而是让网络边权更稳健减少系统噪声和挂机时长对结果的影响。2.3 把网页和应用统一成“行为资源”用户的行为来源分为两类网页访问使用网页域名作为资源。应用使用使用非系统、非浏览器进程名作为资源。例如web:user.qzone.qq.com web:www.baidu.com app:qq.exe app:excel.exe app:winword.exe网页域名会先标准化defnormalize_domain(raw:str)-str:value(rawor).strip().lower()valuere.sub(r^https?://,,value)valuevalue.split(/)[0].split(:)[0]valuevalue.removeprefix(www.)returnvalue资源生成逻辑如下is_webparse_int(cell(row,is_web_event))domainnormalize_domain(cell(row,url_domain)orcell(row,url_raw)or)process(cell(row,process_name)or).strip().lower()ifis_webanddomain:resourcefweb:{domain}elifprocessandprocessnotinNOISE_APPSandprocessnotinBROWSER_APPS:resourcefapp:{process}else:skipped_noise1continue统一成资源以后网页和应用就可以放到同一套网络模型中分析。2.4 给资源打上行为类别标签为了让社群结果可解释脚本还对资源进行粗粒度分类例如社交沟通、搜索导航、视频娱乐、新闻资讯、电商消费、学习知识、邮箱办公、游戏休闲、软件工具等。分类规则使用关键词匹配CATEGORY_RULES[(社交沟通,(qq.,qzone,weibo,renren,douban,tieba,bbs)),(搜索导航,(baidu,google,sogou,so.com,bing,hao123)),(视频娱乐,(youku,tudou,iqiyi,pptv,bilibili,video)),(新闻资讯,(sina,sohu,163.com,people,ifeng,news)),(电商消费,(taobao,tmall,jd.com,amazon,alipay)),(学习知识,(wikipedia,baike,wenku,edu,csdn,zhihu)),(邮箱办公,(mail,outlook,office,wps,word,excel)),(游戏休闲,(game,4399,qqgame,steam,lol)),]defcategory_for_resource(resource:str)-str:textresource.lower()forcategory,needlesinCATEGORY_RULES:ifany(needleintextforneedleinneedles):returncategoryifresource.startswith(app:):return软件工具return其他访问这一步很重要。网络算法可以告诉我们“谁和谁相似”但类别标签可以帮助解释“为什么相似”。三、网络构建3.1 构建用户-资源二部图脚本先不直接构建用户之间的关系而是构建一个二部图用户 - 资源 - 停留时长例如用户 A - qq.exe - 5000 秒 用户 A - user.qzone.qq.com - 3000 秒 用户 B - qq.exe - 4200 秒 用户 B - user.qzone.qq.com - 2800 秒如果两个用户共享多个资源就说明他们有相似的上网行为。核心统计结构如下user_resourcedefaultdict(lambda:defaultdict(float))user_resource_eventsdefaultdict(lambda:defaultdict(int))user_categorydefaultdict(lambda:defaultdict(float))user_eventsCounter()user_daysdefaultdict(set)resource_usersdefaultdict(lambda:defaultdict(float))每读入一条有效行为记录就更新这些统计量user_resource[uid][resource]duration user_resource_events[uid][resource]1user_category[uid][category]duration user_events[uid]1resource_users[resource][uid]duration其中最关键的是两个方向user_resource从用户看资源用于刻画用户兴趣。resource_users从资源看用户用于后续把共同资源投影成用户关系。3.2 把二部图投影为用户-用户相似网络有了resource_users以后就可以生成用户之间的边。脚本先过滤资源if2n_users120andtotal_duration30:resource_stats.append((total_duration,n_users,resource))这里有两个考虑只有 1 个用户访问的资源无法产生用户关系。覆盖用户太多的资源可能太泛例如常见入口或通用工具区分度较低。然后选出停留强度较高的前 360 个资源resource_stats.sort(reverseTrue)selected_resources{resourcefor_,_,resourceinresource_stats[:360]}对每个资源取使用时长最高的前 80 个用户两两组合生成边for(u1,w1),(u2,w2)initertools.combinations(users,2):pairtuple(sorted((u1,u2)))edge_weights[pair]math.sqrt(max(w1,1.0)*max(w2,1.0))edge_categories[pair][category]1边权公式是边权 sqrt(用户1在资源上的停留时长 * 用户2在资源上的停留时长)这个公式的直觉是只有两个人都对同一资源有较强停留时边权才会明显增加。最后再过滤较弱边thresholdmax(percentile(weights,0.60),20.0)并保留权重最高的前 1800 条边edges.sort(keylambdaitem:item[weight],reverseTrue)edgesedges[:1800]这一步得到的就是用户相似网络。四、网络指标与用户分层4.1 计算网络中心性网络建好以后脚本会计算三个重要指标。4.1.1 度数 degree度数表示一个用户连接了多少个相似用户degrees{node:len(adjacency[node])fornodeinadjacency}度数越高说明这个用户和更多用户有共同兴趣或共同资源。4.1.2 加权度 weightedDegree加权度表示用户所有连接强度之和weighted_degrees{node:sum(adjacency[node].values())fornodeinadjacency}它比普通度数更重视连接质量。一个用户连接人数不多但如果共同资源停留很强也可能有较高加权度。4.1.3 加权 PageRankPageRank 用于识别网络中的核心扩散用户。脚本实现的是加权版本defweighted_pagerank(adjacency,damping0.85,iterations45):nodessorted(adjacency)nlen(nodes)ifnotnodes:return{}ranks{node:1.0/nfornodeinnodes}out_weight{node:sum(adjacency[node].values())fornodeinnodes}base(1.0-damping)/nfor_inrange(iterations):new_ranks{node:basefornodeinnodes}fornodeinnodes:ifout_weight[node]0:continuesharedamping*ranks[node]/out_weight[node]fornb,weightinadjacency[node].items():new_ranks[nb]share*weight ranksnew_ranksreturnranksPageRank 高的用户不只是连接多而且连接对象本身也比较重要。4.2 用标签传播识别兴趣社群社群识别使用的是加权标签传播算法。初始时每个用户都有自己的标签之后每个用户不断观察邻居标签把自己改成邻居中权重最高的标签。核心代码如下deflabel_propagation(adjacency,max_iter35):labels{node:nodefornodeinadjacency}for_inrange(max_iter):changed0fornodeinsorted(adjacency,keylambdan:(-len(adjacency[n]),n)):scoreCounter()fornb,weightinadjacency[node].items():score[labels[nb]]weightifnotscore:continuebest_scoremax(score.values())best_labelssorted(labelforlabel,valueinscore.items()ifvaluebest_score)bestbest_labels[0]iflabels[node]!best:labels[node]best changed1ifnotchanged:breakraw_countsCounter(labels.values())ordered[labelforlabel,_inraw_counts.most_common()]remap{label:fC{i1}fori,labelinenumerate(ordered)}return{node:remap[label]fornode,labelinlabels.items()}最终得到的社群编号类似C1, C2, C3, ...脚本还会统计每个社群的代表资源、主导类别和平均行为时长用于解释社群画像。4.3 识别跨圈桥接用户有些用户不一定是 PageRank 最高的核心用户但他们连接了多个不同社群。这类用户在传播、推荐、异常路径解释中很有价值。脚本通过邻居社群分布的熵来计算桥接分countsCounter(communities.get(nb,C0)fornbinadjacency[node])totalsum(counts.values())entropy-sum((count/total)*math.log(count/total1e-12)forcountincounts.values())bridge_scores[node]entropy*min(1.0,degrees[node]/max(deg50,1.0))如果一个用户的邻居都来自同一个社群熵较低如果邻居分散在多个社群熵较高。所以桥接分高的用户往往具有“跨圈连接”能力。4.4 用户分层最终用户会被分成五类分层判断逻辑业务含义核心扩散层PageRank 高且加权度高适合作为信息触达和内容扩散对象跨圈桥接层桥接分高且连接数不低连接多个兴趣社群适合跨圈传播兴趣社群层行为稳定但不是核心或桥接适合按兴趣主题做精细化运营低活跃唤醒层活跃天数少或总时长低适合轻量提醒、入口优化、召回高强度复核层事件数或总时长异常高需要复核是否挂机、批量访问或特殊任务对应代码如下iftotal_durationduration95oruser_events[uid]event95:segment高强度复核层elifprpr90andweighted_degreewd80:segment核心扩散层elifbridgebridge85anddegreedeg50:segment跨圈桥接层eliflen(user_days[uid])2ortotal_durationduration20:segment低活跃唤醒层else:segment兴趣社群层这套规则不是简单按访问量排名而是结合了行为强度、网络位置和跨社群能力。五、结果输出与可视化5.1 结果如何解读脚本运行后会输出节点表和边表。节点表social_network_nodes.csv中每一行是一个用户核心字段包括id community segment topCategory degree weightedDegree pagerank bridgeScore events activeDays durationMinutes gender edu job province city边表social_network_edges.csv中每一行是两个用户之间的相似关系source target weight category例如一条边可以理解为source 用户和 target 用户因为共同使用某类资源而形成行为相似关系weight 越大说明共同资源停留强度越高。报告social_network_report.md会汇总原始事件数有效行为数活跃用户数入网用户数用户相似边数网络密度平均度最大连通分量占比社群数量分流结果关键用户资源类别分布5.2 可视化展示网页端在互联网行为分析/社交网络分析核心/web/index.html页面直接读取web/data.js因此不需要后端服务直接打开 HTML 即可查看。可视化主要展示社交网络图节点大小表示中心性颜色表示分层。分流流程图展示从行为日志到用户分层的路径。核心用户排名按 PageRank、加权度、桥接分展示关键用户。社群规模和行为类别解释不同兴趣社群的主题。24 小时行为节律观察用户活跃时间分布。5.3 运行方式在 PowerShell 中进入核心目录cdC:\Users\kishi\Desktop\商业数据分析\期末项目\互联网行为分析\社交网络分析核心python.\scripts\analyze_social_network.py运行完成后打开web/index.html即可查看网页可视化结果。六、局限与总结6.1 方法局限这套方法的核心假设是共同访问资源可以反映用户之间的行为相似性。因此它适合分析兴趣圈层、内容触达、相似用户、行为分流和异常复核但不能直接解释为真实好友关系。如果后续数据中加入评论、转发、私信、好友列表、关注关系等字段就可以进一步升级为真实交互网络并计算有向边、入度、出度、传播路径和互动强度。6.2 小结这个模块的关键价值在于它把海量、分散的上网行为日志转换成了可解释的网络结构。分析链路可以概括为清洗行为日志 - 抽取网页域名和应用进程 - 构建用户-资源二部图 - 投影为用户-用户相似网络 - 计算 PageRank、加权度和桥接分 - 标签传播识别兴趣社群 - 输出用户分层和可视化结果从业务角度看它不仅能告诉我们“谁访问得多”还能告诉我们“谁处在网络中心”“谁连接多个圈层”“哪些用户属于同一兴趣群体”。这也是社交网络分析相比普通统计分析更有价值的地方。