Python 短文本匹配，短文本语义相似度，基于大模型的短文本匹配，基于LLMs的短文本语义相似度识别，短文本语义扩充和匹配
1.任务描述
之前在做疾病相似度匹配的时候，堪称史诗级难题，虽然最后加上规则以及一些nlp模型，取得了差强人意的效果，但是短文本的语义相似度匹配一直属于比较难以攻克的难题
2.思路
随着近年大模型的飞速发展，就之前所做的任务给出以下新思路：
模型分为两条通路：语义相似度和字形相似度
语义相似度解决问题：卵巢子宫内膜异位囊肿和巧克力囊肿，其实本质一样，语义应该是一致的，但是通过字形难以解决；
字形相似度解决问题：由于很多疾病中的特殊字符在BERT和LLMs中没有相应的向量表示，所以这部分通过字形相似度来rank，作为辅助手段；
代码后续我会慢慢公开，欢迎大家来讨论。
相关文章：
Python 短文本匹配，短文本语义相似度，基于大模型的短文本匹配，基于LLMs的短文本语义相似度识别，短文本语义扩充和匹配
1.任务描述 之前在做疾病相似度匹配的时候，堪称史诗级难题，虽然最后加上规则以及一些nlp模型，取得了差强人意的效果，但是短文本的语义相似度匹配一直属于比较难以攻克的难题 2.思路 随着近年大模型的飞速发展，就之前…...
提升接口性能方式汇总
1，sql 2，缓存，尤其面向用户，如app数据。可用redis咖啡，二级缓存。 充分利用redis，redis数据类型很多，平时场景中结合实际情况，找一下对应的redis实现方案 比如Zset可以排序&#…...
C++中的常见语法糖汇总
C中的语法糖是指使代码更简洁、可读性更高的语言特性和简化的语法。以下是一些常见的C语法糖： 1. 自动类型推导（auto） 使用 auto 关键字可以让编译器自动推导变量的类型，简化变量的声明。 auto x 10; // 编译器推导 x…...
TensorFlow Playground神经网络演示工具使用方法详解
在现代机器学习领域，神经网络无疑是一个重要的研究方向。然而，对于许多初学者来说，神经网络的概念和实际操作可能显得相当复杂。幸运的是，TensorFlow Playground 提供了一个交互式的在线工具，使得我们可以直观地理解和实验神经网络的基本原理。在这篇博客中，我们将详细介…...
【git】subtree 简单教程
git subtree使用案例 😄生命不息，写作不止 🔥 继续踏上学习之路，学之分享笔记 👊 总有一天我也能像各位大佬一样 🏆 博客首页 怒放吧德德 To记录领地 🌝分享学习心得，欢迎指正&am…...
C语言基础：字符串函数使用与剖析
strtok（分割字符串） char * strtok ( char * str, const char * sep ); sep参数是个字符串，定义了用作分隔符的字符集合 第一个参数指定一个字符串，它包含了0个或者多个由sep字符串中一个或者多个分隔符分割的标 记。strtok函数找…...
搭建Vulnhub靶机网络问题(获取不到IP)
搭建好靶场后，在攻击机运行arp-scan -l无法发现靶机IP。 这时候去看下靶机网络有没有问题。 重新启动客户机，一直按e进入安全模式（要是直接开机了就先按shift进入grub界面，再按e）找到ro，将ro改为rw signie…...
Prompt 提示词强大方法论和框架2
自从ChatGPT Chat Generative Pre-trained Transformer于2022年11月30日发布以来，一个新兴的行业突然兴起， 那就是提示工程Prompt engineering，可谓如日冲天。 从简单的文章扩写到RAG，ChatGPT展现了前所未有的惊人能力。 在上一…...
C语言分支和循环（2）
我的相关博客： C语言的分支与循环（1） 1.switch语句 除了 if 语句外，C语⾔还提供了 switch 语句来实现分⽀结构。 switch 语句是⼀种特殊形式的 的 if...else 结构，⽤于判断条件有多个结果的情况。它把多重 else if…...
14.FreeRTOS 流媒体缓存 Stream Buffer
FreeRTOS 中的 Stream Buffer（流媒体缓存） 在实时操作系统（RTOS）中，处理流媒体数据是一项非常关键的任务。FreeRTOS 提供了一种名为 Stream Buffer（流媒体缓存）的机制，用于高效地管…...
再图片合成视频)
利用ffmpeg把视频分解成图片(每秒x张图)再图片合成视频
1. 视频分解成图片 ffmpeg -i rawVideo.mp4 -r 5 -f image2 img/%04d.png-i rawVideo.mp4 输入文件 -r 5 每秒5帧(1秒5张图) 可不写，默认每秒24帧 -f image2 表示输出的格式图像 可不写，默认图像 img/ 图片放在img文件夹下 %04d.png 图片的命名…...
冯喜运：6.7今日外汇黄金原油走势分析及日内操作策略
【黄金消息面分析】：美国初请失业金人数超预期，市场对美联储9月降息预期升温，全球降息潮起，黄金市场受支撑。北京时间本周四，美国劳工部公布的数据显示，截至6月1日当周初请失业金人数增加至22.9万人&#x…...
[网络基础]——计算机网络(OSI)参考模型 详解
🏡作者主页：点击！ 🌐网络通信基础TCP/IP专栏：点击！ ⏰️创作时间：2024年6月2日21点59分 🀄️文章质量：93分 目录 🎟️OSI基本概念 🎄分层架构…...
使用 Java 获取图片的 MD5 编码
在许多应用场景中，我们需要验证文件的完整性或唯一性，常用的方法是计算文件的哈希值。MD5（Message Digest Algorithm 5）是一种广泛使用的哈希函数，可以生成一个128位的哈希值（32位的十六进制数字࿰…...
GO——泛型
泛型 对于强类型语言，在编写代码时不事先指定类型，在实例化的时候作为参数指明类型 参考：https://www.liwenzhou.com/posts/Go/generics/ 什么时候使用泛型？ 方法中的代码实现与类型T无关参考：https://juejin.cn/p…...
TSP（Python）：Qlearning求解旅行商问题TSP（提供Python代码）
一、Qlearning简介 Q-learning是一种强化学习算法，用于解决基于奖励的决策问题。它是一种无模型的学习方法，通过与环境的交互来学习最优策略。Q-learning的核心思想是通过学习一个Q值函数来指导决策，该函数表示在给定状态下采取某个动作所获…...
【精通NIO】NIO介绍
一、什么是NIO NIO，全称为New Input/Output，是Java平台中用于替代传统I/O（Blocking I/O）模型的一个功能强大的I/O API。NIO在Java 1.4版本中被引入，其设计目标是提供一种非阻塞的、低延迟的I/O操作方式，以…...
ssh远程管理
一、Openssh概述 Openssh是一种安全通道协议，用来实现字符界面的远程登录、远程复制、远程文本传输。 Openssh对通信双方的数据进行了加密。有两种方式： 用户名和密码登录：比较常用密钥对认证方式：可以实现免密登录 ssh端口&a…...
【ai】pycharm远程ssh开发
方式1： gateway的方式是远程放一个pycharm 专业版，经常下载失败 方式2： 类似vs，源码本地，同步到远程进行运行。 参考大神的分享： Pycharm远程连接服务器（2023-11-9） Pycharm远程连接服务器（windows下远程修改服务器代码）[通俗易懂] cpolar 建议同时内网穿透 选 远程开…...
leetcode 9 回文数
给你一个整数 x ，如果 x 是一个回文整数，返回 true ；否则，返回 false 。 回文数是指正序（从左向右）和倒序（从右向左）读都是一样的整数。 例如，121 是回文，而…...
【WiFi帧结构】
文章目录 帧结构MAC头部管理帧 帧结构 Wi-Fi的帧分为三部分组成：MAC头部frame bodyFCS，其中MAC是固定格式的，frame body是可变长度。 MAC头部有frame control，duration，address1，address2，addre…...
逻辑回归：给不确定性划界的分类大师
想象你是一名医生。面对患者的检查报告（肿瘤大小、血液指标），你需要做出一个**决定性判断**：恶性还是良性？这种“非黑即白”的抉择，正是**逻辑回归（Logistic Regression）** 的战场&a…...
React19源码系列之 事件插件系统
事件类别 事件类型 定义 文档 Event Event 接口表示在 EventTarget 上出现的事件。 Event - Web API | MDN UIEvent UIEvent 接口表示简单的用户界面事件。 UIEvent - Web API | MDN KeyboardEvent KeyboardEvent 对象描述了用户与键盘的交互。 KeyboardEvent - Web…...
高危文件识别的常用算法：原理、应用与企业场景
高危文件识别的常用算法：原理、应用与企业场景 高危文件识别旨在检测可能导致安全威胁的文件，如包含恶意代码、敏感数据或欺诈内容的文档，在企业协同办公环境中（如Teams、Google Workspace）尤为重要。结合大模型技术&…...
解决本地部署 SmolVLM2 大语言模型运行 flash-attn 报错
出现的问题 安装 flash-attn 会一直卡在 build 那一步或者运行报错 解决办法 是因为你安装的 flash-attn 版本没有对应上，所以报错，到 https://github.com/Dao-AILab/flash-attention/releases 下载对应版本，cu、torch、cp 的版本一定要对…...
SpringCloudGateway 自定义局部过滤器
场景： 将所有请求转化为同一路径请求（方便穿网配置）在请求头内标识原来路径，然后在将请求分发给不同服务 AllToOneGatewayFilterFactory import lombok.Getter; import lombok.Setter; import lombok.extern.slf4j.Slf4j; impor…...
根据万维钢·精英日课6的内容，使用AI（2025）可以参考以下方法：
根据万维钢精英日课6的内容，使用AI（2025）可以参考以下方法： 四个洞见 模型已经比人聪明：以ChatGPT o3为代表的AI非常强大，能运用高级理论解释道理、引用最新学术论文，生成对顶尖科学家都有用的…...
在web-view 加载的本地及远程HTML中调用uniapp的API及网页和vue页面是如何通讯的？
uni-app 中 Web-view 与 Vue 页面的通讯机制详解 一、Web-view 简介 Web-view 是 uni-app 提供的一个重要组件，用于在原生应用中加载 HTML 页面： 支持加载本地 HTML 文件支持加载远程 HTML 页面实现 Web 与原生的双向通讯可用于嵌入第三方网页或 H5 应…...
ABAP设计模式之---“简单设计原则(Simple Design)”
“Simple Design”（简单设计）是软件开发中的一个重要理念，倡导以最简单的方式实现软件功能，以确保代码清晰易懂、易维护，并在项目需求变化时能够快速适应。 其核心目标是避免复杂和过度设计，遵循“让事情保…...
RabbitMQ入门4.1.0版本（基于java、SpringBoot操作）
RabbitMQ 一、RabbitMQ概述 RabbitMQ RabbitMQ最初由LShift和CohesiveFT于2007年开发，后来由Pivotal Software Inc.（现为VMware子公司）接管。RabbitMQ 是一个开源的消息代理和队列服务器，用 Erlang 语言编写。广泛应用于各种分布…...