当前位置: 首页 > news >正文

EMNLP 2023 录用论文公布,速看NLP各领域最新SOTA方案

EMNLP 2023 近日公布了录用论文。

开始前以防有同学不了解这个会议,先简单介绍介绍:EMNLP 是NLP 四大顶会之一,ACL大家应该都很熟吧,EMNLP就是由 ACL 下属的SIGDAT小组主办的NLP领域顶级国际会议,一年举办一次。相较于ACL,EMNLP更偏向于NLP在各个领域解决方案的学术探讨。

今年的EMNLP 2023大会将于12月6日-10日在新加坡召开,我先整理了10篇录用论文来和大家分享,帮助NLP领域的同学了解今年的技术进展以及最新的SOTA方案,发论文更有方向。

需要论文原文及代码的同学看文末

1.Unlocking Context Constraints of LLMs: Enhancing Context Efficiency of LLMs with Self-Information-Based Content Filtering

标题:解锁LLM的上下文约束:利用基于自信息的内容过滤提高LLM上下文效率

内容:由于大型语言模型(LLM)在各种任务上都取得了显著的性能,因此受到了广泛的关注。但是,它们固定的上下文长度在处理长文本或进行长时间对话时碰到了挑战。本文提出了一种称为Selective Context的方法,该方法利用自信息量来过滤掉信息量较少的内容,从而提高固定上下文长度的效率。作者在文本摘要和问答等任务上验证了该方法的有效性,实验数据源包括学术论文、新闻文章和对话记录。

2.New Intent Discovery with Pre-training and Contrastive Learning

标题:基于预训练和对比学习的新意图发现

内容:在本文中,作者为新意图发现提供了两个重要研究问题的新解决方案:(1)如何学习语义表达表示,(2)如何更好地聚类表达。具体来说,作者首先提出了一个多任务预训练策略,以利用丰富的无标注数据以及外部标注数据进行表示学习。然后,作者设计了一个新的对比损失,以利用无标注数据中的自监督信号进行聚类。在三个意图识别基准测试中进行的大量实验证明,该方法无论是在无监督还是半监督场景中,都明显优于当前最先进的方法。

3.Dialogue for Prompting: a Policy-Gradient-Based Discrete Prompt Optimization for Few-shot Learning

标题:Dialogue for Prompting:基于策略梯度的少样本学习离散提示优化

内容:论文提出了一种基于策略梯度的离散提示词优化方法DP2O。作者首先基于GPT-4设计了多轮对话setAlignment策略来生成可读性提示集。然后,提出了一个高效的提示词筛选指标来识别高质量提示词,其复杂度为线性。最后,构建了一个基于策略梯度的强化学习框架,用于最佳匹配提示词和输入。

4.CoCo: Coherence-Enhanced Machine-Generated Text Detection Under Data Limitation With Contrastive Learning

标题:CoCo:对比学习缓解数据稀缺下的机器生成文本检测与连贯性提升

内容:在本文中,作者提出了一个名为 CoCo 的基于连贯性的对比学习模型,以在低资源场景下检测可能的 MGT。受到语言特征的区分性和持久性的启发,作者将文本表示为一个连贯性图,以捕获其实体一致性,该连贯性图进一步由预训练模型和图神经网络编码。为了应对数据缺乏的挑战,作者采用对比学习框架,并提出改进的对比损失,以在训练阶段充分利用难样本。

5.Can Language Models Understand Physical Concepts?

标题:语言模型能理解物理概念吗?

内容:作者设计了一个覆盖视觉概念和具身概念的基准测试。结果显示,随着模型规模的增大,语言模型对某些视觉概念的理解确实提高了,但对很多基本概念仍然缺乏理解。相比之下,融合视觉信息的语言模型在具身概念上表现更好。这说明视觉表示中的丰富语义信息可以帮助语言模型获得具身知识。另外,作者还提出了一种从视觉语言模型向语言模型传递具身知识的知识蒸馏方法。

6.ImageNetVC: Zero-Shot Visual Commonsense Evaluation on 1000 ImageNet Categories

标题:ImageNetVC:在1000个ImageNet类别上进行零样本视觉常识评估

内容:论文提出了ImageNetVC,这是一个针对1000个ImageNet类别设计的细粒度人工标注数据集,专门用于跨类别的零样本视觉常识评估。利用ImageNetVC,作者深入研究了非模态PLMs和VaLMs的基本视觉常识,揭示了VaLMs的缩放定律和backbone模型的影响。此外,作者还研究了影响大规模模型视觉常识的因素,为开发融合视觉常识的语言模型提供了见解。

7.Label Words are Anchors: An Information Flow Perspective for Understanding In-Context Learning

标题:从信息流角度理解词内学习

内容:在本文中,作者通过信息流的视角来研究ICL的工作机制。作者发现,在示范例子中,标签词起着“锚点”的作用:(1)语义信息在浅层计算层处理过程中聚合到标签词的表达中,(2)标签词中聚合的信息为LLM的最终预测提供参考。基于这些见解,作者提出了一个锚点重新加权方法来改进ICL性能,一个示范压缩技术来加快推理,以及一个用于诊断GPT2-XL中的ICL错误的分析框架。

8.Can We Edit Factual Knowledge by In-Context Learning?

标题:我们能通过词内学习编辑事实知识吗?

内容:这篇论文探究了通过词内学习编辑语言模型中的事实知识。作者进行了全面的实证研究,结果显示词内知识编辑可以在不更新参数的情况下实现知识编辑,并取得与基于梯度的方法相当的成功率。与基于梯度的方法相比,词内知识编辑具有副作用更少的优势,包括对不相关事实过度编辑更少,以及对先前知识遗忘更少。该方法也表现出很好的可扩展性。

9.Beyond Labels: Empowering Human with Natural Language Explanations through a Novel Active-Learning Architecture

标题:超越标签:通过新颖的主动学习架构用自然语言解释赋能人类

内容:这篇论文提出一个新的主动学习架构,不仅提供分类标签,还同时生成自然语言解释来协助人类用户。该架构包含解释生成模块和数据选择模块。结果显示,与仅提供标签相比,该架构生成的自然语言解释可显著提高人类的分类准确率,特别是在少样本场景下。

10.Large Language Model Is Not a Good Few-shotInformation Extractor but a Good Reranker for HardSamples

标题:大语言模型不是一个好的少样本信息提取器,但是一个困难样本的好重排器

内容:这篇论文研究了大语言模型在少样本信息提取任务上的表现。大语言模型本身并不是很好的少样本信息提取器,但它们擅长对难样本进行重排。因此,作者提出了一种混合方法,使用小型预训练语言模型进行过滤,然后用大语言模型重排难样本。实验表明,这种方法可以在信息提取任务上取得显著改进,而且成本可控。

关注下方《学姐带你玩AI》🚀🚀🚀

回复“EMNLP”获取论文+代码合集

码字不易,欢迎大家点赞评论收藏!

相关文章:

EMNLP 2023 录用论文公布,速看NLP各领域最新SOTA方案

EMNLP 2023 近日公布了录用论文。 开始前以防有同学不了解这个会议,先简单介绍介绍:EMNLP 是NLP 四大顶会之一,ACL大家应该都很熟吧,EMNLP就是由 ACL 下属的SIGDAT小组主办的NLP领域顶级国际会议,一年举办一次。相较于…...

互联网Java工程师面试题·Java 并发编程篇·第三弹

目录 26、什么是线程组,为什么在 Java 中不推荐使用? 27、为什么使用 Executor 框架比使用应用创建和管理线程好? 27.1 为什么要使用 Executor 线程池框架 27.2 使用 Executor 线程池框架的优点 28、java 中有几种方法可以实现一个线程…...

mac jdk的环境变量路径,到底在哪里?

在mac 电脑中,直接执行 java -version 显示Jdk的版本为1.8 然后打印Java环境变量 在终端中执行 echo $JAVA_HOME 1、情况一:发现环境变量是空的 我草,没配置环境变量怎么能使用Java ,和查看jdk版本 2、情况二:环…...

PyQt5 PyQt6 Designer 的安装

pip国内的一些镜像 阿里云 http://mirrors.aliyun.com/pypi/simple/ 中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/ 豆瓣(douban) http://pypi.douban.com/simple/ 清华大学 https://pypi.tuna.tsinghua.edu.cn/simple/ 中国科学技术大学 http://pypi.mirrors.ustc.…...

数据库:Hive转Presto(四)

这次补充了好几个函数,并且新加了date_sub函数,代码写的比较随意,有的地方比较繁琐,还待改进,而且这种文本处理的东西,经常需要补充先前没考虑到的情况,要经常修改。估计下一篇就可以补充完所有…...

16基于otsuf方法的图像分割,程序已调通,可更换自己的图片进行分割,程序具有详细的代码注释,可轻松掌握。基于MATLAB平台,需要直接拍下。

基于otsuf方法的图像分割,程序已调通,可更换自己的图片进行分割,程序具有详细的代码注释,可轻松掌握。基于MATLAB平台,需要直接拍下。 16matlab图像处理图像分割 (xiaohongshu.com)...

2、使用阿里云镜像加速器提升Docker的资源下载速度

1、注册阿里云账号并登录 https://www.aliyun.com/ 2、进入个人控制台,找到“容器镜像服务” 3、在“容器镜像服务”中找到“镜像加速器” 4、在右侧列表中会显示你的加速器地址,复制地址 5、进入/etc/docker目录,编辑daemon.json&#xff0…...

贴片电容材质的区别与电容的主要作用

一、贴片电容材质NPO、COG、X7R、X5R、Y5V、Z5U区别 主要是介质材料不同,不同介质种类由于它的主要极化类型不一样,其对电场变化的响应速度和极化率也不一样。在相同的体积下的容量就不同,随之带来的电容器介质的损耗、容量的稳定性也就不同…...

flink1.15 savepoint 超时报错 java.util.concurrent.TimeoutException

savepoint命令 flink savepoint e04813d4e7480c526912eb4d32bba510 hdfs://flink/flink/migration/savepoint56650 -Dyarn.application.id=application_1683808492336_1222报错内容 org.apache.flink.util.FlinkException: Triggering a savepoint for the job e04813d4e7480…...

并发编程——1.java内存图及相关内容

这篇文章,我们来讲一下java的内存图及并发编程的预备内容。 首先,我们来看一下下面的这两段代码: 下面,我们给出上面这两段代码在运行时的内存结构图,如下图所示: 下面,我们来具体的讲解一下。…...

Android studio安装详细教程

Android studio安装详细教程 文章目录 Android studio安装详细教程一、下载Android studio二、安装Android Studio三、启动Android Studio 一、下载Android studio Android studio安装的前提是必须保证安装了jdk1.8版本以上 1、打开android studio的官网:Download…...

Jetson Orin NX 开发指南(7): EGO-Swarm 的编译与运行

一、前言 EGO-Planner 浙江大学 FAST-LAB 实验室的开源轨迹规划算法是,受到 IEEE Spectrum 等知名科技媒体的报道,其理论技术较为前沿,是一种不依赖于ESDF,基于B样条的规划算法,并且规划成功率、算法消耗时间、代价数…...

nginx的重定向

nginx重定向--rewrite重写功能介绍 rewrite 的功能介绍 rewrite功能就是,使用nginx提供的全局变量或自己设置的变量,结合正则表达式和标记位实现URL重写以及重定向。 比如:更换域名后需要保持旧的域名能跳转到新的域名上、某网页发生改变需…...

理解Go中的数组(Array)和切片(Slice)

引言 在Go中,数组和切片是由有序的元素序列组成的数据结构。当需要处理许多相关值时,这些数据集非常适合使用。它们使你能够将本应放在一起的数据放在一起,压缩代码,并一次性对多个值执行相同的方法和操作。 尽管Go中的数组和切…...

计算机毕业设计选什么题目好?springboot 高校学生综合测评管理系统

✍✍计算机编程指导师 ⭐⭐个人介绍:自己非常喜欢研究技术问题!专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。 ⛽⛽实战项目:有源码或者技术上的问题欢迎在评论区一起讨论交流! ⚡⚡ Java实战 |…...

在liunx下读取串口的数据

1. 设置串口参数 首先是通过stty工具设置串口参数: sudo stty -F /dev/ttyUSB0 比特率 cs8 -cstopb如:sudo stty -F /dev/ttyUSB0 115200 cs8 -cstopb. 注意: 需要注意的是这里需要sudo权限; 2. 读取串口数据 然后读取串口的…...

Python中使用IDLE调试程序

在IDLE中,使用菜单栏中的“Debug”对IDLE打开的python程序进行调试。 1 打开调试开关 选择IDLE菜单栏的“Debug->Debugger”,如图1①所示;此时在IDLE中会显示“[DEBUG ON]”,即“调试模式已打开”,如图1②所示&am…...

发个地区和对应的价格方案

在当今数字化的世界中,网络工程师面临着各种挑战,从跨界电商到爬虫,从出海业务到网络安全,再到游戏领域。为了应对这些挑战,网络工程师需要了解并利用各种技术,其中Socks5代理和代理IP技术成为了他们的得力…...

启动Java应用的黑魔法:初始化性能解密@PostConstrut,InitialzingBean,init-method,BeanPostProcessor

我们在项目中经常会遇到启动时做一些逻辑的处理,比如配置信息的预加载,缓存信息的预加载等等,那都有哪些方法了,我们一起来探讨一下: 1. 方式 1. 构造方法初始化: 使用构造方法进行对象的基本属性初始化。…...

STM32-C语言结构体地址

定义2个结构体 typedef struct _demo_node_{ //结构体本身的地址struct _demo_node_* pprenode; //实际地址开始的位置,最下面的输出结果可以看出struct _demo_node_* pnextnode;unsigned long member_num;unsigned short age;char addr[0]; …...

多模态2025:技术路线“神仙打架”,视频生成冲上云霄

文|魏琳华 编|王一粟 一场大会,聚集了中国多模态大模型的“半壁江山”。 智源大会2025为期两天的论坛中,汇集了学界、创业公司和大厂等三方的热门选手,关于多模态的集中讨论达到了前所未有的热度。其中,…...

linux之kylin系统nginx的安装

一、nginx的作用 1.可做高性能的web服务器 直接处理静态资源(HTML/CSS/图片等),响应速度远超传统服务器类似apache支持高并发连接 2.反向代理服务器 隐藏后端服务器IP地址,提高安全性 3.负载均衡服务器 支持多种策略分发流量…...

docker详细操作--未完待续

docker介绍 docker官网: Docker:加速容器应用程序开发 harbor官网:Harbor - Harbor 中文 使用docker加速器: Docker镜像极速下载服务 - 毫秒镜像 是什么 Docker 是一种开源的容器化平台,用于将应用程序及其依赖项(如库、运行时环…...

React第五十七节 Router中RouterProvider使用详解及注意事项

前言 在 React Router v6.4 中&#xff0c;RouterProvider 是一个核心组件&#xff0c;用于提供基于数据路由&#xff08;data routers&#xff09;的新型路由方案。 它替代了传统的 <BrowserRouter>&#xff0c;支持更强大的数据加载和操作功能&#xff08;如 loader 和…...

在rocky linux 9.5上在线安装 docker

前面是指南&#xff0c;后面是日志 sudo dnf config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo sudo dnf install docker-ce docker-ce-cli containerd.io -y docker version sudo systemctl start docker sudo systemctl status docker …...

全球首个30米分辨率湿地数据集(2000—2022)

数据简介 今天我们分享的数据是全球30米分辨率湿地数据集&#xff0c;包含8种湿地亚类&#xff0c;该数据以0.5X0.5的瓦片存储&#xff0c;我们整理了所有属于中国的瓦片名称与其对应省份&#xff0c;方便大家研究使用。 该数据集作为全球首个30米分辨率、覆盖2000–2022年时间…...

spring:实例工厂方法获取bean

spring处理使用静态工厂方法获取bean实例&#xff0c;也可以通过实例工厂方法获取bean实例。 实例工厂方法步骤如下&#xff1a; 定义实例工厂类&#xff08;Java代码&#xff09;&#xff0c;定义实例工厂&#xff08;xml&#xff09;&#xff0c;定义调用实例工厂&#xff…...

Linux云原生安全:零信任架构与机密计算

Linux云原生安全&#xff1a;零信任架构与机密计算 构建坚不可摧的云原生防御体系 引言&#xff1a;云原生安全的范式革命 随着云原生技术的普及&#xff0c;安全边界正在从传统的网络边界向工作负载内部转移。Gartner预测&#xff0c;到2025年&#xff0c;零信任架构将成为超…...

C++八股 —— 单例模式

文章目录 1. 基本概念2. 设计要点3. 实现方式4. 详解懒汉模式 1. 基本概念 线程安全&#xff08;Thread Safety&#xff09; 线程安全是指在多线程环境下&#xff0c;某个函数、类或代码片段能够被多个线程同时调用时&#xff0c;仍能保证数据的一致性和逻辑的正确性&#xf…...

【碎碎念】宝可梦 Mesh GO : 基于MESH网络的口袋妖怪 宝可梦GO游戏自组网系统

目录 游戏说明《宝可梦 Mesh GO》 —— 局域宝可梦探索Pokmon GO 类游戏核心理念应用场景Mesh 特性 宝可梦玩法融合设计游戏构想要素1. 地图探索&#xff08;基于物理空间 广播范围&#xff09;2. 野生宝可梦生成与广播3. 对战系统4. 道具与通信5. 延伸玩法 安全性设计 技术选…...