当前位置： 首页 > news >正文

天才简史——Diederik P. Kingma与他的Adam优化器

news 2026/2/9 11:32:55

一、了解Diederik P. Kingma

发生日期：2024年6月18日
前几日，与实验室同门一同前往七食堂吃饭。饭间，一位做随机优化的同门说他看过一篇被引18w+的文章。随后，我表示不信，说你不会数错了吧，能有1.8w次被引都算很好的了，大工总被引排名第二的卢湖川教授也才不到5w次。

下午等那位同门发来一看，果真18w+，太强了，这不就Adam优化器嘛，怪不得被被引这么多，机械臂方向会用到优化，机器学习会用到优化，特别是这种基础理论的文章，被引18w就不奇怪了。

在这里插入图片描述

之前看到过被引最多的一篇文章是何恺明大神的Deep Residual Learning for Image Recognition这篇文章，目前是22w+次引用，主要这年头做深度学习和人工智能的太多了。何恺明大神目前入职MIT，总被引58w余次，MIT排名第一，我估计放任何一所高校都是第一位的。

在这里插入图片描述

跑偏啦，跑偏啦。本来并未想写一篇文章介绍Kingma的，但最近看到一篇Li yanan老师发表在TII上的文章《Dynamic Motion Primitives-Based Trajectory Learning for Physical Human–Robot Interaction Force Control》，然后里面也引用了Adam: A method for stochastic optimization，这不巧了嘛，随后就查阅了Diederik P. Kingma的相关资料，一个字“强”。
在这里插入图片描述

二、Diederik P. Kingma介绍

在这里插入图片描述

1、Diederik P. Kingma履历

2018-2024：谷歌大脑/DeepMind的研究科学家。领导各种研究项目，主要是文本、图像和视频的生成模型。

2015-2018：OpenAI（旧金山）创始团队和研究科学家的一部分。领导算法团队，专注于基础研究。

2013年至2017年：阿姆斯特丹大学博士（cum laude），导师为Max Welling，研究深度学习和生成模型。博士论文: Variational Inference and Deep Learning: A New Synthesis。2014/2015年夏天在DeepMind进行合作。

2010年至2012年：Advanza的联合创始人和技术负责人，于2016年成功离职。

2009年和2012年：纽约大学研究科学家，Yann LeCun实验室。

注：a. Yann LeCun是2018年图灵奖得主
b. 阿姆斯特丹大学世界排名50左右，和上交差不多。

2、Diederik P. Kingma研究方向

机器学习的可扩展方法，重点是生成模型。代表性贡献包括变分自动编码器（VAE）、Adam优化器、Glow和变分扩散模型。

3、创业经历

Diederik P. Kingma于2015年成为OpenAI创始团队的一员。在此之前，他作为co-founder共同创立了Advanza，该公司于2016年被收购。

4、关于Kingma的名字

Kingma的正式名字是Diederik，但有一个绰号Durk（发音像Dirk）。

三、被引22+w的Adam文章

2020年：根据《Nature Index》和Google Scholar的数据，Adam optimization论文是过去五年中被引用次数最多的科学论文。

Diederik P. Kingma个人主页：http://dpkingma.com/

相关文章：

天才简史——Diederik P. Kingma与他的Adam优化器

一、了解Diederik P. Kingma 发生日期：2024年6月18日 前几日，与实验室同门一同前往七食堂吃饭。饭间，一位做随机优化的同门说他看过一篇被引18w的文章。随后，我表示不信，说你不会数错了吧，能有1.8w次被引都…...

编程日记 2024/6/21 3:29:08

两个src案例分享

案例一 文前废话:某天正在刷着**社区的帖子,欣赏着漂亮的小姐姐,突然间评论区的一条评论引起了我的注意,类似于下面这样 这种评论在html标签中代码格式是<a>这是文字</a>这样的 同时评论区XSS漏洞的高发区,想着可能会有操作点 一、发布一个标题有js语句的贴子 二…...

编程日记 2024/6/21 3:26:05

宕机了， redis如何保证数据不丢？

前言 如果有人问你&#xff1a;"你会把 Redis 用在什么业务场景下&#xff1f;" 我想你大概率会说&#xff1a;"我会把它当作缓存使用&#xff0c;因为它把后端数据库中的数据存储在内存中&#xff0c;然后直接从内存中读取数据&#xff0c;响应速度会非常快。…...

编程日记 2024/6/21 3:25:03

太速科技-基于XCVU9P+ C6678的100G光纤的加速卡

基于XCVU9P C6678的100G光纤的加速卡 一、板卡概述 二、技术指标 • 板卡为自定义结构&#xff0c;板卡大小332mmx260mm; • FPGA采用Xilinx Virtex UltralSCALE 系列芯片 XCVU9P; • FPGA挂载4组FMC HPC 连接器; • 板载4路QSPF&#xff0c;每路数据速…...

编程日记 2024/6/21 3:24:02

Maven：一个下载jar依赖失败的问题解决方案

内部的一个jar包已经上传到了私服上&#xff0c;在私服管理端也能看到该jar包的完整信息&#xff0c;但是springboot项目引入该jar包发现死活下载不下来&#xff0c;报错如图&#xff1a; 从该错误信息中可以看到&#xff0c;找不到服务名是xxl-job这个的&#xff0c;我们要找的…...

编程日记 2024/6/21 3:23:01

Java 枚举的基本使用

一、枚举的概述 java 枚举&#xff08;Enum&#xff09;是一种特殊的数据类型&#xff0c;它允许你定义一组命名的常量。在 Java 中&#xff0c;枚举被实现为类&#xff0c;并且继承自 java.lang.Enum 类。枚举的使用可以提供类型安全、可读性强、易于理解的代码。 (1) 枚举的…...

编程日记 2024/6/21 3:22:00

Semaphroe + CountDown

Semaphore 基本使用 synchronized 可以起到锁的作用&#xff0c;但某个时间段内&#xff0c;只能有一个线程允许执行 Semaphore&#xff08;信号量&#xff09;用来限制能同时访问共享资源的线程上限&#xff08;不是资源数&#xff09;&#xff0c;非重入锁 不像之前的reen…...

编程日记 2024/6/21 3:19:56

解读代理 IP差异：ISP 代理与住宅代理

独立IP作为跨境必备工具&#xff0c;代理类型五花八门&#xff0c;今天IPFoxy全球代理将为搭建科普&#xff1a;ISP代理与住宅代理在理论上与使用上的区别。代理充当用户和互联网之间的中介&#xff0c;提供各种功能以增强安全性、隐私性和可访问性。在众多代理类型中&#xff…...

编程日记 2024/6/21 3:17:51

maven-jar-plugin maven打包插件笔记

文章目录 配置示例 其他官网文档问题maven打包插件是如何和打包动作关联在一起的?配置文件中 goal是必须的吗? maven自定义插件内容很多&#xff0c;也不易理解&#xff0c;这里把maven打包插件单拿出来&#xff0c;作为入口试着理解下。 配置示例 <plugin><groupI…...

编程日记 2024/6/21 3:16:49

云服务器部署Neo4j

文章目录 导读安装Neo4j先去官网看看下载安装包如果真的下载了rpm安装包 插件 导读 大模型&#xff0c;他终于来了。 不过呢&#xff0c;大模型相关&#xff0c;现在也就跟着热点去尝试一下multi-agent的RAG方向&#xff0c;看看能做到什么地步。总之我们先从安装neo4j开始。…...

编程日记 2024/6/21 3:15:47

day64 图论 图论理论基础 深搜 广搜 98. 所有可达路径

图论理论基础 图的种类 整体上一般分为 有向图 和 无向图。 度 无向图中有几条边连接该节点&#xff0c;该节点就有几度。 在有向图中&#xff0c;每个节点有出度和入度。 出度&#xff1a;从该节点出发的边的个数。 入度&#xff1a;指向该节点边的个数。 连通性 在图…...

编程日记 2024/6/21 3:14:46

从0进入微服务需要了解的基础知识

文章目录 系统架构演化过程为什么要了解系统架构的演化过程技术发展认知技术选型与创新 演变过程单体架构分层-分布式集群微服务 分布式\集群\微服务 微服务中的核心要素-拆分原则项目拆分与复杂度微服务的拆分维度有哪些小结 微服务中的核心要素服务化进行拆分后一定是微服务&…...

编程日记 2024/6/21 3:13:44

MySQL之复制(七)

复制 定制的复制方案 分离功能 许多应用都混合了在线事务处理(OLTP)和在线数据分析(OLAP)的查询。OLTP查询比较短并且是事务型的。OLAP查询则通常很大&#xff0c;也很慢&#xff0c;并且不要求绝对最新的数据。这两种查询给服务器带来的负担完全不同&#xff0c;因此它们需…...

编程日记 2024/6/21 3:11:41

Redis分片集群搭建

主从模式可以解决高可用、高并发读的问题。但依然有两个问题没有解决&#xff1a; 海量数据存储高并发写 要解决这两个问题就需要用到分片集群了。分片的意思&#xff0c;就是把数据拆分存储到不同节点&#xff0c;这样整个集群的存储数据量就更大了。 Redis分片集群的结构如…...

编程日记 2024/6/21 3:10:39

请解释Java中的策略模式，并举例说明其应用场景和实现方式。请解释Java中的模板方法模式，并讨论其在实际项目中的应用。

请解释Java中的策略模式&#xff0c;并举例说明其应用场景和实现方式。 策略模式&#xff08;Strategy Pattern&#xff09; 策略模式是一种行为设计模式&#xff0c;它使你能够定义一系列算法&#xff0c;并将每一个算法封装起来&#xff0c;使它们可以互相替换。策略模式使…...

编程日记 2024/6/21 3:09:37

Vim基础操作：常用命令、安装插件、在VS Code中使用Vim及解决Vim编辑键盘错乱

Vim模式 普通模式&#xff08;Normal Mode&#xff09;&#xff1a; 这是 Vim 的默认模式&#xff0c;用于执行文本编辑命令&#xff0c;如复制、粘贴、删除等。在此模式下&#xff0c;你可以使用各种 Vim 命令来操作文本。插入模式&#xff08;Insert Mode&#xff09;&#…...

编程日记 2024/6/21 3:06:32

基于Windows API DialogBox的对话框

在C中&#xff0c;DialogBox函数是Windows API的一部分&#xff0c;它用于在Win32应用程序中创建并显示一个模态对话框。DialogBox函数是USER32.DLL中的一个导出函数&#xff0c;因此你需要在你的C Win32应用程序中链接到这个库。 #include "framework.h" #include …...

编程日记 2024/6/21 3:05:31

五十一、openlayers官网示例Layer Min/Max Resolution解析——设置图层最大分辨率，超过最大值换另一个图层显示

使用minResolution、maxResolution分辨率来设置图层显示最大分辨率。 <template><div class"box"><h1>Layer Min/Max Resolution</h1><div id"map" class"map"></div></div> </template><…...

编程日记 2024/6/21 3:03:27

24年计算机等级考试22个常见问题解答❗

24年9月计算机等级考试即将开始&#xff0c;整理了报名中容易遇到的22个问题&#xff0c;大家对照入座&#xff0c;避免遇到了不知道怎么办&#xff1f; 1、报名条件 2、报名入口 3、考生报名之后后悔了&#xff0c;不想考了&#xff0c;能否退费&#xff1f; 4、最多能够报多少…...

编程日记 2024/6/21 3:02:26

obsidian制作自己的主题一文入门

制作自己的主题 我最近发现一款插件&#xff0c;直接把obsidian的文章格式复制到公众号中。 我非常喜欢这个功能&#xff0c;这将减少公众号排版的时间&#xff0c;同时保持公众号文章格式的一致性。 但是这个插件提供的模板不能满足我的需求&#xff0c;所以&#xff0c;需要…...

编程日记 2024/6/21 3:00:22

生成xcframework

打包 XCFramework 的方法 XCFramework 是苹果推出的一种多平台二进制分发格式&#xff0c;可以包含多个架构和平台的代码。打包 XCFramework 通常用于分发库或框架。 使用 Xcode 命令行工具打包 通过 xcodebuild 命令可以打包 XCFramework。确保项目已经配置好需要支持的平台…...

编程新知 2025/10/5 2:30:38

Golang 面试经典题：map 的 key 可以是什么类型？哪些不可以？

Golang 面试经典题&#xff1a;map 的 key 可以是什么类型&#xff1f;哪些不可以&#xff1f; 在 Golang 的面试中&#xff0c;map 类型的使用是一个常见的考点&#xff0c;其中对 key 类型的合法性 是一道常被提及的基础却很容易被忽视的问题。本文将带你深入理解 Golang 中…...

编程新知 2025/12/20 7:42:02

R语言AI模型部署方案：精准离线运行详解

R语言AI模型部署方案：精准离线运行详解 一、项目概述 本文将构建一个完整的R语言AI部署解决方案，实现鸢尾花分类模型的训练、保存、离线部署和预测功能。核心特点： 100%离线运行能力自包含环境依赖生产级错误处理跨平台兼容性模型版本管理# 文件结构说明 Iris_AI_Deployme…...

编程新知 2025/12/6 1:56:35

k8s从入门到放弃之Ingress七层负载

k8s从入门到放弃之Ingress七层负载 在Kubernetes&#xff08;简称K8s&#xff09;中&#xff0c;Ingress是一个API对象&#xff0c;它允许你定义如何从集群外部访问集群内部的服务。Ingress可以提供负载均衡、SSL终结和基于名称的虚拟主机等功能。通过Ingress&#xff0c;你可…...

编程新知 2025/9/7 0:12:53

shell脚本--常见案例

1、自动备份文件或目录 2、批量重命名文件 3、查找并删除指定名称的文件&#xff1a; 4、批量删除文件 5、查找并替换文件内容 6、批量创建文件 7、创建文件夹并移动文件 8、在文件夹中查找文件...

编程新知 2026/2/7 19:53:11

Objective-C常用命名规范总结

【OC】常用命名规范总结 文章目录 【OC】常用命名规范总结1.类名&#xff08;Class Name)2.协议名&#xff08;Protocol Name)3.方法名&#xff08;Method Name)4.属性名&#xff08;Property Name&#xff09;5.局部变量/实例变量&#xff08;Local / Instance Variables&…...

编程新知 2025/12/14 22:33:06

ESP32读取DHT11温湿度数据

芯片&#xff1a;ESP32 环境&#xff1a;Arduino 一、安装DHT11传感器库 红框的库&#xff0c;别安装错了 二、代码 注意&#xff0c;DATA口要连接在D15上 #include "DHT.h" // 包含DHT库#define DHTPIN 15 // 定义DHT11数据引脚连接到ESP32的GPIO15 #define D…...

编程新知 2026/1/30 8:46:45

【Go】3、Go语言进阶与依赖管理

前言 本系列文章参考自稀土掘金上的 【字节内部课】公开课&#xff0c;做自我学习总结整理。 Go语言并发编程 Go语言原生支持并发编程&#xff0c;它的核心机制是 Goroutine 协程、Channel 通道&#xff0c;并基于CSP&#xff08;Communicating Sequential Processes&#xff0…...

编程新知 2025/10/7 0:32:40

【AI学习】三、AI算法中的向量

在人工智能&#xff08;AI&#xff09;算法中&#xff0c;向量&#xff08;Vector&#xff09;是一种将现实世界中的数据&#xff08;如图像、文本、音频等&#xff09;转化为计算机可处理的数值型特征表示的工具。它是连接人类认知&#xff08;如语义、视觉特征&#xff09;与…...

编程新知 2026/1/1 14:01:45

自然语言处理——Transformer

自然语言处理——Transformer 自注意力机制多头注意力机制Transformer 虽然循环神经网络可以对具有序列特性的数据非常有效&#xff0c;它能挖掘数据中的时序信息以及语义信息&#xff0c;但是它有一个很大的缺陷——很难并行化。 我们可以考虑用CNN来替代RNN&#xff0c;但是…...

编程新知 2026/2/1 7:05:07