当前位置： 首页 > news >正文

人工神经网络ANN：数学总结

news 2026/4/4 7:32:43

一、内容

  • 径向基函数（Radial basis function，RBF）：一个取值仅依赖于到原点距离的实值函数，即\phi (\mathbf {x} )=\phi (\|\mathbf {x} \|)。此外，也可以按到某一中心点c的距离来定义，即\phi (\mathbf {x} ,\mathbf {c} )=\phi (\|\mathbf {x} -\mathbf {c} \|)。 可以用于许多向函基数的和来逼近某一给定的函数，这一逼近的过程可看作是一个简单的神经网络。径向基函数还被用作支持向量机SVM的核函数。比如，高斯函数\phi (r)=e^{-(\varepsilon r)^{2}}，其中r=\|\mathbf {x} -\mathbf {x} _{i}\|
  • 欧几里得距离：\|{\vec {x}}\|_{2}={\sqrt {|x_{1}|^{2}+\cdots +|x_{n}|^{2}}}
  • S型函数（sigmoid function）：S(t)={\frac {1}{1+e^{-t}}}。S型函数通常特指逻辑斯谛函数
  • 逻辑斯谛函数（logistic function）：f(x)={\frac {L}{1+e^{-k(x-x_{0})}}} 。其中：x0为S形曲线中点的x值；L为曲线的最大值；k为逻辑斯谛增长率或曲线的陡度。
  • 逻辑斯谛导数：{\frac {d}{dx}}f(x)=f(x){\big (}1-f(x){\big )}。
    逻辑斯谛不定积分：\int {\frac {e^{x}}{1+e^{x}}}\,dx=\int {\frac {1}{u}}\,du=\ln u=\ln(1+e^{x})
  • 整流线性单位函数（Rectified Linear Unit, ReLU）
  • 三元组损失（Triplet loss）：机器学习算法中的一种损失函数，该损失函数将锚点（anchor）样本与正（positive）样本和负（negative）样本进行比较。具体做法是，将锚点样本与正样本之间的距离最小化，将锚点样本与负样本之间的距离最大化。
    {\mathcal {L}}\left(A,P,N\right)=\operatorname {max} \left({\|\operatorname {f} \left(A\right)-\operatorname {f} \left(P\right)\|}^{2}-{\|\operatorname {f} \left(A\right)-\operatorname {f} \left(N\right)\|}^{2}+\alpha ,0\right)
    其中A是一个锚点样本， P是与A同类的正样本, N是与A不同类别的负样本, α 是正负样本对之间的松弛边距，f是嵌入向量。
  • 玻尔兹曼分布（Boltzmann distribution），或称吉布斯分布（Gibbs distribution）：它给出一个系统处于某种状态的概率，是该状态的能量及温度的函数。公式：p_{i}\propto e^{-{\varepsilon _{i}}/{(kT)}}，其中pi是系统处于状态i的概率，εi是该状态的能量，kT为玻尔兹曼常数k和热力学温度T的乘积。符号 ∝表示比例
  •  通用近似定理（或称万能近似定理）：指出人工神经网络近似任意函数的能力

二、数学公式

1. 径向基函数（Radial basis function，RBF）

常见的径向基函数包括（r=\|\mathbf {x} -\mathbf {x} _{i}\|）

  • 高斯函数：\phi (r)=e^{-(\varepsilon r)^{2}}
  • 多二次函数（multiquadric）：\phi (r)={\sqrt {1+(\varepsilon r)^{2}}}

三、人工神经网络

  • 学习向量量化（Learning Vector Quantization，LVQ）：基于原型的监督学习统计分类算法。 LVQ是向量量化的监督版本。LVQ 在分类文本文档的时候非常有帮助
  • 自组织映射（SOM）：使用非监督式学习来产生训练样本的输入空间的一个低维（通常是二维）离散化的表示的人工神经网络（ANN）。自组织映射与其他人工神经网络的不同之处在于它使用一个邻近函数来保持输入空间的拓扑性质。
  • 径向基函数网络（Radial basis function network， RBF network）：是一种使用径向基函数作为激活函数的人工神经网络。径向基函数网络的输出是输入的径向基函数和神经元参数的线性组合。径向基函数网络通常有三层：输入层、隐藏层和一个非线性激活函数和线性径向基神经网络输出层。输入可以被建模为实数向量。输出是输入向量的一个标量函数。
  • 霍普菲尔德神经网络(Hopfield neural network)：一种循环神经网络
  • 随机神经网络（Stochastic Neural Networks）：它们向神经网络引进随机变化，一类是在神经元之间分配随机过程传递函数，一类是给神经元随机权重。随机的变换避免了局部最优。
  • 玻尔兹曼机（Boltzmann machine）：随机神经网络和循环神经网络的一种
  • 受限玻尔兹曼机（restricted Boltzmann machine, RBM）：RBM 是两层神经网络，这些浅层神经网络是 DBN（深度信念网络）的构建块。RBM 的第一层被称为可见层或者输入层，它的第二层叫做隐藏层。
  • 深度信念网络（Deep belief network，DBN）：深度生成式模型，通过将一系列受限玻尔兹曼机（RBM）单元堆叠而进行训练
  • 马尔可夫网络（马尔可夫随机场、无向图模型）：类似贝叶斯网络用于表示依赖关系。但是，一方面它可以表示贝叶斯网络无法表示的一些依赖关系，如循环依赖；另一方面，它不能表示贝叶斯网络能够表示的某些关系，如推导关系
  • 自编码器（autoencoder）：学习无标签数据的有效编码；属一种无监督学习
  • 卷积神经网络（Convolutional Neural Network)

四、神经科学理论

  • 赫布理论（Hebbian theory）：赫布理论描述了突触可塑性的基本原理，即突触前神经元向突触后神经元的持续重复的刺激，可以导致突触传递效能的增加。在人工神经网络中，突触间传递作用的变化被当作是（被映射成）神经元网络图中相应权重的变化。如果两个神经元同步激发，则它们之间的权重增加；如果单独激发，则权重减少。

References

https://zh.wikipedia.org/zh-cn/Category:%E4%BA%BA%E5%B7%A5%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C

一起读懂传说中的经典：受限玻尔兹曼机 | 机器之心

相关文章：

人工神经网络ANN：数学总结

一、内容 径向基函数（Radial basis function，RBF）：一个取值仅依赖于到原点距离的实值函数，即。此外，也可以按到某一中心点c的距离来定义，即。 可以用于许多向函基数的和来逼近某一给定的函数&a…...

编程日记 2023/9/24 11:06:45

RabbitMQ的工作模式——WorkQueues

1.工作队列模式 生产者代码 public class Producer_WorkQueues1 {public static void main(String[] args) throws IOException, TimeoutException {//1.创建连接工厂ConnectionFactory factory new ConnectionFactory();//2.设置参数factory.setHost("172.16.98.133&qu…...

编程日记 2023/9/24 11:04:42

AOJ 0531 坐标离散化

一、题目大意 在(0<x<w&#xff0c;0<y<h)的坐标系里有多个矩形&#xff0c;把区域分成了多个部分&#xff0c;我们需要针对找出被矩形分割的连通的区块数量。 二、解题思路 这个题目其实和学DFS时候那个找出连通的水洼是一样的。只是这个地图比较大&#xff0c…...

编程日记 2023/9/24 11:01:39

Python —— pytest框架

1、认识pytest框架 1、搭建自动化框架的思路与流程 1、搭建自动化测试框架的思路和流程&#xff0c;任意测试手段流程都是一致的&#xff1a;手工测试、自动化测试、工具测试 手工测试&#xff1a;熟悉业务 —— 写用例 —— 执行用例并记录结果 —— 生成测试报告自动化测试…...

编程日记 2023/9/24 10:59:33

IP地址欺骗的危害与后果

IP地址欺骗&#xff0c;也被称为IP地址伪装或IP地址欺诈&#xff0c;是一种网络攻击技术&#xff0c;旨在伪装或隐藏攻击者的真实IP地址。尽管这种技术可能有一些合法的用途&#xff0c;例如保护用户的隐私或绕过地理位置限制&#xff0c;但它也经常被恶意黑客用于不法行为。本…...

编程日记 2023/9/24 10:58:31

系统集成|第十章(笔记)

目录 第十章 质量管理10.1 项目质量管理概论10.2 主要过程10.2.1 规划质量管理10.2.2 实施质量保证10.2.3 质量控制 10.3 常见问题 上篇&#xff1a;第九章、成本管理 第十章 质量管理 10.1 项目质量管理概论 质量管理&#xff1a;指确定质量方针&#xff0c;质量目标和职责&a…...

编程日记 2023/9/24 10:57:30

Linux之perf(7)配置

Linux之perf(7)配置类命令 Author&#xff1a;Onceday Date&#xff1a;2023年9月23日 漫漫长路&#xff0c;才刚刚开始… 注&#xff1a;该文档内容采用了GPT4.0生成的回答&#xff0c;部分文本准确率可能存在问题。 参考文档: Tutorial - Perf Wiki (kernel.org)perf(1)…...

编程日记 2023/9/24 10:56:28

14：00面试，14：06就出来了，问的问题过于变态了。。。

从小厂出来&#xff0c;没想到在另一家公司又寄了。 到这家公司开始上班&#xff0c;加班是每天必不可少的&#xff0c;看在钱给的比较多的份上&#xff0c;就不太计较了。没想到5月一纸通知&#xff0c;所有人不准加班&#xff0c;加班费不仅没有了&#xff0c;薪资还要降40%…...

编程日记 2023/9/24 10:55:27

JPA的注解@Field指定为Keyword失败，导致查询不到数据

一、背景 使用 jpa 对es操作&#xff0c;查询条件不生效&#xff0c;需求是批量查询课程编号。说白了&#xff0c;就是一个In集合的查询。在es里&#xff0c;如果是精准匹配是termQuery&#xff0c;比如&#xff1a; queryBuilder.filter(QueryBuilders.termQuery(“schoolId…...

编程日记 2023/9/24 10:52:22

多线程带来的的风险-线程安全

多线程带来的的风险-线程安全 ~~ 多线程编程中,最难的地方,也是一个最重要的地方&#xff0c;还是一个最容易出错的地方,更是一个面试中特别爱考的地方.❤️❤️❤️ 线程安全的概念 万恶之源,罪魁祸首是多线程的抢占式执行,带来的随机性.~~&#x1f615;&#x1f615;&…...

编程日记 2023/9/24 10:46:15

Kafka 面试题

Kafka 面试题 Q:讲一下Kafka。 Kafka 入门一篇文章就够了 Kafka的简单理解 Q:消息队列&#xff0c;有哪些使用场景及用途&#xff1f; 解耦&#xff0c;削峰&#xff0c;限流。 Q:Kafka相对其他消息队列&#xff0c;有什么特点&#xff1f; 持久化&#xff1a;Kafka的持久化…...

编程日记 2023/9/24 10:45:14

离线部署 python 3.x 版本

文章目录 离线部署 python 3.x 版本1. 下载版本2. 上传到服务器3. 解压并安装4. 新建软连信息5. 注意事项 离线部署 python 3.x 版本 1. 下载版本 python 各版本下载地址 本次使用版本 Python-3.7.0a2.tgz # linux 可使用 wget 下载之后上传到所需服务器 wget https://www.py…...

编程日记 2023/9/24 10:44:12

Java 获取豆瓣电影TOP250

对于爬虫&#xff0c;Java并不是最擅长的&#xff0c;但是也可以实现&#xff0c;此次主要用到的包有hutool和jsoup。 hutool是一个Java工具包&#xff0c;它简化了Java的各种API操作&#xff0c;包括文件操作、类型转换、HTTP、日期处理、JSON处理、加密解密等。它的目标是使…...

编程日记 2023/9/24 10:43:11

笔试面试相关记录（5）

&#xff08;1&#xff09;不包含重复字符的最长子串的长度 #include <iostream> #include <string> #include <map>using namespace std;int getMaxLength(string& s) {int len s.size();map<char, int> mp;int max_len 0;int left 0;int i …...

编程日记 2023/9/24 10:42:09

四、C#—变量，表达式，运算符（2）

&#x1f33b;&#x1f33b; 目录 一、表达式1.1 什么是表达式1.2 表达式的基本组成 二、运算符2.1 算术运算符2.1.1 使用 / 运算符时的注意事项2.1.2 使用%运算符时的注意事项 2.2 赋值运算符2.2.1 简单赋值运算符2.2.2 复合赋值运算符 2.3 关系运算符2.4 逻辑运算符2.4.1 逻辑…...

编程日记 2023/9/24 10:40:07

【WSN】基于蚁群算法的WSN路由协议(最短路径)消耗节点能量研究（Matlab代码实现）

&#x1f4a5;&#x1f4a5;&#x1f49e;&#x1f49e;欢迎来到本博客❤️❤️&#x1f4a5;&#x1f4a5; &#x1f3c6;博主优势&#xff1a;&#x1f31e;&#x1f31e;&#x1f31e;博客内容尽量做到思维缜密&#xff0c;逻辑清晰&#xff0c;为了方便读者。 ⛳️座右铭&a…...

编程日记 2023/9/24 10:39:05

JVM的内存分配及垃圾回收

内存分配 在了解Java的内存管理前&#xff0c;需要知道JVM中的内存分配。 栈 存储局部变量。在方法的定义中或在方法中声明的变量为局部变量&#xff1b;栈内存中的数据在该方法结束&#xff08;返回或抛出异常或方法体运行到最后&#xff09;时自动释放栈中存放的数据结构为…...

编程日记 2023/9/24 10:38:04

Python实现查询一个文件中的pdf文件中的关键字

要求&#xff0c;查询一个文件中的pdf文件中的关键字&#xff0c;输出关键字所在PDF文件的文件名及对应的页数。 import os import PyPDF2def search_pdf_files(folder_path, keywords):# 初始化结果字典&#xff0c;以关键字为键&#xff0c;值为包含关键字的页面和文件名列表…...

编程日记 2023/9/24 10:37:02

【计算机网络笔记一】网络体系结构

IP和路由器概念 两台主机如何通信呢&#xff1f; 首先&#xff0c;主机的每个网卡都有一个全球唯一地址&#xff0c;MAC 地址&#xff0c;如 00:10:5A:70:33:61 查看 MAC 地址&#xff1a; windows: ipconfig / alllinux&#xff1a;ifconfig 或者 ip addr 同一个网络的多…...

编程日记 2023/9/24 10:36:01

硕士应聘大专老师

招聘信息 当地人社局、学校&#xff08;官方&#xff09; 公众号&#xff08;推荐&#xff09;&#xff1a; 辅导员招聘 厦门人才就业信息平台 高校人才网V 公告出完没多久就要考试面试&#xff0c;提前联系当地院校&#xff0c;问是否招人。 校招南方某些学校会直接去招老师。…...

编程日记 2023/9/24 10:34:59

【Spring Boot 3 + Vue 3】宠物医院智能诊疗管理系统 全功能展示 | 前后端分离实战

宠物医院智能诊疗管理系统 — Spring Boot 3 Vue 3 全栈实战 项目简介基于 Spring Boot 3 Vue 3 Bootstrap 5 MyBatis-Plus MySQL 构建的宠物医院智能诊疗管理系统&#xff0c;采用前后端分离架构&#xff0c;实现了从游客浏览、在线预约、诊疗记录到物资管理的完整业务闭…...

编程新知 2026/4/4 7:01:48

mPLUG与LangChain集成实战：构建智能视觉问答知识库

mPLUG与LangChain集成实战&#xff1a;构建智能视觉问答知识库 1. 当图片会“说话”时&#xff0c;知识管理发生了什么变化 上周帮一家三甲医院的信息科同事调试系统&#xff0c;他们正为医学影像资料的检索头疼。放射科每天产生上千张CT和MRI片子&#xff0c;但医生想找某类…...

编程新知 2026/4/4 6:15:33

电机控制死区补偿模块资料：原理与目标

电机控制死区补偿模块资料 原理&#xff1a;由于逆变器自身的非线性及IGBT等功率管的Ton&#xff0c;Toff等参数是随着电流大小变化的&#xff0c;需要首先测量不同电流下实际的死区时间&#xff0c;然后根据当前运行工况下的三相电流&#xff0c;根据电流进行查表计算出合适的…...

编程新知 2026/4/4 5:12:57

BRV下拉刷新与上拉加载：SmartRefreshLayout集成完整教程

BRV下拉刷新与上拉加载&#xff1a;SmartRefreshLayout集成完整教程 【免费下载链接】BRV [永久维护] Android 快速构建 RecyclerView, 比 BRVAH 更简单强大 项目地址: https://gitcode.com/gh_mirrors/br/BRV BRV&#xff08;Android 快速构建 RecyclerView&#xff09…...

编程新知 2026/4/4 4:28:05

避坑指南：CentOS7安装JDK17常见问题及解决方案

CentOS7实战&#xff1a;JDK17安装全流程与疑难问题深度解析 在Linux服务器环境中&#xff0c;Java开发工具包&#xff08;JDK&#xff09;的安装配置是开发者必须掌握的基础技能。随着Java 17作为最新的长期支持&#xff08;LTS&#xff09;版本逐渐成为企业级应用的新标准&am…...

编程新知 2026/4/4 3:21:32

C语言开发界面太难？libui-ng开源库帮你快速搞定

一、C语言开发者的噩梦&#xff0c;终被一个开源库打破&#xff1f; 搞C语言开发的那些人&#xff0c;基本上都躲不开这么一个让人头疼的点&#xff0c;就是想要去写一个可视化的界面&#xff0c;要嘛就得被迫去学习繁杂的Qt、GTK&#xff0c;不然呢就得拼了命去写Win32代码&a…...

编程新知 2026/4/4 2:55:24

Ubuntu 24.04 装完 AppImage 还是打不开？别急，先检查这个库（libfuse2）

Ubuntu 24.04运行AppImage的深度排错指南&#xff1a;从权限检查到FUSE机制解析 刚在Ubuntu 24.04上双击下载好的AppImage文件&#xff0c;却发现毫无反应&#xff1f;这可能是许多Linux用户升级系统后遇到的第一个"惊喜"。不同于简单的权限问题&#xff0c;这里隐藏…...

编程新知 2026/4/4 2:35:19

RoPE → Attention 完整

好的&#xff0c;我帮你把之前的 “Transformer 输入 → RoPE → Attention” 全流程整理成一个完整的、连贯的文档。每一步都包含 数学表达 PyTorch 示例代码&#xff0c;方便直接参考或实现。Transformer 前向 RoPE 全流程1️⃣ 输入&#xff1a;Token → Embedding 数学表…...

编程新知 2026/4/4 1:58:54

车辆动力学模型：Carsim与Simulink联合仿真解析空间位姿及速度随时间变化的动态特征

车辆动力学模型&#xff0c;carsim&&simulink联仿&#xff0c;包括空间位姿、速度等随时间的变化踩下油门的瞬间轮胎与地面摩擦发出刺耳声响&#xff0c;方向盘在手里轻微抖动。这种肾上腺素飙升的操控体验&#xff0c;在CarSim和Simulink的联合仿真环境里只需要几行代…...

编程新知 2026/4/4 1:50:47

Makefile核心概念与高效构建实践指南

1. Makefile基础概念与核心结构Makefile本质上是一种声明式构建脚本&#xff0c;它通过定义目标、依赖和命令三者之间的关系&#xff0c;让构建工具&#xff08;make&#xff09;能够智能地决定哪些文件需要重新编译。这种机制在C/C项目中尤为重要&#xff0c;因为源文件之间的…...

编程新知 2026/4/4 0:29:47