tensorflow基础
windows安装tensorflow
anaconda或者pip安装tensorflow,tensorflow只支持win7 64系统,本人使用tensorflow1.5版本(pip install tensorflow==1.5)
tensorboard
tensorboard只支持chrome浏览器,而且加载过程中可能有一段时间假死状态。
tensorboard --logdir=path启动(logdir需要有tensorflow的运行日志,tensorboard通过日志分析代码)
tensorboard的日志下面需要建文件夹,才能在tensorboard中筛选日志日期,日志以tfevent文件保存
图表有两种连接关系:
- 数据依赖(实线)
- 控制依赖(虚线)
tf.summary.histogram(横轴值,纵轴数量)
tf.summary.image(卷积后的图像特征显示)
tf.summary.scalar name可以使用‘/’划分相同类
tf.summary.merge_all返回tensor计算后,writer.add_summary
what-if tool,path to example栏中输入tfrecord文件路径即可
tensorflow
- 常量、变量(类实现需要初始化、神经网络方向传播算法中可以被算法修改的值)
- 静态和动态shap,[2,4]数组的属性shap,1*2,placeholder:相当于形参
- session.run(tensor)计算tensor值,或者eval,否则值未知
graph、session(只能包含一个graph)、op(图上的节点、输出tensor) eval执行单个节点(tensor转array) run可以多个
学习后的数据保存为模型,避免重复学习(pb文件包含参数和网络图) graph(pbtxt包含网络图) ckpt(包含存储参数)
模型检查点(训练中止和继续)
TFRecords 文件(大数据训练数据使用、使用example对象)
dense tensor(密集张量) sparse tensor(稀疏张量、使用 indices、values、dense_shape指定矩阵中有值的元素)
clip gradients(防止梯度爆炸)
slot(如 MomentumOptimizer 和 AdagradOptimizer 等优化器,有额外的内部变量,可以get_slot获取)
一个输入,输出多个标签 (多标签分类问题、softmax激活函数取概率值最大的几个值,softmax概率值接近0,导致梯度消失,准确率低可用logsoftmax替换,pow(10,input)计算概率)
模型训练的分类数>=2(至少有正负样本),才能保证结果准确性
numpy
np.tobytes转byte数据,np.frombuffer,byte转np
输出分类标签使用one-hot编码(tf.one_hot(label,length=最大数值+1),tf.argmax解码)
pytorch生成one-hot编码如下:torch.zeros(data.shape[0],64).scatter_(1,label.view(64,-1),1)
tensorflow.reshape返回tensorflow、numpy.reshape返回array
numpy广播机制,最后一位相同,或者有一个轴为1
算法
m-p模型->感知器模型->BP算法 CNN、RNN、DNN算法 keras
感知器(线性系统输入微小偏差输出变化不大,输出wx+b)、神经元模型(输出函数o(wx+b)即激励函数,多层激活拟合输入)
多个隐藏层的神经网络模型(深度学习)、隐藏层激励函数必须是非线性的
正向传播算法、反向传播算法(lost函数对参数求导,分析参数的变化曲线)
- Lost函数:自定义(固定)函数(凹函数使用梯度下降算法容易产生局部最优解,常用的Hinge(svm线性可分,模式识别中的算法)、CrossEntropyLoss、Focal loss、Center Loss)、模型输出和期望值的差距
- Cost函数【误差函数】:Lost函数的样本平均值,lost单个样本 tf.equal计算准确度(准确度和lost算法不同)
基础的网络结构
- CNN:卷积神经网,2个卷积层(取特征值,不改变图像大小),2个池化层(缩小数据量,2X2缩小一半,maxpool取最大值池化),1个全连接层(线性变换、全连接层限制输入文件大小,卷积层不限制) cnn通过卷积远算提取图像特征 linear[condv]+acivation网络模型
- RNN:循环神经网络(有序输入输出,语音文字等,容易出现梯度消失LSTM代替,元素之间独立,每个元素可存储上次参数,内部使用softmax计算概率)
- GAN:对抗网络(模拟数据、随机数概率统计评估、gan的全局最优解是贝叶斯分类器)
神经网络模型拟合任何函数(不用多项式函数拟合,线性激活函数不构成多项式函数,而是w(wx+b)+b任是线性组合)
神经网络层级加深,拟合效果变差,容易出现梯度消失和爆炸,需要使用残差网络RestNet的结构优化
cnn(图像识别)、rcnn(cnn后做svm分类,目标检测)
图像处理:ImageDataGenerator(keras图像预处理、1张图片随机变换生成多张)
图像标注工具:ImageNet、Labelme(labelme_json_to_dataset命令转换保存的json文件)、
特征提取算法:
- hog特征(边缘梯度信息)
- haar特征(像素明暗变化)
- lbp特征(纹理信息)
- VOTT(https://github.com/Microsoft/VoTT)
神经网络模型(输入层–隐藏层–输出层)
word2vector结构:
- skip-gram模型(输入层–projection映射层–输出层、输入词汇、输出关联词汇)
- cbow模型(存输入的上下文数据、输出分类后的哈夫曼树【不区分词性】)
激活函数(限制输出范围):
- sigmod(概率输出0-1,输出接近0容易梯度消失)
- tanh(-1-1)
- relu(值域0到无穷大,容易出现梯度爆炸,导数稳定收敛快、sigmod和tanh在0附近收敛快过大数值收敛慢)
梯度下降优化器:
SGD优化器>ADM优化器>Moutain优化器 (消耗时间)
图像处理技术:
物体分类、目标检测、语义分割、实例分割、全景分割
机器学习分类
- 监督学习:数据拟合(激励函数线性函数无法拟合),输出具体分类,svm(支持向量机、直线拟合分类器),cnn分类器(数据拟合即分类)
- 无监督学习:输出无固定分类(极大似然估值【贝叶斯分类器最大值】、蒙特卡洛算法【伪随机数算法(有周期性、可预测)】,kmeans算法【随机给定几个区域中心点,遍历所有点计算距离最近中心和重新计算中心点,直到中心点不再变化】)
- 强化学习:决策问题(Q-learning【DQL深度Q-learning】、随机森林、贪心算法【当前最优解集合,最终局部最优解】)
强化学习可以通过gym小游戏工具来训练
- 机器学习:分类问题、聚类问题、回归问题、生成问题
机器学习数学模型
IID(独立同分布,训练和测试数据保证相同的分布,深度加深使用BN算法保证每层输入相同分布)
样本分布均衡,否则训练拟合错误
Tensorflow Demo
import tensorflow as tfhello = tf.constant('Hello, TensorFlow!')
sess = tf.Session()
sess.run(hello)
'Hello, TensorFlow!'a = tf.constant(10.)
b = tf.constant(32.) #后面加点表示浮点数
sess.run(a + b) #42.0000
sess.close()
模型问题
模型不收敛:学习率太高、输入样本数太大(每次采样样本数被总样本整除否则需要丢弃不能整出的样本或者特殊处理dataset重复添加样本)、是否启动优化器
模型过拟合:dropout(输入层、或者全连接层、丢弃率训练0.5,测试1) 、L1、L2正则化参数减小方差、BN(1.输入减均值【零均值】2.归一化)
batch normalization批标准化(BN算法),加快收敛和提高准确度,神经网络深度加深后收敛变慢 (保证activation函数输入在[0,1]内,防止梯度消失)
调整样本数可以判断,过拟合和欠拟合
梯度消失:连乘因子小于1,后面的网络层,输入趋于0,参数不发生变化(修改激活函数避免)
梯度爆炸:连乘因子大于1,后面层输入趋于NAN(设置阈值、减小权重)
python图形库
pip install pillow,matplotlib,opencv-python
NL(自然语言)
nltk,文本图形等数据,转换成深度学习的向量输入
命令行
FLAGS = tf.app.flags.FLAGS
tf.app.flags.DEFINE_string(“image”,“png”, “input image file”) (使用-h产生提示)
tf.app.run(main=,argv=)
使用pyc文件发布或者pip install pyinstaller (打包py文件为exe,dist目录中) (AttributeError: ‘str’ object has no attribute 'items’卸载setuptools后重新安装)
分类算法
多标签分类:多个输出分类(sigmod,取大于某个阈值)
多类分类:贝叶斯算法、knn算法(多个二分类或者softmax,取多分类中最大概率argmax)
二分类:决策树、svm(wx+b直线函数分割)、sigmod激活函数(二分类负样本和正样本比例失衡,需要在训练的时候调整数据,使代码dataset样本均衡)
分类方法参考:https://www.cnblogs.com/yanshw/p/10831838.html
准确率、召回率、ROC曲线
正样本和负样本1:4,精准率和召回率都很大时,ROC曲线大于某个阈值、AUC指ROC曲线面积(0-1)值越大越准确(混淆【误差】矩阵)
- P(正样本) N(负样本)
- TP predict 和 label 同时为1
TP += ((pred_choice == 1) & (target.data == 1)).cpu().sum() - TN predict 和 label 同时为0
TN += ((pred_choice == 0) & (target.data == 0)).cpu().sum() - FN predict 0 label 1
FN += ((pred_choice == 0) & (target.data == 1)).cpu().sum() - FP predict 1 label 0
FP += ((pred_choice == 1) & (target.data == 0)).cpu().sum()
p = TP / (TP + FP) 精确度
r = TP / (TP + FN) 召回率
F1 = 2 * r * p / (r + p) 即 2/F1 = 1/r+1/p
acc = (TP + TN) / (TP + TN + FP + FN)
数据集
- mnist数据集(手写数字图片)
- cifar数据集(物体图片)
参考
https://www.cnblogs.com/xlturing/p/5844555.html基本数学模型(马里奥通关ai)
https://www.imooc.com/article/40710
https://www.cnblogs.com/Anita9002/p/9284817.html监督学习和无监督学习
https://blog.csdn.net/red_stone1/column/info/15855吴恩达专题
相关文章:

tensorflow基础
windows安装tensorflow anaconda或者pip安装tensorflow,tensorflow只支持win7 64系统,本人使用tensorflow1.5版本(pip install tensorflow1.5) tensorboard tensorboard只支持chrome浏览器,而且加载过程中可能有一段…...

spring_注解笔记
spring使用注解开发 文章目录 1.前提1 Bean2 属性注入3 衍生的注解4.自动装配5 作用域 1.前提 步骤1: 要使用注解开发,就必须要保证AOP包的导入 步骤2: xml文件添加context约束 步骤3: 配置注解的支持 <context:annotation-…...

c++运算符重载
目录 运算符重载的基本概念 重载加号运算符() 类内实现 类外实现 运算符重载碰上友元函数 可重载和不可重载的运算符 可重载的运算符 不可重载的运算符 重载自加自减运算符(a a) 智能指针 重载等号运算符() 重载等于和不等运算符(…...
vue子组件向父组件传参的方式
在Vue中,子组件向父组件传递参数可以通过自定义事件和props属性来实现。下面是一些关键代码示例: 1. 使用自定义事件: 在子组件中,通过 $emit 方法触发一个自定义事件,并传递参数。 <template><button cli…...
代码随想录Day41| 343. 整数拆分 |
343. 整数拆分 class Solution { public:int integerBreak(int n) {vector<int> f(n1,0);f[2]1;for(int i3;i<n;i){for(int j1;j<i-1;j){f[i]max(f[i],max(f[i-j]*j,(i-j)*j));}}return f[n];} }; 96. 不同的二叉搜索树 class Solution { public:int numTrees(int…...
工厂模式-(简单工厂模式)
首先看一下设计模式的六大原则 设计模式的六大原则 1、开闭原则(Open Close Principle) 开闭原则就是说对扩展开放,对修改关闭。在程序需要进行拓展的时候,不能去修改原有的代码,实现一个热插拔的效果。所以一句话概…...

V8引擎是如何提升对象属性访问速度的?
JavaScript 中的对象是由一组组属性和值的集合,从 JavaScript 语言的角度来看,JavaScript 对象像一个字典,字符串作为键名,任意对象可以作为键值,可以通过键名读写键值。 然而在 V8 实现对象存储时,并没有…...

彩色相机工作原理——bayer格式理解
早期,图像传感器只能记录光的强弱,无法记录光的颜色,所以只能拍摄黑白照片。 1974年,拜尔提出了bayer阵列,发明了bayer格式图片。不同于高成本的三个图像传感器方案,拜尔提出只用一个图像传感器,在其前面放…...

IDEA中DEBUG技巧
Debug 介绍 Debug 设置 如上图标注 1 所示,表示设置 Debug 连接方式,默认是 Socket。Shared memory 是 Windows 特有的一个属性,一般在 Windows 系统下建议使用此设置,相对于 Socket 会快点。 ## Debug 常用快捷键 Win 快捷键M…...

人工智能训练师
人工智能训练师是一个较新的职业,2020年2月才被正式纳入国家职业分类目录。他们主要负责在人工智能产品使用过程中进行数据库管理、算法参数设置、人机交互设计、性能测试跟踪及其他辅助作业。 这个职业的背景源于AI公司从客户(用户)那里获取…...

【业务功能118】微服务-springcloud-springboot-Kubernetes集群-k8s集群-KubeSphere-OpenELB部署及应用
OpenELB部署及应用 一、OpenELB介绍 网址: openelb.io OpenELB 是一个开源的云原生负载均衡器实现,可以在基于裸金属服务器、边缘以及虚拟化的 Kubernetes 环境中使用 LoadBalancer 类型的 Service 对外暴露服务。OpenELB 项目最初由 KubeSphere 社区发…...

Unity中Shader的模板测试
文章目录 前言什么是模板测试1、模板缓冲区2、模板缓冲区中存储的值3、模板测试是什么(看完以下流程就能知道模板测试是什么)模板测试就是在渲染,后渲染的物体前,与渲染前的模板缓冲区的值进行比较,选出符合条件的部分…...

Scala 高阶:Scala中的模式匹配
一、概述 Scala中的模式匹配(case)类似于Java中的switch...case,但是Scala的模式匹配功能更为强大。通过模式匹配,可以匹配更复杂的条件和数据结构,包括常量、类型、集合、元组等。而 Java 的 switch 语句只能用于匹配…...
分子生物学——分子机器
分子生物学——分子机器 文章目录 前言一、2016年度诺贝尔化学奖1.1. 介绍1.2. 什么是分子机器?1.3. 分子机器的意义 总结 前言 对于本次搜集分子生物学领域的一个诺贝尔奖的有关内容的作业 参考文献: https://www.cas.cn/zt/sszt/2016nobelprize/hxj/2…...
【简历优化】这套「实习、初级、中级」测试工程师求职简历模板,建议收藏。
历时2年,7000粉丝问答,帮助上百位“刚培训毕业”、“1~3年经验”的软件测试伙伴,成功入职! 我将这些问题内容,会持续更新记录在 「软件测试」求职指南 专栏。 求职简历中的误区 对于简历应该具备哪些模块,…...
vue中展示json数据的方法
推荐插件:bin-code-editor (gitee.io) bug-1:编辑器无法显示数据 原因:组件层级套用太深,导致无法显示数据 解决办法:减少在孙子及后代组件中使用插件。...

【SG滤波】三阶滤波、五阶滤波、七阶滤波(Matlab代码实现)
💥💥💞💞欢迎来到本博客❤️❤️💥💥 🏆博主优势:🌞🌞🌞博客内容尽量做到思维缜密,逻辑清晰,为了方便读者。 ⛳️座右铭&a…...
2013 ~【VUE+ ElementUI】——【上传、下载】进度计算
【VUE ElementUI】——【上传、下载】进度计算 上传:FormData方式上传,监听 onUploadProgress下载:blob文件流下载,监听 onDownloadProgress 上传:FormData方式上传,监听 onUploadProgress <el-upload:…...
android可见即可说实现方案
依赖于科大讯飞的asr识别能力,使用Android无障碍服务获取页面文本作为热词,注册到讯飞api,注册过后语音识别到热词的asr返回,利用WindowManager和无障碍的点击实现可见即可说功能 ##  无障碍服务获取需要注册的热词package com..mo…...

Pikachu Burte Force(暴力破解)
一、Burte Force(暴力破解)概述 “暴力破解”是一攻击具手段,在web攻击中,一般会使用这种手段对应用系统的认证信息进行获取。 其过程就是使用大量的认证信息在认证接口进行尝试登录,直到得到正确的结果。 为了提高…...
Golang dig框架与GraphQL的完美结合
将 Go 的 Dig 依赖注入框架与 GraphQL 结合使用,可以显著提升应用程序的可维护性、可测试性以及灵活性。 Dig 是一个强大的依赖注入容器,能够帮助开发者更好地管理复杂的依赖关系,而 GraphQL 则是一种用于 API 的查询语言,能够提…...

对WWDC 2025 Keynote 内容的预测
借助我们以往对苹果公司发展路径的深入研究经验,以及大语言模型的分析能力,我们系统梳理了多年来苹果 WWDC 主题演讲的规律。在 WWDC 2025 即将揭幕之际,我们让 ChatGPT 对今年的 Keynote 内容进行了一个初步预测,聊作存档。等到明…...
Qt Http Server模块功能及架构
Qt Http Server 是 Qt 6.0 中引入的一个新模块,它提供了一个轻量级的 HTTP 服务器实现,主要用于构建基于 HTTP 的应用程序和服务。 功能介绍: 主要功能 HTTP服务器功能: 支持 HTTP/1.1 协议 简单的请求/响应处理模型 支持 GET…...
python如何将word的doc另存为docx
将 DOCX 文件另存为 DOCX 格式(Python 实现) 在 Python 中,你可以使用 python-docx 库来操作 Word 文档。不过需要注意的是,.doc 是旧的 Word 格式,而 .docx 是新的基于 XML 的格式。python-docx 只能处理 .docx 格式…...
【git】把本地更改提交远程新分支feature_g
创建并切换新分支 git checkout -b feature_g 添加并提交更改 git add . git commit -m “实现图片上传功能” 推送到远程 git push -u origin feature_g...

RNN避坑指南:从数学推导到LSTM/GRU工业级部署实战流程
本文较长,建议点赞收藏,以免遗失。更多AI大模型应用开发学习视频及资料,尽在聚客AI学院。 本文全面剖析RNN核心原理,深入讲解梯度消失/爆炸问题,并通过LSTM/GRU结构实现解决方案,提供时间序列预测和文本生成…...
精益数据分析(97/126):邮件营销与用户参与度的关键指标优化指南
精益数据分析(97/126):邮件营销与用户参与度的关键指标优化指南 在数字化营销时代,邮件列表效度、用户参与度和网站性能等指标往往决定着创业公司的增长成败。今天,我们将深入解析邮件打开率、网站可用性、页面参与时…...

Maven 概述、安装、配置、仓库、私服详解
目录 1、Maven 概述 1.1 Maven 的定义 1.2 Maven 解决的问题 1.3 Maven 的核心特性与优势 2、Maven 安装 2.1 下载 Maven 2.2 安装配置 Maven 2.3 测试安装 2.4 修改 Maven 本地仓库的默认路径 3、Maven 配置 3.1 配置本地仓库 3.2 配置 JDK 3.3 IDEA 配置本地 Ma…...

用机器学习破解新能源领域的“弃风”难题
音乐发烧友深有体会,玩音乐的本质就是玩电网。火电声音偏暖,水电偏冷,风电偏空旷。至于太阳能发的电,则略显朦胧和单薄。 不知你是否有感觉,近两年家里的音响声音越来越冷,听起来越来越单薄? —…...

AI+无人机如何守护濒危物种?YOLOv8实现95%精准识别
【导读】 野生动物监测在理解和保护生态系统中发挥着至关重要的作用。然而,传统的野生动物观察方法往往耗时耗力、成本高昂且范围有限。无人机的出现为野生动物监测提供了有前景的替代方案,能够实现大范围覆盖并远程采集数据。尽管具备这些优势…...