tensorflow基础
windows安装tensorflow
anaconda或者pip安装tensorflow,tensorflow只支持win7 64系统,本人使用tensorflow1.5版本(pip install tensorflow==1.5)
tensorboard
tensorboard只支持chrome浏览器,而且加载过程中可能有一段时间假死状态。
tensorboard --logdir=path启动(logdir需要有tensorflow的运行日志,tensorboard通过日志分析代码)
tensorboard的日志下面需要建文件夹,才能在tensorboard中筛选日志日期,日志以tfevent文件保存
图表有两种连接关系:
- 数据依赖(实线)
- 控制依赖(虚线)
tf.summary.histogram(横轴值,纵轴数量)
tf.summary.image(卷积后的图像特征显示)
tf.summary.scalar name可以使用‘/’划分相同类
tf.summary.merge_all返回tensor计算后,writer.add_summary
what-if tool,path to example栏中输入tfrecord文件路径即可
tensorflow
- 常量、变量(类实现需要初始化、神经网络方向传播算法中可以被算法修改的值)
- 静态和动态shap,[2,4]数组的属性shap,1*2,placeholder:相当于形参
- session.run(tensor)计算tensor值,或者eval,否则值未知
graph、session(只能包含一个graph)、op(图上的节点、输出tensor) eval执行单个节点(tensor转array) run可以多个
学习后的数据保存为模型,避免重复学习(pb文件包含参数和网络图) graph(pbtxt包含网络图) ckpt(包含存储参数)
模型检查点(训练中止和继续)
TFRecords 文件(大数据训练数据使用、使用example对象)
dense tensor(密集张量) sparse tensor(稀疏张量、使用 indices、values、dense_shape指定矩阵中有值的元素)
clip gradients(防止梯度爆炸)
slot(如 MomentumOptimizer 和 AdagradOptimizer 等优化器,有额外的内部变量,可以get_slot获取)
一个输入,输出多个标签 (多标签分类问题、softmax激活函数取概率值最大的几个值,softmax概率值接近0,导致梯度消失,准确率低可用logsoftmax替换,pow(10,input)计算概率)
模型训练的分类数>=2(至少有正负样本),才能保证结果准确性
numpy
np.tobytes转byte数据,np.frombuffer,byte转np
输出分类标签使用one-hot编码(tf.one_hot(label,length=最大数值+1),tf.argmax解码)
pytorch生成one-hot编码如下:torch.zeros(data.shape[0],64).scatter_(1,label.view(64,-1),1)
tensorflow.reshape返回tensorflow、numpy.reshape返回array
numpy广播机制,最后一位相同,或者有一个轴为1
算法
m-p模型->感知器模型->BP算法 CNN、RNN、DNN算法 keras
感知器(线性系统输入微小偏差输出变化不大,输出wx+b)、神经元模型(输出函数o(wx+b)即激励函数,多层激活拟合输入)
多个隐藏层的神经网络模型(深度学习)、隐藏层激励函数必须是非线性的
正向传播算法、反向传播算法(lost函数对参数求导,分析参数的变化曲线)
- Lost函数:自定义(固定)函数(凹函数使用梯度下降算法容易产生局部最优解,常用的Hinge(svm线性可分,模式识别中的算法)、CrossEntropyLoss、Focal loss、Center Loss)、模型输出和期望值的差距
- Cost函数【误差函数】:Lost函数的样本平均值,lost单个样本 tf.equal计算准确度(准确度和lost算法不同)
基础的网络结构
- CNN:卷积神经网,2个卷积层(取特征值,不改变图像大小),2个池化层(缩小数据量,2X2缩小一半,maxpool取最大值池化),1个全连接层(线性变换、全连接层限制输入文件大小,卷积层不限制) cnn通过卷积远算提取图像特征 linear[condv]+acivation网络模型
- RNN:循环神经网络(有序输入输出,语音文字等,容易出现梯度消失LSTM代替,元素之间独立,每个元素可存储上次参数,内部使用softmax计算概率)
- GAN:对抗网络(模拟数据、随机数概率统计评估、gan的全局最优解是贝叶斯分类器)
神经网络模型拟合任何函数(不用多项式函数拟合,线性激活函数不构成多项式函数,而是w(wx+b)+b任是线性组合)
神经网络层级加深,拟合效果变差,容易出现梯度消失和爆炸,需要使用残差网络RestNet的结构优化
cnn(图像识别)、rcnn(cnn后做svm分类,目标检测)
图像处理:ImageDataGenerator(keras图像预处理、1张图片随机变换生成多张)
图像标注工具:ImageNet、Labelme(labelme_json_to_dataset命令转换保存的json文件)、
特征提取算法:
- hog特征(边缘梯度信息)
- haar特征(像素明暗变化)
- lbp特征(纹理信息)
- VOTT(https://github.com/Microsoft/VoTT)
神经网络模型(输入层–隐藏层–输出层)
word2vector结构:
- skip-gram模型(输入层–projection映射层–输出层、输入词汇、输出关联词汇)
- cbow模型(存输入的上下文数据、输出分类后的哈夫曼树【不区分词性】)
激活函数(限制输出范围):
- sigmod(概率输出0-1,输出接近0容易梯度消失)
- tanh(-1-1)
- relu(值域0到无穷大,容易出现梯度爆炸,导数稳定收敛快、sigmod和tanh在0附近收敛快过大数值收敛慢)
梯度下降优化器:
SGD优化器>ADM优化器>Moutain优化器 (消耗时间)
图像处理技术:
物体分类、目标检测、语义分割、实例分割、全景分割
机器学习分类
- 监督学习:数据拟合(激励函数线性函数无法拟合),输出具体分类,svm(支持向量机、直线拟合分类器),cnn分类器(数据拟合即分类)
- 无监督学习:输出无固定分类(极大似然估值【贝叶斯分类器最大值】、蒙特卡洛算法【伪随机数算法(有周期性、可预测)】,kmeans算法【随机给定几个区域中心点,遍历所有点计算距离最近中心和重新计算中心点,直到中心点不再变化】)
- 强化学习:决策问题(Q-learning【DQL深度Q-learning】、随机森林、贪心算法【当前最优解集合,最终局部最优解】)
强化学习可以通过gym小游戏工具来训练
- 机器学习:分类问题、聚类问题、回归问题、生成问题
机器学习数学模型
IID(独立同分布,训练和测试数据保证相同的分布,深度加深使用BN算法保证每层输入相同分布)
样本分布均衡,否则训练拟合错误
Tensorflow Demo
import tensorflow as tfhello = tf.constant('Hello, TensorFlow!')
sess = tf.Session()
sess.run(hello)
'Hello, TensorFlow!'a = tf.constant(10.)
b = tf.constant(32.) #后面加点表示浮点数
sess.run(a + b) #42.0000
sess.close()
模型问题
模型不收敛:学习率太高、输入样本数太大(每次采样样本数被总样本整除否则需要丢弃不能整出的样本或者特殊处理dataset重复添加样本)、是否启动优化器
模型过拟合:dropout(输入层、或者全连接层、丢弃率训练0.5,测试1) 、L1、L2正则化参数减小方差、BN(1.输入减均值【零均值】2.归一化)
batch normalization批标准化(BN算法),加快收敛和提高准确度,神经网络深度加深后收敛变慢 (保证activation函数输入在[0,1]内,防止梯度消失)
调整样本数可以判断,过拟合和欠拟合
梯度消失:连乘因子小于1,后面的网络层,输入趋于0,参数不发生变化(修改激活函数避免)
梯度爆炸:连乘因子大于1,后面层输入趋于NAN(设置阈值、减小权重)
python图形库
pip install pillow,matplotlib,opencv-python
NL(自然语言)
nltk,文本图形等数据,转换成深度学习的向量输入
命令行
FLAGS = tf.app.flags.FLAGS
tf.app.flags.DEFINE_string(“image”,“png”, “input image file”) (使用-h产生提示)
tf.app.run(main=,argv=)
使用pyc文件发布或者pip install pyinstaller (打包py文件为exe,dist目录中) (AttributeError: ‘str’ object has no attribute 'items’卸载setuptools后重新安装)
分类算法
多标签分类:多个输出分类(sigmod,取大于某个阈值)
多类分类:贝叶斯算法、knn算法(多个二分类或者softmax,取多分类中最大概率argmax)
二分类:决策树、svm(wx+b直线函数分割)、sigmod激活函数(二分类负样本和正样本比例失衡,需要在训练的时候调整数据,使代码dataset样本均衡)
分类方法参考:https://www.cnblogs.com/yanshw/p/10831838.html
准确率、召回率、ROC曲线
正样本和负样本1:4,精准率和召回率都很大时,ROC曲线大于某个阈值、AUC指ROC曲线面积(0-1)值越大越准确(混淆【误差】矩阵)
- P(正样本) N(负样本)
- TP predict 和 label 同时为1
TP += ((pred_choice == 1) & (target.data == 1)).cpu().sum() - TN predict 和 label 同时为0
TN += ((pred_choice == 0) & (target.data == 0)).cpu().sum() - FN predict 0 label 1
FN += ((pred_choice == 0) & (target.data == 1)).cpu().sum() - FP predict 1 label 0
FP += ((pred_choice == 1) & (target.data == 0)).cpu().sum()
p = TP / (TP + FP) 精确度
r = TP / (TP + FN) 召回率
F1 = 2 * r * p / (r + p) 即 2/F1 = 1/r+1/p
acc = (TP + TN) / (TP + TN + FP + FN)
数据集
- mnist数据集(手写数字图片)
- cifar数据集(物体图片)
参考
https://www.cnblogs.com/xlturing/p/5844555.html基本数学模型(马里奥通关ai)
https://www.imooc.com/article/40710
https://www.cnblogs.com/Anita9002/p/9284817.html监督学习和无监督学习
https://blog.csdn.net/red_stone1/column/info/15855吴恩达专题
相关文章:

tensorflow基础
windows安装tensorflow anaconda或者pip安装tensorflow,tensorflow只支持win7 64系统,本人使用tensorflow1.5版本(pip install tensorflow1.5) tensorboard tensorboard只支持chrome浏览器,而且加载过程中可能有一段…...

spring_注解笔记
spring使用注解开发 文章目录 1.前提1 Bean2 属性注入3 衍生的注解4.自动装配5 作用域 1.前提 步骤1: 要使用注解开发,就必须要保证AOP包的导入 步骤2: xml文件添加context约束 步骤3: 配置注解的支持 <context:annotation-…...

c++运算符重载
目录 运算符重载的基本概念 重载加号运算符() 类内实现 类外实现 运算符重载碰上友元函数 可重载和不可重载的运算符 可重载的运算符 不可重载的运算符 重载自加自减运算符(a a) 智能指针 重载等号运算符() 重载等于和不等运算符(…...
vue子组件向父组件传参的方式
在Vue中,子组件向父组件传递参数可以通过自定义事件和props属性来实现。下面是一些关键代码示例: 1. 使用自定义事件: 在子组件中,通过 $emit 方法触发一个自定义事件,并传递参数。 <template><button cli…...
代码随想录Day41| 343. 整数拆分 |
343. 整数拆分 class Solution { public:int integerBreak(int n) {vector<int> f(n1,0);f[2]1;for(int i3;i<n;i){for(int j1;j<i-1;j){f[i]max(f[i],max(f[i-j]*j,(i-j)*j));}}return f[n];} }; 96. 不同的二叉搜索树 class Solution { public:int numTrees(int…...
工厂模式-(简单工厂模式)
首先看一下设计模式的六大原则 设计模式的六大原则 1、开闭原则(Open Close Principle) 开闭原则就是说对扩展开放,对修改关闭。在程序需要进行拓展的时候,不能去修改原有的代码,实现一个热插拔的效果。所以一句话概…...

V8引擎是如何提升对象属性访问速度的?
JavaScript 中的对象是由一组组属性和值的集合,从 JavaScript 语言的角度来看,JavaScript 对象像一个字典,字符串作为键名,任意对象可以作为键值,可以通过键名读写键值。 然而在 V8 实现对象存储时,并没有…...

彩色相机工作原理——bayer格式理解
早期,图像传感器只能记录光的强弱,无法记录光的颜色,所以只能拍摄黑白照片。 1974年,拜尔提出了bayer阵列,发明了bayer格式图片。不同于高成本的三个图像传感器方案,拜尔提出只用一个图像传感器,在其前面放…...

IDEA中DEBUG技巧
Debug 介绍 Debug 设置 如上图标注 1 所示,表示设置 Debug 连接方式,默认是 Socket。Shared memory 是 Windows 特有的一个属性,一般在 Windows 系统下建议使用此设置,相对于 Socket 会快点。 ## Debug 常用快捷键 Win 快捷键M…...

人工智能训练师
人工智能训练师是一个较新的职业,2020年2月才被正式纳入国家职业分类目录。他们主要负责在人工智能产品使用过程中进行数据库管理、算法参数设置、人机交互设计、性能测试跟踪及其他辅助作业。 这个职业的背景源于AI公司从客户(用户)那里获取…...

【业务功能118】微服务-springcloud-springboot-Kubernetes集群-k8s集群-KubeSphere-OpenELB部署及应用
OpenELB部署及应用 一、OpenELB介绍 网址: openelb.io OpenELB 是一个开源的云原生负载均衡器实现,可以在基于裸金属服务器、边缘以及虚拟化的 Kubernetes 环境中使用 LoadBalancer 类型的 Service 对外暴露服务。OpenELB 项目最初由 KubeSphere 社区发…...

Unity中Shader的模板测试
文章目录 前言什么是模板测试1、模板缓冲区2、模板缓冲区中存储的值3、模板测试是什么(看完以下流程就能知道模板测试是什么)模板测试就是在渲染,后渲染的物体前,与渲染前的模板缓冲区的值进行比较,选出符合条件的部分…...

Scala 高阶:Scala中的模式匹配
一、概述 Scala中的模式匹配(case)类似于Java中的switch...case,但是Scala的模式匹配功能更为强大。通过模式匹配,可以匹配更复杂的条件和数据结构,包括常量、类型、集合、元组等。而 Java 的 switch 语句只能用于匹配…...
分子生物学——分子机器
分子生物学——分子机器 文章目录 前言一、2016年度诺贝尔化学奖1.1. 介绍1.2. 什么是分子机器?1.3. 分子机器的意义 总结 前言 对于本次搜集分子生物学领域的一个诺贝尔奖的有关内容的作业 参考文献: https://www.cas.cn/zt/sszt/2016nobelprize/hxj/2…...
【简历优化】这套「实习、初级、中级」测试工程师求职简历模板,建议收藏。
历时2年,7000粉丝问答,帮助上百位“刚培训毕业”、“1~3年经验”的软件测试伙伴,成功入职! 我将这些问题内容,会持续更新记录在 「软件测试」求职指南 专栏。 求职简历中的误区 对于简历应该具备哪些模块,…...
vue中展示json数据的方法
推荐插件:bin-code-editor (gitee.io) bug-1:编辑器无法显示数据 原因:组件层级套用太深,导致无法显示数据 解决办法:减少在孙子及后代组件中使用插件。...

【SG滤波】三阶滤波、五阶滤波、七阶滤波(Matlab代码实现)
💥💥💞💞欢迎来到本博客❤️❤️💥💥 🏆博主优势:🌞🌞🌞博客内容尽量做到思维缜密,逻辑清晰,为了方便读者。 ⛳️座右铭&a…...
2013 ~【VUE+ ElementUI】——【上传、下载】进度计算
【VUE ElementUI】——【上传、下载】进度计算 上传:FormData方式上传,监听 onUploadProgress下载:blob文件流下载,监听 onDownloadProgress 上传:FormData方式上传,监听 onUploadProgress <el-upload:…...
android可见即可说实现方案
依赖于科大讯飞的asr识别能力,使用Android无障碍服务获取页面文本作为热词,注册到讯飞api,注册过后语音识别到热词的asr返回,利用WindowManager和无障碍的点击实现可见即可说功能 ##  无障碍服务获取需要注册的热词package com..mo…...

Pikachu Burte Force(暴力破解)
一、Burte Force(暴力破解)概述 “暴力破解”是一攻击具手段,在web攻击中,一般会使用这种手段对应用系统的认证信息进行获取。 其过程就是使用大量的认证信息在认证接口进行尝试登录,直到得到正确的结果。 为了提高…...

UE5 学习系列(二)用户操作界面及介绍
这篇博客是 UE5 学习系列博客的第二篇,在第一篇的基础上展开这篇内容。博客参考的 B 站视频资料和第一篇的链接如下: 【Note】:如果你已经完成安装等操作,可以只执行第一篇博客中 2. 新建一个空白游戏项目 章节操作,重…...

CTF show Web 红包题第六弹
提示 1.不是SQL注入 2.需要找关键源码 思路 进入页面发现是一个登录框,很难让人不联想到SQL注入,但提示都说了不是SQL注入,所以就不往这方面想了 先查看一下网页源码,发现一段JavaScript代码,有一个关键类ctfs…...

阿里云ACP云计算备考笔记 (5)——弹性伸缩
目录 第一章 概述 第二章 弹性伸缩简介 1、弹性伸缩 2、垂直伸缩 3、优势 4、应用场景 ① 无规律的业务量波动 ② 有规律的业务量波动 ③ 无明显业务量波动 ④ 混合型业务 ⑤ 消息通知 ⑥ 生命周期挂钩 ⑦ 自定义方式 ⑧ 滚的升级 5、使用限制 第三章 主要定义 …...

遍历 Map 类型集合的方法汇总
1 方法一 先用方法 keySet() 获取集合中的所有键。再通过 gey(key) 方法用对应键获取值 import java.util.HashMap; import java.util.Set;public class Test {public static void main(String[] args) {HashMap hashMap new HashMap();hashMap.put("语文",99);has…...

为什么需要建设工程项目管理?工程项目管理有哪些亮点功能?
在建筑行业,项目管理的重要性不言而喻。随着工程规模的扩大、技术复杂度的提升,传统的管理模式已经难以满足现代工程的需求。过去,许多企业依赖手工记录、口头沟通和分散的信息管理,导致效率低下、成本失控、风险频发。例如&#…...
【git】把本地更改提交远程新分支feature_g
创建并切换新分支 git checkout -b feature_g 添加并提交更改 git add . git commit -m “实现图片上传功能” 推送到远程 git push -u origin feature_g...

Linux-07 ubuntu 的 chrome 启动不了
文章目录 问题原因解决步骤一、卸载旧版chrome二、重新安装chorme三、启动不了,报错如下四、启动不了,解决如下 总结 问题原因 在应用中可以看到chrome,但是打不开(说明:原来的ubuntu系统出问题了,这个是备用的硬盘&a…...
C# SqlSugar:依赖注入与仓储模式实践
C# SqlSugar:依赖注入与仓储模式实践 在 C# 的应用开发中,数据库操作是必不可少的环节。为了让数据访问层更加简洁、高效且易于维护,许多开发者会选择成熟的 ORM(对象关系映射)框架,SqlSugar 就是其中备受…...

第 86 场周赛:矩阵中的幻方、钥匙和房间、将数组拆分成斐波那契序列、猜猜这个单词
Q1、[中等] 矩阵中的幻方 1、题目描述 3 x 3 的幻方是一个填充有 从 1 到 9 的不同数字的 3 x 3 矩阵,其中每行,每列以及两条对角线上的各数之和都相等。 给定一个由整数组成的row x col 的 grid,其中有多少个 3 3 的 “幻方” 子矩阵&am…...

USB Over IP专用硬件的5个特点
USB over IP技术通过将USB协议数据封装在标准TCP/IP网络数据包中,从根本上改变了USB连接。这允许客户端通过局域网或广域网远程访问和控制物理连接到服务器的USB设备(如专用硬件设备),从而消除了直接物理连接的需要。USB over IP的…...