GPT+Python)近红外光谱数据分析与定性/定量建模技巧
2022年11月30日,可能将成为一个改变人类历史的日子——美国人工智能开发机构OpenAI推出了聊天机器人ChatGPT3.5,将人工智能的发展推向了一个新的高度。2023年4月,更强版本的ChatGPT4.0上线,文本、语音、图像等多模态交互方式使其在各行各业的应用呈现了更多的可能性。2023年11月7日,OpenAI首届开发者大会被称为“科技界的春晚”,吸引了全球广大用户的关注,GPT商店更是显现了OpenAI旨在构建AI生态的野心。
原文链接:GPT+Python)近红外光谱数据分析与定性/定量建模技巧
一、ChatGPT4入门基础
1、ChatGPT概述(GPT-1、GPT-2、GPT-3、GPT-3.5、GPT-4模型的演变)
2、ChatGPT对话初体验(注册与充值、购买方法)
3、GPT-4与GPT-3.5的区别,以及与国内大语言模型(文心一言、星火等)的区别
4、ChatGPT科研必备插件(Data Interpreter、Wolfram、WebPilot、MixerBox Scholar、ScholarAI、Show Me、AskYourPDF等)
5、定制自己的专属GPTs(制作专属GPTs的两种方式:聊天/配置参数、利用Knowledge上传本地知识库提升专属GPTs性能、利用Actions通过API获取外界信息、专属GPTs的分享)
6、GPT Store简介
7、案例演示
二、ChatGPT4提示词使用方法与技巧
1、ChatGPT Prompt (提示词)使用技巧(为ChatGPT设定身份、明确任务内容、提供任务相关的背景、举一个参考范例、指定返回的答案格式等)
2、常用的ChatGPT提示词模板
3、基于模板的ChatGPT提示词优化
4、利用ChatGPT4 及插件优化提示词
5、通过promptperfect.jina.ai优化提示词
6、利用ChatGPT4 及插件生成提示词
7、ChatGPT4突破Token限制实现接收或输出万字长文(什么是Token?Token数与字符数之间的互相换算、五种方法提交超过Token限制的文本、四种方法让ChatGPT的输出突破Token限制)
8、控制ChatGPT的输出长度(使用修饰语、限定回答的范围、通过上下文限定、限定数量等)
9、利用ChatGPT4 及插件保存喜欢的ChatGPT提示词并一键调用
10、案例演示:利用ChatGPT4实现网页版游戏的设计、代码自动生成与运行
11、实操练习
三、ChatGPT4助力信息检索与总结分析
1、传统信息检索方法与技巧总结(Google Scholar、ResearchGate、Sci-Hub、GitHub、关键词检索+同行检索、文献订阅)
2、利用ChatGPT4 及插件实现联网检索文献
3、利用ChatGPT4及插件总结分析文献内容(三句话摘要、子弹式要点摘要、QA摘要、表格摘要、关键词与关键句提取、页面定位、多文档对比、情感分析)
4、利用ChatGPT4 及插件总结Youtube视频内容
5、案例演示与实操练习
四、ChatGPT4助力论文写作与投稿
1、利用ChatGPT4自动生成论文的总体框架
2、利用ChatGPT4完成论文翻译(指定翻译角色和翻译的领域、给一些背景提示)
3、利用ChatGPT4实现论文语法校正
4、利用ChatGPT4完成段落结构及句子逻辑润色
5、利用ChatGPT4完成论文评审意见的撰写与回复
6、案例演示
五、ChatGPT4入门基础
1、Python环境搭建( 下载、安装与版本选择)。
2、如何选择Python编辑器?(IDLE、Notepad++、PyCharm、Jupyter…)
3、Python基础(数据类型和变量、字符串和编码、list和tuple、条件判断、循环、函数的定义与调用等)
4、第三方模块的安装与使用
5、Numpy模块库(Numpy的安装;ndarray类型属性与数组的创建;数组索引与切片;Numpy常用函数简介与使用)
6、Matplotlib基本图形绘制(线形图、柱状图、饼图、气泡图、直方图、箱线图、散点图等)、图形的布局(多个子图绘制、规则与不规则布局绘制、向画布中任意位置添加坐标轴)
7、实操练习
六、ChatGPT4助力近红外光谱数据预处理
1、近红外光谱数据标准化与归一化(为什么需要标准化与归一化?)
2、近红外光谱数据异常值、缺失值处理
3、近红外光谱数据离散化及编码处理
4、近红外光谱数据一阶导数与二阶导数
5、近红外光谱数据去噪与基线校正
6、近红外光谱数据预处理中的ChatGPT提示词模板讲解
7、实操练习
七、ChatGPT4助力多元线性回归近红外光谱分析
1、多元线性回归模型(工作原理、最小二乘法)
2、岭回归模型(工作原理、岭参数k的选择、用岭回归选择变量)
3、LASSO模型(工作原理、特征选择、建模预测、超参数调节)
4、Elastic Net模型(工作原理、建模预测、超参数调节)
5、多元线性回归、岭回归、LASSO、Elastic Net的Python代码实现
6、多元线性回归中的ChatGPT提示词模板讲解
7、案例演示:近红外光谱回归拟合建模
八、ChatGPT4助力BP神经网络近红外光谱分析
1、BP神经网络的基本原理(人工智能发展过程经历了哪些曲折?人工神经网络的分类有哪些?BP神经网络的拓扑结构和训练过程是怎样的?什么是梯度下降法?)
2、训练集和测试集划分?BP神经网络常用激活函数有哪些?如何查看模型参数?
3、BP神经网络参数(隐含层神经元个数、学习率)的优化(交叉验证)
4、值得研究的若干问题(欠拟合与过拟合、评价指标的设计、样本不平衡问题等)
5、BP神经网络的Python代码实现
6、BP神经网络中的ChatGPT提示词模板讲解
7、案例演示:1)近红外光谱回归拟合建模;2)近红外光谱分类识别建模
九、ChatGPT4助力支持向量机(SVM)近红外光谱分析
1、SVM的基本原理(什么是经验误差最小和结构误差最小?SVM的本质是解决什么问题?SVM的四种典型结构是什么?核函数的作用是什么?什么是支持向量?)
2、SVM扩展知识(如何解决多分类问题?SVM的启发:样本重要性排序及样本筛选)
3、SVM的Python代码实现
4、SVM中的ChatGPT提示词模板讲解
5、案例演示:近红外光谱分类识别建模
十、ChatGPT4助力决策树、随机森林、Adaboost、XGBoost和LightGBM近红外光谱分析
1、决策树的基本原理(什么是信息熵和信息增益?ID3和C4.5算法的区别与联系)
2、随机森林的基本原理与集成学习框架(为什么需要随机森林算法?广义与狭义意义下的“随机森林”分别指的是什么?“随机”提现在哪些地方?随机森林的本质是什么?)
3、Bagging与Boosting集成策略的区别
4、Adaboost算法的基本原理
5、Gradient Boosting Decision Tree (GBDT)模型的基本原理
6、XGBoost与LightGBM简介
7、决策树、随机森林、Adaboost、XGBoost与LightGBM的Python代码实现
8、决策树、随机森林、Adaboost、XGBoost与LightGBM的ChatGPT提示词模板讲解
9、案例演示:近红外光谱回归拟合建模
十一、ChatGPT4助力遗传算法近红外光谱分析
1、群优化算法概述
2、遗传算法(Genetic Algorithm)的基本原理(什么是个体和种群?什么是适应度函数?选择、交叉与变异算子的原理与启发式策略)
3、遗传算法的Python代码实现
4、遗传算法中的ChatGPT提示词模板讲解
5、案例演示:基于二进制遗传算法的近红外光谱波长筛选
十二、ChatGPT4助力近红外光谱变量降维与特征选择
1、主成分分析(PCA)的基本原理
2、偏最小二乘(PLS)的基本原理(PCA与PLS的区别与联系;PCA除了降维之外,还可以帮助我们做什么?)
3、近红外光谱波长选择算法的基本原理(Filter和Wrapper;前向与后向选择法;区间法;无信息变量消除法等)
4、PCA、PLS、特征选择算法的Python代码实现
5、PCA、PLS、特征选择算法中的ChatGPT提示词模板讲解
6、案例演示:1)基于L1正则化的近红外光谱波长筛选
2)基于信息熵的近红外光谱波长筛选
3)基于Recursive feature elimination的近红外光谱波长筛选
4)基于Forward-SFS的近红外光谱波长筛选
十三、ChatGPT4助力Pytorch入门基础
1、深度学习框架概述(PyTorch、Tensorflow、Keras等)
2、PyTorch简介(动态计算图与静态计算图机制、PyTorch的优点)
3、PyTorch的安装与环境配置(Pip vs. Conda包管理方式、验证是否安装成功)
4、张量(Tensor)的定义,以及与标量、向量、矩阵的区别与联系)
5、张量(Tensor)的常用属性与方法(dtype、device、requires_grad、cuda等)
6、张量(Tensor)的创建(直接创建、从numpy创建、依据概率分布创建)
7、张量(Tensor)的运算(加法、减法、矩阵乘法、哈达玛积(element wise)、除法、幂、开方、指数与对数、近似、裁剪)
8、张量(Tensor)的索引与切片
9、PyTorch的自动求导(Autograd)机制与计算图的理解
10、PyTorch常用工具包及API简介(torchvision(transforms、datasets、model)、torch.nn、torch.optim、torch.utils(Dataset、DataLoader))
十四、ChatGPT4助力卷积神经网络近红外光谱分析
1、深度学习与传统机器学习的区别与联系(神经网络的隐含层数越多越好吗?深度学习与传统机器学习的本质区别是什么?)
2、卷积神经网络的基本原理(什么是卷积核?CNN的典型拓扑结构是怎样的?CNN的权值共享机制是什么?CNN提取的特征是怎样的?)
3、卷积神经网络参数调试技巧(卷积核尺寸、卷积核个数、移动步长、补零操作、池化核尺寸等参数与特征图的维度,以及模型参数量之间的关系是怎样的?)
4、卷积神经网络的进化史:LeNet、AlexNet、Vgg-16/19、GoogLeNet、ResNet等经典深度神经网络的区别与联系
5、利用PyTorch构建卷积神经网络(Convolution层、Batch Normalization层、Pooling层、Dropout层、Flatten层等)
6、卷积神经网络中的ChatGPT提示词模板讲解
7、案例演示:(1)CNN预训练模型实现物体识别;(2)利用卷积神经网络抽取抽象特征;(3)自定义卷积神经网络拓扑结构;(4)基于卷积神经网络的近红外光谱模型建立
十五、ChatGPT4助力近红外光谱迁移学习
1、迁移学习算法的基本原理(为什么需要迁移学习?为什么可以迁移学习?迁移学习的基本思想是什么?)
2、常用的迁移学习算法简介(基于实例、特征和模型,譬如:TrAdaboost算法)
3、基于卷积神经网络的迁移学习算法
4、迁移学习的Python代码实现
5、案例演示:基于迁移学习的近红外光谱的模型传递(模型移植)
十六、ChatGPT4助力自编码器近红外光谱分析
1、自编码器(Auto-Encoder的工作原理)
2、常见的自编码器类型简介(降噪自编码器、深度自编码器、掩码自编码器等)
3、自编码器的Python代码实现
4、自编码器中的ChatGPT提示词模板讲解
5、案例演示:
1)基于自编码器的近红外光谱数据预处理
2)基于自编码器的近红外光谱数据降维与有效特征提取
十七、ChatGPT4助力U-Net多光谱图像语义分割
1、语义分割(Semantic Segmentation)简介
2、U-Net模型的基本原理
3、语义分割、U-Net模型中的ChatGPT提示词模板讲解
4、案例演示:基于U-Net的多光谱图像语义分割
十八、ChatGPT4助力深度学习模型可解释性与可视化方法
1、什么是模型可解释性?为什么需要对深度学习模型进行解释?
2、常用的可视化方法有哪些(特征图可视化、卷积核可视化、类别激活可视化等)?
3、类激活映射CAM(Class Activation Mapping)、梯度类激活映射GRAD-CAM、局部可解释模型-敏感LIME(Local Interpretable Model-agnostic Explanation)等原理讲解
4、t-SNE的基本概念及使用t-SNE可视化深度学习模型的高维特征
5、深度学习模型可解释性与可视化中的ChatGPT提示词模板讲解
6、案例演示
相关文章:

GPT+Python)近红外光谱数据分析与定性/定量建模技巧
2022年11月30日,可能将成为一个改变人类历史的日子——美国人工智能开发机构OpenAI推出了聊天机器人ChatGPT3.5,将人工智能的发展推向了一个新的高度。2023年4月,更强版本的ChatGPT4.0上线,文本、语音、图像等多模态交互方式使其在…...
Spark动态资源释放机制 详解
Apache Spark 是一个分布式数据处理框架,其动态资源分配(或称为动态资源释放)机制,是为了更高效地利用集群资源,尤其是在执行具有不同工作负载的作业时。Spark 的动态资源释放机制允许它根据作业的需求自动分配和释放集…...

基于径向基神经网络(RBF)的构网型VSG自适应惯量控制MATLAB仿真模型
微❤关注“电气仔推送”获得资料(专享优惠) 模型简介 逆变器虚拟同步发电机控制和核心控制参数就是虚拟惯量与虚拟阻尼,目前的文献中已有众多论文对VSG的虚拟参数展开了研究,但是百分之90都是采用构造函数的方法,使用…...
简单汇编教程9 字符串与字符串指令
目录 字符串的指令 movs 字符串传送 lods, stos使用 cmpsb的使用 SCASB的使用 字符串你很熟悉了,我们定义了无数次了! %macro ANNOUNCE_STRING 2%1 db %2%1_LEN equ $ - %1 %endmacro 当然,我们现在来学习一个比较新的定义方式…...

Taro构建的H5页面路由切换返回上一页存在白屏页面过渡
目录 项目背景:Taro与Hybrid开发问题描述:白屏现象可能的原因包括: 解决方案解决后的效果图 其他优化方案可参考: 项目背景:Taro与Hybrid开发 项目使用Taro框架同时开发微信小程序和H5页面,其中H5页面被嵌…...

【学习笔记】网络设备(华为交换机)基础知识 9 —— 堆叠配置
提示:学习华为交换机堆叠配置,含堆叠的概念、功能、角色、ID和优先级;堆叠的建立过程以及注意事项;包含堆叠的配置命令,以及堆叠的配置案例 一、前期准备 1.已经可以正常访问交换机的命令行接口 Console口本地访问教…...

jeston编译配置cuda加速版opencv
1.源码下载连接 opencv:Releases - OpenCV opencv-contrib: https://github.com/opencv/opencv_contrib 建议不要下最新版本 一般我会下4.5.4 // 4.5.6 // 4.6.0 opencv和opencv-contrib版本要对齐 将下好的opencv和opencv-contrib解压 将opencv-c…...

ApacheShiro反序列化 550 721漏洞
Apache Shiro是一个强大且易用的Java安全框架,执行身份验证、授权、密码和会话管理个漏洞被称为 Shiro550 是因为在Apache Shiro的GitHub问题跟踪器中,该漏洞最初被标记为第550个问题,721漏洞名称也是由此而来 Shiro-550 CVE-2016-4437 Shiro反序列化Docker复现 …...

Github + 自定义域名搭建个人静态站点
Github 自定义域名搭建个人静态站点 使用 Github 部署一个自己的免费站点给你的站点添加上自定义域名 本文基于腾讯云基于二级域名, 作用于 Github 实现自定义域名站点 使用 Github 部署一个自己的免费站点 首先你得有一个 Github 账号, 没有就去注册一个,网上有教程,本文跳…...

使用OpenCV进行视频边缘检测:案例Python版江南style
1. 引言 本文将演示如何使用OpenCV库对视频中的每一帧进行边缘检测,并将结果保存为新的视频文件。边缘检测是一种图像处理技术,它可以帮助我们识别出图像中不同区域之间的边界。在计算机视觉领域,这项技术有着广泛的应用,比如物体…...

DataWhale10月动手实践——Bot应用开发task04学习笔记
一、图像流 1. 什么是图像流? 图像流是一种直观的图像处理流程工具,用户可以灵活组合各类图像处理模块。该系统将不同的图像处理工具模块化,并通过可视化界面,将这些模块以拖拽方式组合,构建完整的处理流程。用户可以…...

关于 IntelliJ IDEA 2024 安装使用
补丁文件...

React是如何工作的?
从编写组件到最后屏幕生成界面,如上图所示,我们现在需要知道的就是后面几步是如何运行的。 概述 这张图解释了 React 渲染过程的几个阶段: 渲染触发:通过更新某处的状态来触发渲染。渲染阶段:React 调用组件函数&…...

llama.cpp 去掉打印,只显示推理结果
llama.cpp 去掉打印,只显示推理结果 1 llama.cpp/common/log.h #define LOG_INF(...) LOG_TMPL(GGML_LOG_LEVEL_INFO, 0, __VA_ARGS__) #define LOG_WRN(...) LOG_TMPL(GGML_LOG_LEVEL_WARN, 0, __VA_ARGS__) #define LOG_ERR(…...
Word、PDF转换为图片Java
Word、PDF转换为图片Java 需求要在小程序端展示文档内容,所以将文档每页转换为图片后显示 参考和其他等方案: https://blog.csdn.net/strggle_bin/article/details/140599514 https://www.modb.pro/db/566986 https://blog.csdn.net/spring_is_comin…...

iOS IPA上传到App Store Connect的三种方案详解
引言 在iOS应用开发中,完成开发后的重要一步就是将IPA文件上传到App Store Connect以便进行测试或发布到App Store。无论是使用Xcode进行原生开发,还是通过uni-app、Flutter等跨平台工具生成的IPA文件,上传到App Store的流程都是类似的。苹果…...
Java中的Arrays类
java.util.Arrays是一个非常实用的类,提供了许多静态方法来操作数组,如排序、查找、复制和填充等。 1. toString - 将数组转换为字符串 // 导入java.util.Arrays类 import java.util.Arrays;public class ArraysExample {public static void main(Stri…...

GUI编程
GUI编程 【Java从0到架构师课程】笔记 GUI简介 GUI:图形用户界面,在计算机中采用图形的方式显示用户界面 java的GUI开发 AWT:java最早推出的GUI编程开发包,界面风格跟随操作系统SWT:eclipse就是java使用SWT开发的Sw…...
(multi)map和set--C++
文章目录 一、序列式容器和关联式容器二、set系列的使用1、set和multiset参考文档2、set类的介绍3、set的构造和迭代器4、set的增删查5、insert和迭代器遍历使用样例:6、find和erase使用样例:7、multiset和set的差异 三、map系列的使用1、map和multimap参…...

jmeter响应断言放进csv文件遇到的问题
用Jmeter的json 断言去测试http请求响应结果,发现遇到中文时出现乱码,导致无法正常进行响应断言,很影响工作。于是,察看了其他测试人员的解决方案,发现是jmeter本身对编码格式的设置导致了这一问题。解决方案是在jmete…...

C++_核心编程_多态案例二-制作饮品
#include <iostream> #include <string> using namespace std;/*制作饮品的大致流程为:煮水 - 冲泡 - 倒入杯中 - 加入辅料 利用多态技术实现本案例,提供抽象制作饮品基类,提供子类制作咖啡和茶叶*//*基类*/ class AbstractDr…...
椭圆曲线密码学(ECC)
一、ECC算法概述 椭圆曲线密码学(Elliptic Curve Cryptography)是基于椭圆曲线数学理论的公钥密码系统,由Neal Koblitz和Victor Miller在1985年独立提出。相比RSA,ECC在相同安全强度下密钥更短(256位ECC ≈ 3072位RSA…...
uni-app学习笔记二十二---使用vite.config.js全局导入常用依赖
在前面的练习中,每个页面需要使用ref,onShow等生命周期钩子函数时都需要像下面这样导入 import {onMounted, ref} from "vue" 如果不想每个页面都导入,需要使用node.js命令npm安装unplugin-auto-import npm install unplugin-au…...

BCS 2025|百度副总裁陈洋:智能体在安全领域的应用实践
6月5日,2025全球数字经济大会数字安全主论坛暨北京网络安全大会在国家会议中心隆重开幕。百度副总裁陈洋受邀出席,并作《智能体在安全领域的应用实践》主题演讲,分享了在智能体在安全领域的突破性实践。他指出,百度通过将安全能力…...

SpringTask-03.入门案例
一.入门案例 启动类: package com.sky;import lombok.extern.slf4j.Slf4j; import org.springframework.boot.SpringApplication; import org.springframework.boot.autoconfigure.SpringBootApplication; import org.springframework.cache.annotation.EnableCach…...

使用LangGraph和LangSmith构建多智能体人工智能系统
现在,通过组合几个较小的子智能体来创建一个强大的人工智能智能体正成为一种趋势。但这也带来了一些挑战,比如减少幻觉、管理对话流程、在测试期间留意智能体的工作方式、允许人工介入以及评估其性能。你需要进行大量的反复试验。 在这篇博客〔原作者&a…...

FFmpeg avformat_open_input函数分析
函数内部的总体流程如下: avformat_open_input 精简后的代码如下: int avformat_open_input(AVFormatContext **ps, const char *filename,ff_const59 AVInputFormat *fmt, AVDictionary **options) {AVFormatContext *s *ps;int i, ret 0;AVDictio…...

QT开发技术【ffmpeg + QAudioOutput】音乐播放器
一、 介绍 使用ffmpeg 4.2.2 在数字化浪潮席卷全球的当下,音视频内容犹如璀璨繁星,点亮了人们的生活与工作。从短视频平台上令人捧腹的搞笑视频,到在线课堂中知识渊博的专家授课,再到影视平台上扣人心弦的高清大片,音…...

C# winform教程(二)----checkbox
一、作用 提供一个用户选择或者不选的状态,这是一个可以多选的控件。 二、属性 其实功能大差不差,除了特殊的几个外,与button基本相同,所有说几个独有的 checkbox属性 名称内容含义appearance控件外观可以变成按钮形状checkali…...

边缘计算网关提升水产养殖尾水处理的远程运维效率
一、项目背景 随着水产养殖行业的快速发展,养殖尾水的处理成为了一个亟待解决的环保问题。传统的尾水处理方式不仅效率低下,而且难以实现精准监控和管理。为了提升尾水处理的效果和效率,同时降低人力成本,某大型水产养殖企业决定…...