【书生·浦语大模型实战营】第6节：OpenCompass 大模型评测（笔记版）
OpenCompass 大模型评测
1.关于评测的三个问题
- 为什么需要评测：模型选型、能力提升、应用场景效果测评。
- 测什么：知识、推理、语言；长文本、智能体、多轮对话、情感、认知、价值观。
- 怎样测：自动化客观测评、人机交互测评、基于大模型的大模型测评。
大模型评测分为主观评测和客观评测
客观评测评测不了时使用主观评测
模型是否对提示词敏感
OpenCompass测评平台
平台架构
评测流水线设计
前沿探索（多模态）
前沿探索（法律领域）
前沿探索（医疗领域）
大模型测评领域的挑战
相关文章：
【书生·浦语大模型实战营】第6节：OpenCompass 大模型评测（笔记版）
OpenCompass 大模型评测 1.关于评测的三个问题 为什么需要评测：模型选型、能力提升、应用场景效果测评。测什么：知识、推理、语言；长文本、智能体、多轮对话、情感、认知、价值观。怎样测：自动化客观测评、人机交互测评、基于大…...
为什么需要写Java单元测试总结
目录 前言 一、为什么写单元测试 写单测好处 1、提升效率 2、场景覆盖全 单测怎么写 1、集成测试 2、单元测试 Mock框架 1、Mockito单元测试 2、Mockito 中文文档地址 二、强制要求 1.好的单元测试必须遵守AIR原则。 2.单元测试应该是全自动执行的，并…...
Gin框架: 控制器, 中间件的分层设计案例
对控制器的分组与继承 1 ）设计项目目录结构 yourGinProject/ 根目录├── go.mod go mod 文件├── go.sum go sum 文件├── main.go main 文件└── tpls html模板目录│ └── web│ │ └── index.html├── routers 路由目录│ …...
日常遇到Maven出现依赖版本/缓存问题通用思路。
Maven依赖错误联想 明明自己的工程是直接从大佬哪里拉下来的，并且自己的setting文件也是没有问题，可是自己偏偏编译有问题。这里介绍一种通用解决方案，仅供参考。 前置排查确认 我遇到原因是在JDK升级过程中遇到的： java.lang.…...
安卓11-HDMI插拔检测流程
hdmi从插入到拔出经过底层一系列检测到应用层，应用层获取hdmi插入状态后又会做出一系列相应的动作，下面梳理了从应用层到底层一步步追踪到芯片的hpd-pin的检测过程。 frameworks/base/services/core/java/com/android/server/policy/PhoneWindowManager.…...
OkHttp Retrofit HttpClient之间的区别
OkHttp、Retrofit 和 HttpClient 是三个不同的 HTTP 客户端库，它们各自有不同的特点和用途。下面是它们之间的主要区别： 1. **OkHttp**： - OkHttp 是一个高性能的 HTTP 和 HTTP/2 客户端，由 Square 公司开发。 - 它…...
Paddlepaddle使用自己的VOC数据集训练目标检测（0废话简易教程）
一 安装paddlepaddle和paddledection（略） 笔者使用的是自己的数据集 二 在dataset目录下新建自己的数据集文件，如下： 其中 xml文件内容如下： 另外新建一个createList.py文件： # -- coding: UTF-8 -- imp…...
【解析】C语言两个实例
例一： 下面程序输出什么？ int main() { int i 43; int n printf("%d\n",i); printf("%d\n",n); return 0; } 大家深入考虑一下为什么返回是3这背后有什么鲜为人知的秘密到底是C语言离奇的规定还是深思熟…...
阅读笔记（Multimedia Systems2020）Review on image-stitching techniques
Wang Z, Yang Z. Review on image-stitching techniques[J]. Multimedia Systems, 2020, 26: 413-430. DOI https://doi.org/10.1007/s00530-020-00651-y...
【Java程序员面试专栏 数据结构】三 高频面试算法题：栈和队列
一轮的算法训练完成后，对相关的题目有了一个初步理解了，接下来进行专题训练，以下这些题目就是汇总的高频题目，因为栈和队列这两哥们结构特性比较向对应，所以放到一篇Blog中集中练习 题目题干直接给出对应博客链接，这里只给出简单思路、代码实现、复杂度分析 题目关键字…...
Python | Conda常用命令
一、介绍 1、Anaconda工具 Anaconda是一个用于数据科学和机器学习的开源软件包管理器和环境管理器。它包含了许多流行的数据科学工具和库，如Python、Jupyter Notebook、numpy、pandas、scikit-learn等，可以帮助用户轻松地管理和安装这些工具和库。Anaco…...
Linux 驱动开发基础知识——APP 怎么读取按键值（十二）
个人名片： 🦁作者简介：学生 🐯个人主页：妄北y 🐧个人QQ：2061314755 🐻个人邮箱：2061314755qq.com 🦉个人WeChat：Vir2021GKBS 🐼本文由…...
【FastAPI】P3 请求与响应
目录 请求路径参数查询参数 响应JSON 响应文本响应返回 Pydantic 模型 在网络通讯中，请求（Request） 与 响应（Response） 扮演着至关重要的角色，它们构成了客户端与服务器间互动的根本理念。 请求࿰…...
Python学习-流程图、分支与循环（branch and loop）
十、流程图 1、流程图（Flowchart） 流程图是一种用于表示算法或代码流程的框图组合，它以不同类型的框框代表不同种类的程序步骤，每两个步骤之间以箭头连接起来。 好处： 1）代码的指导文档 2）有助…...
Python Flask Web 框架学习笔记+完整项目
Flask是一个轻量级的基于Python的web框架。 我们建议使用最新版本的 Python。Flask 支持 Python 3.8 及更高版本。 官网：欢迎使用 Flask — Flask 文档 （3.0.x） (palletsprojects.com) RESTFul API：Python Flask高级编程之REST…...
XML Map 端口进阶篇——常用关键字和格式化器详解
XML Map 端口是用于在不同XML之间建立关系映射的工具，允许通过拖拽操作实现源XML和目标 XML之间的数据字段映射，除此之外，XML Map 端口还提供了其它丰富多彩的功能，使用户能够更加灵活和高效的处理XML 数据映射任务，让…...
排序算法之——直接插入排序
直接插入排序——以升序排列为例 1.1基本思想1.2动态图示感知1.3静态图示详解1.4代码实现1.5时间复杂度1.5.1最好情况1.5.2最差情况 1.6空间复杂度1.7稳定性1.7.1一个小问题 1.1基本思想 把待排序的记录按其关键码值的大小逐个插入到一个已经排好序的有序序列中，直…...
突出最强算法模型——回归算法 ！！
文章目录 1、特征工程的重要性 2、缺失值和异常值的处理 （1）处理缺失值 （2）处理异常值 3、回归模型的诊断 （1）残差分析 （2）检查回归假设 （3）Cooks 距离 4、学…...
云数据库 Redis 性能深度评测（阿里云、华为云、腾讯云、百度智能云）
在当今的云服务市场中，阿里云、腾讯云、华为云和百度智能云都是领先的云服务提供商，他们都提供了全套的云数据库服务，其中 Redis属于RDS 之后第二被广泛应用的服务，本次测试旨在深入比较这四家云服务巨头在Redis云数据库性能方面的…...
Android---Retrofit实现网络请求：Java 版
简介 在 Android 开发中，网络请求是一个极为关键的部分。Retrofit 作为一个强大的网络请求库，能够简化开发流程，提供高效的网络请求能力。 Retrofit 是一个建立在 OkHttp 基础之上的网络请求库，能够将我们定义的 Java 接口转化为…...
DietPi开发者工具链终极指南：Git、VSCodium、PHP Composer一站式配置
DietPi开发者工具链终极指南：Git、VSCodium、PHP Composer一站式配置 【免费下载链接】DietPi Lightweight justice for your single-board computer! 项目地址: https://gitcode.com/gh_mirrors/di/DietPi DietPi作为轻量级的单板计算机系统，为开…...
Cogito-v1-preview-llama-3B高性能：vLLM Serving + OpenAI兼容API部署教程
Cogito-v1-preview-llama-3B高性能：vLLM Serving OpenAI兼容API部署教程 1. 引言：为什么选择Cogito模型？ 如果你正在寻找一个既强大又实用的语言模型，Cogito-v1-preview-llama-3B绝对值得关注。这个模型在同等规模的开源模型中…...
Phi-3-mini-4k-instruct-gguf入门指南：轻量模型为何更适合中小团队AI能力快速验证
Phi-3-mini-4k-instruct-gguf入门指南：轻量模型为何更适合中小团队AI能力快速验证 1. 为什么选择轻量模型 在AI技术快速发展的今天，中小团队常常面临一个困境：既想快速验证AI能力，又受限于计算资源和时间成本。这正是Phi-3-mini…...
AI大模型大师：2026年AI技术全景，从入门到精通的完整学习指南！人工智能领域大模型学习路径
人工智能领域大模型学习路径 一、基础阶段：构建核心知识框架（1-2个月） 数学与编程基础 数学：掌握线性代数（矩阵运算、特征值分解）、概率论（贝叶斯定理、分布函数）、微积分&#x…...
基于粒子群算法（PSO）的宽带消色差超透镜Matlab核心程序探秘
基于粒子群算法PSO宽带消色差超透镜matlab核心程序有注释便于理解代码的含义，包含FDTD仿真，文章复现案例讲解，适合学习几何相位和传输相位，消色差效果很好可以对代码进行优化在光学领域，宽带消色差超透镜是一个热门的研…...
黑客技术？没你想象的那么难！—— DNS 劫持篇
黑客技术？没你想象的那么难！——dns劫持篇 什么是DNS劫持？ DNS劫持就是通过劫持了DNS服务器，通过某些手段取得某域名的解析记录控制权，进而修改此域名的解析结果，导致对该域名的访问由原IP地址转入到修改后…...
百考通：AI精准赋能开题报告，让学术研究全流程智能化
对于每一位学子与科研人而言，开题报告是学术研究的“第一粒扣子”，它不仅是研究方向的蓝图，更是顺利推进论文写作、获得导师认可的关键。然而，选题迷茫、文献梳理繁琐、逻辑框架搭建困难等问题，常常让开题之路步履维艰…...
基于STM32LXXX的无线收发芯片（CMT2300A-EQR）应用程序设计
一、简介： CMT2300A是一款超低功耗，高性能，适用于各种127至 1020 MHz无线应用的OOK，(G)FSK射频收发器。它是 CMOSTEK NextGenRFTM射频产品线的一部分，这条产品线 包含完整的发射器，接收器和收发器。CMT2300A的高集成 度，简化了系统设计中所需的外围物料。高达+20 dBm及-…...
效率提升300%！一款简单实用Photoshop智能切图脚本
# 免费！一款类似CutMan的PS切图脚本，操作简单，效率提升300% 作为一名UI设计师或前端开发者，日常工作中最让人头疼的环节之一就是**切图**。图层一多，手动导出不仅浪费时间，还容易出错。市面上虽然有一些优…...
公共部门人力资源管理、公共行政学、公共经济学（自考速记核心概念）
公共部门人力资源管理、公共行政学、公共经济学（自考速记核心概念） 第一页（核心基础规划与获取） 一、核心基础概念（必背） 1.公共部门人力资源管理：公共部门（政府、事业单位、非营…...