当前位置： 首页 > article >正文

大数据技术与Scala

article 2026/1/27 15:32:56

集合高级函数

过滤

通过条件筛选集合元素，返回新集合。  

映射 

对每个元素应用函数，生成新集集合

扁平化

将嵌套集合展平为单层集合。

扁平化+映射 

先映射后展平，常用于拆分字符串。  

分组 

 按规则将元素分组为Map结构。  

 归约 

 聚合集合元素

折叠 

带初始值的归约，适合复杂聚合操作

 

WordCount 案例实现

目标: 统计单词频率并取前三名。  

步骤:  

1. 拆分单词

2. 按单词分组

3. 计算频次

4. 排序取前三

   

 

队列（Queue）操作

特点: 先进先出（FIFO）

核心方法：

  enqueue：添加元素到队尾。  

  dequeue：移除并返回队首元素。  

 

相关文章：

大数据技术与Scala

集合高级函数 过滤 通过条件筛选集合元素，返回新集合。 映射 对每个元素应用函数，生成新集集合 扁平化 将嵌套集合展平为单层集合。 扁平化映射 先映射后展平，常用于拆分字符串。 分组 按规则将元素分组为Map结构。 归约 …...

编程日记 2025/11/15 18:24:15

DeepSeek 都开源了哪些技术？

DeepSeek作为中国领先的人工智能企业，通过开源策略推动了全球AI技术的普及与创新。以下是其官方公布的主要开源项目及其技术内容、应用场景和社区反馈的详细分析： 1. FlashMLA 技术描述：专为Hopper架构GPU优化的高效MLA（Multi-Layer Attention）解码内核，针对可变长度序列…...

编程日记 2026/1/26 0:51:17

P8754 [蓝桥杯 2021 省 AB2] 完全平方数

题目描述 思路 一看就知道考数学，直接看题解试图理解(bushi) 完全平方数的质因子的指数一定为偶数。 所以 对 n 进行质因数分解，若质因子指数为偶数，对结果无影响。若质因子指数为奇数，则在 x 中乘以这个质因子，保证指…...

编程日记 2026/1/27 3:06:42

ADGaussian：用于自动驾驶的多模态输入泛化GS方法

25年4月来自香港中文大学和浙大的论文“ADGaussian: Generalizable Gaussian Splatting for Autonomous Driving with Multi-modal Inputs”。 提出 ADGaussian 方法，用于可泛化的街道场景重建。所提出的方法能够从单视图输入实现高质量渲染。与之前主要关注几何细…...

编程日记 2026/1/23 14:15:53

0501路由-react-仿低代码平台项目

文章目录 1 react路由1.1 核心库&#xff1a;React Router安装 1.2 基本路由配置路由入口组件定义路由 1.3 导航方式使用 <Link> 组件编程式导航 1.4 动态路由参数定义参数获取参数 1.5 嵌套路由父路由配置子路由占位符 1.6 重定向与404页面重定向404页面 1.7 路由守卫&a…...

编程日记 2026/1/11 2:12:17

MySQL NULL 值处理

MySQL NULL 值处理 引言 在数据库管理系统中&#xff0c;NULL 值是一个非常重要的概念。在 MySQL 中&#xff0c;NULL 值代表未知、不存在或未定义的值。正确处理 NULL 值对于保证数据的准确性和完整性至关重要。本文将详细介绍 MySQL 中 NULL 值的处理方法&#xff0c;包括 …...

编程日记 2026/1/25 20:51:50

OpenAI即将上线新一代重磅选手——GPT-4.1

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗&#xff1f;订阅我们的简报&#xff0c;深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同&#xff0c;从行业内部的深度分析和实用指南中受益。不要错过这个机会&#xff0c;成为AI领…...

编程日记 2026/1/15 10:51:36

【蓝桥杯】赛前练习

1. 排序 import os import sysn=int(input()) data=list(map(int,input().split(" "))) data.sort() for d in data:print(d,end=" ") print() for d in data[::-1]:print(d,end=" ")2. 走迷宫BFS import os import sys from collections import…...

编程日记 2026/1/23 17:22:09

Windows 系统下用 VMware 安装 CentOS 7 虚拟机超详细教程（包含VMware和镜像安装包）

前言 资源 一、准备工作 &#xff08;一&#xff09;下载 VMware Workstation &#xff08;二&#xff09;下载 CentOS 7 镜像 二、安装 VMware Workstation&#xff08;比较简单&#xff0c;按下面走即可&#xff09; 三、创建 CentOS 7 虚拟机 四、安装 CentOS 7 系统…...

编程日记 2026/1/26 8:33:50

HTTP Content-Type：深入解析与应用

HTTP Content-Type：深入解析与应用 引言 在互联网世界中，数据传输是至关重要的。而HTTP协议作为最常用的网络协议之一，其在数据传输过程中扮演着关键角色。其中，HTTP Content-Type头字段在数据传输中发挥着至关重要的作用。本文将深入解析HTTP Content-Type，并探讨其在实…...

编程日记 2026/1/9 4:33:49

【AI+Java学习】AI时代Spring AI学习路径

在AI时代下&#xff0c;学习Spring AI需要结合其核心功能、生态系统和实际应用场景&#xff0c;以下是系统性学习路径及关键要点&#xff1a; 一、环境搭建与基础入门 开发环境配置 JDK与构建工具&#xff1a;确保安装JDK 17或更高版本&#xff0c;并配置Maven或Gradle作为项目…...

编程日记 2025/11/23 7:33:00

五、用例篇

Bug等级&#xff1a;崩溃、严重、一般、次要 bug的生命周期 面试高频考题&#xff1a;跟开发产生争执怎么办&#xff1f; (1)反思自己&#xff0c;是不是bug描述写的不清楚 (2)站在用户思考问题&#xff0c;反问开发人员&#xff1a;“如果你是用户&#xff0c;你能接受这样…...

编程日记 2026/1/27 2:54:55

【QT】学习笔记1

QT概述 Qt是一个1991年由QtCompany开发的跨平台C图形用户界面应用程序开发框架。它既可以开发GUI程序&#xff0c;也可用于开发非GUI程序&#xff0c;比如控制台工具和服务器。Qt是面向对象的框架&#xff0c;使用特殊的代码生成扩展&#xff08;称为元对象编译器&#xff08;…...

编程日记 2026/1/27 5:26:33

英伟达开源253B语言模型：Llama-3.1-Nemotron-Ultra-253B-v1 模型情况

Llama-3.1-Nemotron-Ultra-253B-v1 模型情况 1. 模型概述 Llama-3.1-Nemotron-Ultra-253B-v1 是一个基于 Meta Llama-3.1-405B-Instruct 的大型语言模型 (LLM)&#xff0c;专为推理、人类对话偏好和任务&#xff08;如 RAG 和工具调用&#xff09;而优化。该模型支持 128K 令…...

编程日记 2026/1/26 10:35:26

质检LIMS系统在半导体制造行业的应用 半导体质量革命的现状

在半导体这个“工业皇冠上的明珠”领域&#xff0c;纳米级的精度要求与质量管控如同硬币的两面。随着芯片制程向3nm、2nm演进&#xff0c;传统质检模式已难以满足海量数据、复杂工艺的质量追溯需求。质检LIMS实验室系统作为质量管理的中枢神经&#xff0c;正在重构半导体制造的…...

编程日记 2026/1/27 9:05:45

面向对象高级(1)

文章目录 final认识final关键字修饰类&#xff1a;修饰方法&#xff1a;修饰变量final修饰变量的注意事项 常量 单例类什么是设计模式&#xff1f;单例怎么写?饿汉式单例的特点是什么&#xff1f;单例有啥应用场景&#xff0c;有啥好处&#xff1f;懒汉式单例类。 枚举类认识枚…...

编程日记 2026/1/23 15:32:46

HTTP 压力测试工具autocannon（AI）

简介 autocannon 是一款基于 Node.js 的高性能 HTTP 压力测试工具&#xff0c;适用于评估 Web 服务的并发处理能力和性能瓶颈。 一、工具特点 高性能‌&#xff1a;利用 Node.js 异步非阻塞机制模拟高并发请求‌。‌实时监控‌&#xff1a;测试过程中动态展示请求统计和性能…...

编程日记 2026/1/27 5:27:13

my2sql工具恢复误删数据

一、下载my2sql my2sql下载地址https://github.com/liuhr/my2sql/blob/master/releases/centOS_release_7.x/my2sql 二、my2sql工具注意事项 1. binlog格式必须为row&#xff0c;且binlog_row_imagefull 原因&#xff1a;binlog_row_image 参数决定了 binlog 中是否记录完整的…...

编程日记 2026/1/27 9:18:52

【AGI-Eval行业动态】OpenAI 语音模型三连发，AI 语音进入“声优”时代

前言&#xff1a;OpenAI又双叒叕搞事情了&#xff01;这次他们带着三款全新语音模型强势来袭&#xff0c;直接让 AI 语音界卷出新高度&#xff01;无论是语音识别的精准度、还是根据文字生成音频的脑洞&#xff0c;这三款模型都堪称“神仙打架”。 如果你还在用老掉牙的语音助手…...

编程日记 2026/1/24 21:18:33

蓝桥杯嵌入式十四届模拟一（eeprom）

一.LED 先配置LED的八个引脚为GPIO_OutPut&#xff0c;锁存器PD2也是&#xff0c;然后都设置为起始高电平&#xff0c;生成代码时还要去解决引脚冲突问题 二.按键 按键配置&#xff0c;由原理图按键所对引脚要GPIO_Input 生成代码&#xff0c;在文件夹中添加code文件夹&#…...

编程日记 2026/1/24 21:01:12

ArcGis Reclassify CDL

1. 下载CDL CropScape - NASS CDL Program 2. 把CDL放入arcgis&#xff0c;导出表格&#xff0c;变成csv 3. 把cvs表格里的内容合并&#xff0c;分类成 agriculture developed open natural other water woods fruits 等 4.变成新的表格&#xff0c;导入gis使用recla…...

编程日记 2026/1/7 23:46:34

DevOps与功能安全：Perforce ALM通过ISO 26262合规认证，简化安全关键系统开发流程

本文来源perforce.com&#xff0c;由Perforce中国授权合作伙伴、DevSecOps解决方案提供商-龙智翻译整理。 近日&#xff0c;Perforce ALM&#xff08;原Helix ALM&#xff09;通过了国际权威认证机构 TV SD的ISO 26262功能安全流程认证&#xff01;该认证涵盖Perforce ALM解决方…...

编程日记 2026/1/27 5:59:00

C++高精度算法（加、减、乘）

首先声明&#xff0c;没有除法是因为我不会&#xff08;手动狗头_doge&#xff09; 简介 顾名思义&#xff0c;高精度算法是用来算一些超级大的数&#xff0c;比如长到 longlong 都存不下的那种&#xff0c;还有就是小数点后好多位&#xff0c;double都存不下的那种&#xff…...

编程日记 2025/11/26 11:48:44

【图片识别改名工具】如何识别图片中文字内容，并根据文字对图片批量重命名批量改名，基于WPF和腾讯OCR的完整实现

​​办公场景​​ ​​批量处理图片文件​​：用户有一批图片文件，图片中包含文字信息（如编号、日期、名称等），需要根据图片中的文字内容对图片进行重命名。​​自动化办公​​：在办公场景中，用户需要将图片文件按内容分类或归档，手动重命名效率低下，自动化工具可以大幅…...

编程日记 2026/1/24 22:16:21

Dify+DeepSeek能做出什么来？快速构建可扩展的 AI 应用

将 Dify&#xff08;开源 LLM 应用开发平台&#xff09;与 DeepSeek&#xff08;深度求索公司的高性能大模型&#xff0c;如 DeepSeek-R1 或 DeepSeek-Lite&#xff09;结合使用&#xff0c;可以充分发挥两者的优势&#xff0c;快速构建高效、灵活且可扩展的 AI 应用。以下是具…...

编程日记 2026/1/26 20:46:53

【深度学习】Ubuntu 服务器配置开源项目FIGRET（PyTorch、torch-scatter、torch-sparse、Gurobi 安装）

开源项目网址&#xff1a;https://github.com/FIGRET/figret 该项目在SIGCOMM2024发表&#xff0c;用深度学习方法处理流量工程中的突发问题 1. 创建新的 Conda 环境 使用国内镜像源创建环境​ conda create -n figret python3.8.0 --override-channels -c https://mirrors.…...

编程日记 2026/1/27 8:44:09

浅析Centos7安装Oracle12数据库

Linux下的Oracle数据库实在是太难安装了&#xff0c;事贼多&#xff0c;我都怀疑能安装成功是不是运气的成分更高一些。这里虚拟机是VMware Workstation 15.5&#xff0c;操作系统是Centos7&#xff0c;Oracle版本是Oracle Database 12c Enterprise Edition Release 12.1.0.2.0…...

编程日记 2026/1/27 10:09:39

代码随想录算法训练营Day27 | Leetcode 56. 合并区间、738.单调递增的数字、968.监控二叉树

代码随想录算法训练营Day27 | Leetcode 56.合并区间、738.单调递增的数字、968.监控二叉树 一、合并区间 相关题目&#xff1a;Leetcode56 文档讲解&#xff1a;Leetcode56 视频讲解&#xff1a;Leetcode56 1. Leetcode56. 合并区间 以数组 intervals 表示若干个区间的集合&am…...

编程日记 2026/1/24 21:26:35

三大开源大模型应用框架深度对比：AnythingLLM、Dify 与 Open-WebUI

三大开源大模型应用框架深度对比&#xff1a;AnythingLLM、Dify 与 Open-WebUI 本文将全面解析三大主流开源大模型应用框架与Ollama的集成方案&#xff0c;帮助开发者根据实际需求选择最适合的工具。 一、框架概览与定位差异 1. AnythingLLM&#xff1a;企业级知识管理专家 …...

编程日记 2025/9/11 2:27:18

freertos低功耗模式简要概述

简介 FreeRTOS 的 Tickless 模式是一种特殊的运行模式&#xff0c;用于最小化系统的时钟中断频率&#xff0c;以降低功耗。在 Tickless 模式下&#xff0c;系统只在有需要时才会启动时钟中断&#xff0c;而在无任务要运行时则完全进入休眠状态&#xff0c;从而降低功耗。在滴答…...

编程日记 2026/1/19 4:45:25