当前位置： 首页 > news >正文

bboss 流批一体化框架 与 数据采集 ETL

news 2026/3/31 1:18:46

数据采集 ETL 与 流批一体化框架

特性： 高效、稳定、快速、安全

bboss 是一个基于开源协议 Apache License 发布的开源项目，主要由以下三部分构成：

  • Elasticsearch Highlevel Java Restclient ， 一个高性能高兼容性的Elasticsearch/Opensearch java 客户端框架
  • 数据采集同步 ETL ，一个基于 java 语言实现数据采集作业的强大 ETL 工具，提供丰富的输入插件和输出插件，可以基于插件规范轻松扩展新的输入插件和输出插件
  • 流批一体化计算框架，提供灵活的数据指标统计计算流批一体化处理功能的简易框架，可以结合数据采集同步 ETL 工具，实现数据流处理和批处理计算，亦可以独立使用；计算结果可以保存到各种关系数据库、分布式数据仓库 Elasticsearch、Clickhouse 等，特别适用于数据体量和规模不大的企业级数据分析计算场景，具有成本低、见效快、易运维等特点，助力企业降本增效

参考文档

https://esdoc.bbossgroups.com/#/db-es-tool

bboss ETL 插件使用指南

https://esdoc.bbossgroups.com/#/datatran-plugins

bboss 详细介绍文档

https://esdoc.bbossgroups.com/#/README

bboss 实战视频

Elasticsearch Bboss Stream ETL 介绍视频

实时采集 Mysql binlog 增删改数据视频教程

bboss 流批一体化计算入门教程

Elasticsearch 导出 Excel 文件，按记录数切割 Excel 文件，解决单个文件导出数量过大问题

相关文章：

bboss 流批一体化框架 与 数据采集 ETL

数据采集 ETL 与 流批一体化框架 特性： 高效、稳定、快速、安全 bboss 是一个基于开源协议 Apache License 发布的开源项目，主要由以下三部分构成： Elasticsearch Highlevel Java Restclient ， 一个高性能高兼容性的Elasticsea…...

编程日记 2023/9/12 19:58:20

JVM详细教程

JVM 前言 还在完善中先发布 JVM虚拟机厂家多钟多样，具体实现细节可能不一样，这里主要讲的是虚拟机的规范，以下内容融合了各个平台发布的内容和周志明老师的《深入理解java虚拟机》 JVM概述 如何理解jvm跨平台？ 编译成汇编代码…...

编程日记 2023/9/12 19:57:19

Smartbi吴华夫：后疫情时代，BI发展趋势的观察与应对

沿着旧地图找不到新大陆，“基于指标体系的可视化分析和增强分析”成为BI发展新阶段。Smartbi V11系列新品与时俱进，以指标为核心，同时融合BI应用，赋能管理者和业务，成为引领数字化运营的新航标！ ——思迈特…...

编程日记 2023/9/12 19:52:14

软件设计模式系列之三———工厂方法模式

1 模式的定义 工厂方法模式是一种常见的设计模式，属于创建型设计模式之一，它在软件工程中用于对象的创建。该模式的主要思想是将对象的创建过程抽象化，将具体对象的实例化延迟到子类中完成，以便在不同情况下可以创建不同类型的对…...

编程日记 2023/9/12 19:49:11

pytorch 多卡分布式训练 调用all_gather_object 出现阻塞等待死锁的问题

pytorch 多卡分布式训练 torch._C._distributed_c10d中的函数all_gather_object 出现阻塞等待死锁的问题 解决办法就是 在进程通信之前调用torch.cuda.set_device(local_rank) For NCCL-based processed groups, internal tensor representations of objects must be moved …...

编程日记 2023/9/12 19:48:10

SpringMvc增删改查

SpringMvc增删改查 一、前期准备二、逆向生成增删改查2.2.aspect切面层2.3.Mybatis generator逆向生成2.4.根据生成代码编写Biz层与实现类 三、controller层代码编写四、前台代码与分页代码五、案例测试 一、前期准备 1.2.导入pom.xml依赖 <?xml version"1.0" …...

编程日记 2023/9/12 19:46:08

【计算机网络】网络编程接口 Socket API 解读（5）

Socket 是网络协议栈暴露给编程人员的 API&#xff0c;相比复杂的计算机网络协议&#xff0c;API 对关键操作和配置数据进行了抽象&#xff0c;简化了程序编程。 本文讲述的 socket 内容源自 Linux man。本文主要对各 API 进行详细介绍&#xff0c;从而更好的理解 socket 编程。…...

编程日记 2023/9/12 19:44:06

手动实现一个bind函数！

原文地址&#xff1a;手动实现一个bind函数&#xff01; - 知乎 1.bind函数用法 bind()方法用于创建一个新的函数&#xff0c;这个新函数接收的第一个参数代表的就是this&#xff0c;利用bind()函数我就就可以任意改变函数内部的this指向了。 官网的解释&#xff1a; bind()…...

编程日记 2023/9/12 19:43:05

数据结构-时间复杂度/空间复杂度

Hello&#xff0c;好久没有更新了哦&#xff0c;已经开始学习数据结构了&#xff0c;这篇文章呢就是对刚学数据结构所接触到的时间复杂度进行一个分享哦&#xff0c;如果有错误之处&#xff0c;大家记得拍拍我哦~ 既然要讨论时间/空间复杂度&#xff0c;那我们就得知道时间/空…...

编程日记 2023/9/12 19:42:03

英语写作中“展示”、“表明”demonstrate、show、indicate、illustrate的用法

一、demonstrate、show、indicate在论文写作中主要用法是&#xff1a;demonstrate/show/indicate 从句&#xff1a; Sb./Sth. demonstrates/shows/indicates that ……从句中一般表达事实、观点和结论等。 例句&#xff1a; The authors demonstrated/showed/indicated that…...

编程日记 2023/9/12 19:41:02

Redis的java客户端

在Redis官网中提供了各种语言的客户端&#xff0c;地址&#xff1a;https://redis.io/resources/clients/ redis的java客户端 https://redis.io/resources/clients/#java 1.jedis使用 引入依赖 <dependency><groupId>redis.clients</groupId><artifac…...

编程日记 2023/9/12 19:37:58

Android环境配置笔记

文章目录 一、各环境文档二、参考 一、各环境文档 Gradle官方的兼容性文档&#xff1a;Java Compatibility 更新日期&#xff1a;2023.9.12 Android Gradle插件版本&#xff1a;Android Gradle Plugin 二、参考 参考文章&#xff1a;Android问题记录...

编程日记 2023/9/12 19:36:57

element-table 行的拖拽更改顺序(无需下载sortableJs

样例展示&#xff1a;vueelement 通过阅读element文档我们发现element并不提供拖拽相关的api 本博客通过element提供的行类名 注册函数 实现行与行的拖拽 1.设置el-table 的行样式类名 这里是用的是 function <el-table:data"outputData":row-class-name&qu…...

编程日记 2023/9/12 19:35:56

Docker部署jenkins

目录 一、jenkins原理二、Docker部署jenkins1.下载jenkins镜像文件2.查看下载的jenkins镜像3.创建Jenkins挂载目录并授权权限4.创建并启动Jenkins容器5.查看jenkins是否启动成功6.查看docker容器日志7.配置镜像加速8.访问Jenkins页面&#xff0c;输入ip地址加上9000端口9.获取管…...

编程日记 2023/9/12 19:34:55

从0到1学会Git(第三部分):Git的远程仓库链接与操作

写在前面:前面两篇文章我们已经学会了git如何在本地进行使用&#xff0c;这篇文章将讲解如何将本地的git仓库和云端的远程仓库链接起来并使用 为什么要使用远程仓库:因为我们需要拷贝我们的代码给别人以及进行协同开发&#xff0c;就需要有一个云端仓库进行代码的存储和同步&a…...

编程日记 2023/9/12 19:32:52

虚拟机Ubuntu操作系统常用终端命令（1）（详细解释+详细演示）

虚拟机Ubuntu操作系统常用终端命令 本篇讲述了Ubuntu操作系统常用的三个功能&#xff0c;即归档&#xff0c;软链接和用户管理方面的相关知识。希望能够得到大家的支持。 文章目录 虚拟机Ubuntu操作系统常用终端命令二、使用步骤1.归档1.1创建档案包1.2还原档案包1.3归档并压缩…...

编程日记 2023/9/12 19:31:51

redis实战-redis实现异步秒杀优化

秒杀优化-异步秒杀思路 未优化的思路 当用户发起请求&#xff0c;此时会请求nginx&#xff0c;nginx会访问到tomcat&#xff0c;而tomcat中的程序&#xff0c;会进行串行操作&#xff0c;分成如下几个步骤 1、查询优惠卷 2、判断秒杀库存是否足够 3、查询订单 4、校验是否是一…...

编程日记 2023/9/12 19:29:49

Python爬虫-IP隐藏技术与代理爬取

前言 在进行爬虫程序开发和运行时&#xff0c;常常会遇到目标网站的反爬虫机制&#xff0c;最常见的就是IP封禁&#xff0c;这时需要使用IP隐藏技术和代理爬取。 一、IP隐藏技术 IP隐藏技术&#xff0c;即伪装IP地址&#xff0c;使得爬虫请求的IP地址不被目标网站识别为爬虫。…...

编程日记 2023/9/12 19:28:47

二刷力扣--链表

链表 链表类型&#xff1a; 单链表&#xff08;可以访问后面的一个节点&#xff09; 双链表&#xff08;可以访问前后节点&#xff09; 循环链表&#xff08;最后一个节点指向首节点&#xff09; 在Python中定义单链表节点&#xff1a; class ListNode:def __init__(self, v…...

编程日记 2023/9/12 19:24:43

返回值加const ，为了不拷贝得到成员的值,但被赋值的左值也要const

1. getA 函数返回值 什么都不加&#xff0c;也改不了c里面a的指针指向 why&#xff1f;返回成员变量时&#xff0c;会复制一下。 返回成员变量时&#xff0c;一般会赋值一下没有RVO_地摊书贩的博客-CSDN博客 2. getA 函数返回值 加了引用&#xff0c; 就没有复制 3. getA 函数…...

编程日记 2023/9/12 19:22:40

一天一个开源项目（第59篇）：Dream Recorder - 用 AI 把梦境变成视频的物理设备

引言 “Record your dreams. Wake up. Speak. Watch them come to life.” 这是「一天一个开源项目」系列的第 59 篇文章。今天介绍的项目是 Dream Recorder&#xff08;GitHub&#xff09;。 想把梦境变成可回放的视频&#xff1f;Dream Recorder 是 Modem 开源的物理梦境记录…...

编程新知 2026/3/31 1:17:06

常见电机分类

文章目录电机分类电机分类 序号分类优点缺点驱动方式举例1直流电机结构简单、成本低、启动扭矩大、控制方便有电刷磨损&#xff0c;产生火花和噪音&#xff0c;寿命较短&#xff0c;高速下维护成本高PWM调速、H桥驱动(正/反转)玩具车、电动工具、风扇2步进精确的位置控制能力&…...

编程新知 2026/3/30 23:12:28

51单片机项目避坑实录：我的声光控灯为什么白天也亮？从硬件到代码的故障排查指南

51单片机声光控灯项目实战&#xff1a;从硬件选型到代码调试的深度避坑指南 深夜的实验室里&#xff0c;我盯着眼前这个不听话的声光控灯——明明窗外阳光明媚&#xff0c;它却固执地亮着。作为一名嵌入式开发新手&#xff0c;这个看似简单的51单片机项目让我踩遍了所有可能的坑…...

编程新知 2026/3/30 22:58:10

百考通：AI全流程智能化赋能答辩PPT，让学术展示更高效从容

毕业季、开题季&#xff0c;一份专业出彩的PPT是顺利通过答辩的关键。但从论文中提炼核心观点、规划答辩逻辑、设计美观版式&#xff0c;往往让学生们焦头烂额。百考通&#xff08;https://www.baikaotongai.com&#xff09; 凭借AI技术深度赋能&#xff0c;打造出一站式答辩PP…...

编程新知 2026/3/30 22:46:02

零门槛视频创作：OpenCut高效替代方案全解析

零门槛视频创作&#xff1a;OpenCut高效替代方案全解析 【免费下载链接】OpenCut The open-source CapCut alternative 项目地址: https://gitcode.com/gh_mirrors/ap/OpenCut 在数字内容创作爆炸的时代&#xff0c;视频编辑工具的选择直接影响创作效率与作品质量。Open…...

编程新知 2026/3/30 22:13:43

DAMOYOLO-S实战教程：对接企业OA系统实现图片自动审核与标注

DAMOYOLO-S实战教程&#xff1a;对接企业OA系统实现图片自动审核与标注 1. 引言&#xff1a;从手动审核到智能自动化的跨越 想象一下这个场景&#xff1a;你是一家电商公司的运营&#xff0c;每天有上千张商品图片需要上传到后台。按照公司规定&#xff0c;每张图片都需要人工…...

编程新知 2026/3/30 22:05:34

利用AI写教材，掌握低查重方法，让你的教材脱颖而出！

许多教材编写者常常会有一种失落感&#xff1a;在花费大量心血完成了主体内容后&#xff0c;配套资源的不足却影响了整体的教学效果。针对课后练习的题型设计&#xff0c;常常缺乏创新的思路&#xff1b;想要制作直观的教学课件&#xff0c;却没有相应的技术能力&#xff1b;对…...

编程新知 2026/3/30 21:53:08

CasaOS应用商店太单调？试试这几个社区维护的源，青龙面板、迅雷都能一键装

CasaOS社区应用源全攻略&#xff1a;解锁青龙面板、迅雷等本土化神器 如果你已经厌倦了CasaOS官方应用商店里那些千篇一律的容器镜像&#xff0c;正为找不到迅雷下载、青龙面板这类中国特色应用而发愁&#xff0c;那么这篇文章就是为你准备的。作为一个长期折腾家庭服务器的玩家…...

编程新知 2026/3/30 21:20:59

COMSOL声子晶体复能带模型与PDE模块：声学黑洞复能带模型及实虚能带绘制与二维结构分析

comsol声子晶体复能带模型 PDE模块 声学黑洞 复能带模型 实能带与虚能带的绘制 参考论文 前两个是论文图&#xff0c;后四个是模型及结果图。 可根据模型设置&#xff0c;进行其他二维结构的分析复能带这玩意儿搞声子晶体的肯定不陌生&#xff0c;但用COMSOL PDE模块手搓模型…...

编程新知 2026/3/30 19:50:14

零宽度字符隐写术全解析：从Unicode原理到实战检测工具推荐

零宽度字符隐写术全解析&#xff1a;从Unicode原理到实战检测工具推荐 在数字信息安全的隐秘角落&#xff0c;有一种几乎不可见的通信方式正在被安全研究人员和渗透测试工程师频繁使用——零宽度字符隐写术。这种技术允许我们将秘密信息嵌入普通文本中&#xff0c;肉眼无法察觉…...

编程新知 2026/3/30 19:37:47