当前位置： 首页 > news >正文

Apache Beam 2.50.0发布,该版本包括改进功能和新功能

news 2026/5/31 17:04:54
导读我们很高兴向您介绍 Beam 的新版本 2.50.0。该版本包括改进功能和新功能。请查看此版本的下载页面。

Apache Beam 2.50.0发布,该版本包括改进功能和新功能Apache Beam 2.50.0发布,该版本包括改进功能和新功能

亮点

  1. Spark 3.2.2 被用作 Spark 运行程序的默认版本（#23804）。
  2. Go SDK 新增默认本地运行程序，名为 Prism（#24789）。
  3. 所有 Beam 发布的容器镜像现在都是多架构镜像，同时支持 x86 和 ARM CPU 架构。

输入/输出

  1. Java KafkaIO 现在支持通过 topicPattern 提取主题（#26948）
  2. 支持从 Cosmos DB Core SQL API 读取数据（#23604）
  3. HBaseIO 升级至 HBase 2.5.5。(Java）（#27711）
  4. 增加了对 GoogleAdsIO 源的支持（Java）(#27681)。

新功能/改进

  1. Go SDK 现在需要 Go 1.20 才能构建。(#27558)
  2. Go SDK 新增默认本地运行程序 Prism。(#24789).
  3. Prism 是一种可移植的运行程序，能独立执行每个转换，确保编码人员的安全。
  4. 目前，它在功能上取代了 Go 直接运行程序。Go 直接运行程序现已弃用。
  5. 有关 Prism 的目标和功能，请参见 https://github.com/apache/beam/blob/master/sdks/go/pkg/beam/runners/prism/README.md。
  6. 在 Python SDK 中添加了用于 RunInference 的抱脸模型处理程序。(#26632)
  7. 在 Python SDK 中添加了 RunInference 的 Hugging Face Pipelines 支持。(#27399)
  8. RunInference 的顶点 AI 模型处理程序现在支持私有端点 (#27696)
  9. 添加了 MLTransform 变换，支持常见的 ML 预/后处理操作 (#26795)
  10. 将 Java SDK 的 Kryo 扩展升级至 Kryo 5.5.0。这带来了错误修复、性能改进以及 Java 14 记录的序列化。(#27635)
  11. 所有 Beam 发布的容器镜像现在都是支持 x86 和 ARM CPU 架构的多架构镜像。(#27674).多架构容器镜像包括:所有版本的 Go、Python、Java 和 Typescript SDK 容器;所有版本的 Flink 作业服务器容器;Java 和 Python 扩展服务容器;Transform 服务控制器容器;Spark3 作业服务器容器.
  12. 添加了对 AWS SQS 批量写入的支持，以提高吞吐量（Java、AWS 2）。

破坏性变更

  1. Python SDK：从 Dataflow 中移除传统运行程序支持，所有管道都必须使用运行程序 v2。
  2. Python SDK：在管道提交时，Dataflow Runner 不会再将来自 PyPI 的 Beam SDK 放在 –staging_location 中。非基于 Beam 默认镜像的自定义容器镜像必须包含 Apache Beam 安装。

相关文章：

Apache Beam 2.50.0发布,该版本包括改进功能和新功能

导读我们很高兴向您介绍 Beam 的新版本 2.50.0。该版本包括改进功能和新功能。请查看此版本的下载页面。 亮点 Spark 3.2.2 被用作 Spark 运行程序的默认版本（#23804）。Go SDK 新增默认本地运行程序，名为 Prism（#24789&#xff0…...

编程日记 2023/9/23 15:11:24

华为云云耀云服务器 L 实例评测｜配置教程 + 用 Python 简单绘图

文章目录 Part.I IntroductionChap.I 云耀云服务器 L 实例简介Chap.II 参与活动步骤 Part.II 配置Chap.I 初步配置Chap.II 配置安全组 Part.III 简单使用Chap.I VScode 远程连接华为云Chap.II 简单绘图 Reference Part.I Introduction 本篇博文是为了参与华为“【有奖征文】华…...

编程日记 2023/9/23 15:08:21

栈的简单应用（利用Stack进行四则混合运算）（JAVA）

目录 中缀表达式转后缀表达式 图解 代码实现过程： 完整代码： 利用后缀表达式求值： 完整代码： 首先我们得先了解逆波兰表达式。 中缀表达式转后缀表达式 所谓的中缀表达式其实就是我们平时写的例如：&#xff1…...

编程日记 2023/9/23 15:06:19

Python---异常

捕获全部异常 语法： try: 可能发生的错误代码 except: 如果出现异常执行的代码 例子： try:open("test2.txt", "r", encoding"UTF-8") except:print("出现异常，文件不存在，换个模式打…...

编程日记 2023/9/23 15:04:16

视频编解码器H.264和H265有什么区别？

对于大型视频文件来说，视频编解码器至关重要，它可以将文件压缩为较小的尺寸，从而可以更轻松地存储和加快传输速度。而两种最常用的编解码器是H.264和H.265，那么它们两者之间有什么区别，哪一个更好呢？ 1. 什…...

编程日记 2023/9/23 15:03:15

网络安全进阶学习第十六课——业务逻辑漏洞介绍

文章目录 一、什么是业务逻辑二、业务逻辑漏洞的成因三、逻辑漏洞的重要性四、业务逻辑漏洞分类五、业务逻辑漏洞——业务授权安全1、未授权访问2、越权访问1) 平行越权（水平越权是指相同权限的不同用户可以互相访问）2) 垂直越权（垂直越权是指…...

编程日记 2023/9/23 15:02:15

华为OD：跳房子I

题目描述 跳房子，也叫跳飞机，是一种世界性的儿童游戏。 游戏参与者需要分多个回合按顺序跳到第1格直到房子的最后一格 跳房子的过程中，可以向前跳，也可以向后跳。 假设房子的总格数是count，小红每回合可能连续跳的…...

编程日记 2023/9/23 15:01:14

C语言自定义类型详解（1）结构体知识汇总

本篇概要 本篇主要讲述C语言结构体的相关知识，包括结构体的基本声明，结构体的匿名结构，结构体的自引用，结构体变量的定义和初始化以及结构体的内存对齐等相关知识。 文章目录 本篇概要1.结构体1.1结构体的基本声明1.2结构体的特殊…...

编程日记 2023/9/23 14:58:11

小程序中如何查看会员的访问记录

​在小程序中，我们可以通过如下方式来查看会员的访问记录。下面是具体的操作流程： 1. 找到指定的会员卡。在管理员后台->会员管理处，找到需要查看访客记录的会员卡。也支持对会员卡按卡号、手机号和等级进行搜索。 2. 查看会员卡详情。点…...

编程日记 2023/9/23 14:57:10

SpringCloud Alibaba - Sentinel

接上文SpringCloud Alibaba - Nacos 1.Sentinel 流量防卫兵 1.1 安装与部署 和Nacos一样，它是独立安装和部署的，下载地址https://github.com/alibaba/Sentinel/releases 下载后的jar放到目录 然后配置 启动并访问,用户名密码都是 sentinel 此时就…...

编程日记 2023/9/23 14:55:07

内存泄漏，内存溢出，抽象类和接口，netstat、ping、ifconfig的区别

持续学习是我们必备的技能之一，保持与时俱进，保持行业的敏感度，关注行业发展趋势，了解新技术，加强自己的认知，积极的应对变化 内存泄漏 memory leak 是指程序在申请内存后，无法释放已申请的内…...

编程日记 2023/9/23 14:54:04

TensorFlow安装 ，在原本的虚拟环境下配置Tensorflow.

1.TensorFlow安装 ，在原本的虚拟环境下配置Tensorflowh和pytorch 2.我首先在anaconda的环境下创建了一个tensorflow文件夹 如何先进入D盘，再进入tensorflow文件夹的目录D:cd D:\Anaconda\TensorFlowSoftWarepip install tensorflow如图所示报错解决方法 …...

编程日记 2023/9/23 14:52:02

如何使用HTML, CSS和JavaScript开发一个浏览器打字游戏：从零到一的详细步骤与完整代码教程

第一部分：游戏概述与HTML结构 1. 游戏概述 打字游戏是一个训练用户打字速度和准确性的游戏。用户将会看到一个随机的单词或句子，并在限定时间内尽快准确地键入该单词或句子。每次正确输入，玩家得分，每次输入错误，扣分。这个游戏不仅能够增加用户的打字速度，还可以为学习…...

编程日记 2023/9/23 14:50:00

安卓玩机搞机----不用刷第三方官改固件即可享受“高级设置”的操作 ChiMi安装使用步骤

很多玩友特别喜欢第三方作者修改的带有高级设置的官改包。因为他可以随意修改系统里面的有关设置选项。包括但不限于修改状态栏 显示日期 秒等等的操作。 第三方带高级设置的官改 一般官改带高级设置的类似与 今天给大家分享下不用刷这些官改包即可享受高级设置的操作。 红米…...

编程日记 2023/9/23 14:48:59

代码随想录|392.判断子序列，115.不同的子序列（需要二刷）

392.判断子序列 先用双指针做 class Solution {public boolean isSubsequence(String s, String t) {//双指针int ms.length();int nt.length();int slow0;int i0;int j0;while(i<m&&j<n){if(s.charAt(i)t.charAt(j)){i;System.out.println(i);}j;}return im?…...

编程日记 2023/9/23 14:42:53

Linux——文件系统

✅<1>主页&#xff1a;&#xff1a;我的代码爱吃辣 &#x1f4c3;<2>知识讲解&#xff1a;Linux——文件系统 ☂️<3>开发环境&#xff1a;Centos7 &#x1f4ac;<4>前言&#xff1a;上期我们了解了文件在内存中得组织方式&#xff0c;那么文件在磁盘中…...

编程日记 2023/9/23 14:41:51

《动手学深度学习 Pytorch版》 7.3 网络中的网络(NiN)

LeNet、AlexNet和VGG的设计模式都是先用卷积层与汇聚层提取特征&#xff0c;然后用全连接层对特征进行处理。 AlexNet和VGG对LeNet的改进主要在于扩大和加深这两个模块。网络中的网络&#xff08;NiN&#xff09;则是在每个像素的通道上分别使用多层感知机。 import torch fr…...

编程日记 2023/9/23 14:40:50

古代有没有电子元器件？

手机&#xff0c;电脑&#xff0c;电视等等电子产品&#xff0c;无时无刻充斥在我们的生活中&#xff0c;如果有一天突然没有了这些功能多样的电子产品&#xff0c;估计大部分人都会一时之间难以适应。 这就好比正在上网&#xff0c;结果突然被人断了网&#xff0c;导致无网络连…...

编程日记 2023/9/23 14:38:46

log4j2或者logback配置模版实现灵活输出服务名

介绍 在我们使用log4j2或者logback打印日志时&#xff0c;输出的内容中通常是一定要加上服务名的。以log4j2为例&#xff1a; <!--输出控制台的配置--> <Console name"Console" target"SYSTEM_OUT"><!-- 输出日志的格式 --><Patter…...

编程日记 2023/9/23 14:36:44

使用HTTP爬虫ip中的常见误区与解决方法

在如今的互联网时代&#xff0c;为了保障个人隐私和实现匿名浏览&#xff0c;许多人选择使用HTTP爬虫ip。然而&#xff0c;由于缺乏了解和使用经验&#xff0c;常常会出现一些误区。本文将为大家介绍使用HTTP爬虫ip过程中常见的误区&#xff0c;并提供相应的解决方法&#xff0…...

编程日记 2023/9/23 14:35:43

Godot PCK解包原理与专业逆向实践指南

1. 这不是“解压软件”&#xff0c;而是Godot游戏逆向工程的第一把手术刀你刚下载了一款用Godot引擎开发的独立游戏&#xff0c;想研究它的UI动效逻辑&#xff0c;或者复刻一段粒子特效&#xff0c;又或者只是单纯好奇——那个让你反复通关三次的像素风过场动画&#xff0c;图层…...

编程新知 2026/5/26 5:04:27

Unity动态自然系统：Forest Environment-Dynamic Nature深度解析

1. 这不是“贴图堆砌”&#xff0c;而是自然系统级建模&#xff1a;Forest Environment-Dynamic Nature 的真实定位你有没有试过在Unity里拖进几棵树、铺点草、加个天空盒&#xff0c;然后发现场景像一张静止的风景明信片——风不动、叶不摇、雨不落、雾不散&#xff1f;我做过…...

编程新知 2026/5/25 22:56:45

WarcraftHelper终极指南：深度解析魔兽争霸III现代化兼容性解决方案

WarcraftHelper终极指南&#xff1a;深度解析魔兽争霸III现代化兼容性解决方案 【免费下载链接】WarcraftHelper Warcraft III Helper , support 1.20e, 1.24e, 1.26a, 1.27a, 1.27b 项目地址: https://gitcode.com/gh_mirrors/wa/WarcraftHelper WarcraftHelper是一款专…...

编程新知 2026/5/25 21:29:49

Ubuntu经常安装软件

1、垃圾清理工具stacer sudo apt updatesudo apt install stacer apt cleanapt autocleanapt autoremove 2、类似与everything的工具Fsearcch 1sudo add-apt-repository ppa:christian-boxdoerfer/fsearch-stable 2sudo apt update 3sudo apt install fsearch (注&#xf…...

编程新知 2026/5/25 21:17:35

LaTeX公式一键转Word：3步告别数学公式编辑烦恼

LaTeX公式一键转Word&#xff1a;3步告别数学公式编辑烦恼 【免费下载链接】LaTeX2Word-Equation Copy LaTeX Equations as Word Equations, a Chrome Extension 项目地址: https://gitcode.com/gh_mirrors/la/LaTeX2Word-Equation 还在为Word文档中的数学公式编辑而抓狂…...

编程新知 2026/5/25 21:17:35

uWSGI目录穿越漏洞CVE-2018-7490深度利用与防御实战

1. 这不是“读文件”那么简单&#xff1a;uWSGI目录穿越在真实攻防链中的定位与误判代价你刚在Vulfocus靶场里跑通了CVE-2018-7490的PoC&#xff0c;用curl "http://target:8080/?p../../../../etc/passwd"成功读出了root:x:0:0:root:/root:/bin/bash&#xff0c;截…...

编程新知 2026/5/25 21:07:32

机器学习的最佳实践：这7个原则让你的模型更稳定

对于软件测试从业者而言&#xff0c;机器学习技术正在快速融入测试流程&#xff1a;从自动化测试用例生成、缺陷预测到测试环境异常检测&#xff0c;机器学习模型的稳定性直接决定了测试结果的可靠性——如果模型在测试环境波动、输入数据变化时性能骤降&#xff0c;不仅无法提…...

编程新知 2026/5/25 17:52:57

昇腾NPU模型服务化——从离线模型到高可用推理服务

模型训练完只是第一步。真正产生业务价值的是把模型部署成724小时在线服务——毫秒级延迟、支持动态Batching、能扛住流量洪峰&#xff0c;且具备高可用性。 这篇将手把手教你基于昇腾NPU构建生产级模型推理服务&#xff0c;涵盖框架选型、服务化架构、动态Batching优化、热加载…...

编程新知 2026/5/25 17:24:01

告别依赖冲突：在Debian12上为特定项目搭建Python2.7.18独立运行环境

告别依赖冲突&#xff1a;在Debian12上为特定项目搭建Python2.7.18独立运行环境 当现代Linux系统已全面拥抱Python3的时代&#xff0c;突然需要维护一个仅支持Python2.7的遗留项目&#xff0c;这种场景对开发者而言无异于一场噩梦。本文将带你用工程化的思维&#xff0c;在Deb…...

编程新知 2026/5/25 17:10:43

tree 命令

tree 命令 tree 命令用于以树状图的形式列出目录下的文件。 1 Linux 安装 tree 命令 # CentOS sudo yum -y install tree # Ubuntu sudo apt -y install tree2 Windows 安装 tree 命令 Windows 10 以上 CMD 和 PowerShell 已经内置了 tree 命令&#xff0c;可以直接使用。 …...

编程新知 2026/5/25 13:21:10