当前位置： 首页 > news >正文

[2023年]-hadoop面试真题(二)

news 2026/2/10 8:41:43

[2023年]-hadoop面试真题(一)

  • （北京） Maptask的个数由什么决定?
  • （北京） 如何判定一个job的map和reduce的数量 ?
  • （北京） MR中Shuffle过程 ?
  • （北京） MR中处理数据流程 ?
  • （北京） 为什么说MR处理数据比较慢? 
  •  （北京） 什么是分区器? 什么是分区?
  • （北京） 在工作过中如何避免shuffle? 
  • （北京） 为什么mapjoin会快?
  • （北京） 什么是数据倾斜 ,MR中如何发现?如何解决数据倾斜?
  • （北京） 在开发时,自定义过分区器吗? 
  • （北京） MR中如何优化JDK自身的序列化?为什么要优化?

相关文章：

[2023年]-hadoop面试真题(二)

[2023年]-hadoop面试真题(一) （北京） Maptask的个数由什么决定?（北京） 如何判定一个job的map和reduce的数量 ?（北京） MR中Shuffle过程 ?（北京） MR中处理数据流程 ?（…...

编程日记 2024/3/11 1:04:14

蓝桥杯备战刷题-滑动窗口

今天给大家带来的是滑动窗口的类型题，都是十分经典的。 1，无重复字符的最长子串 看例三，我们顺便来说一下子串和子序列的含义 子串是从字符串里面抽出来的一部分，不可以有间隔，顺序也不能打乱。 子序列也是从字符串里…...

编程日记 2024/3/11 1:03:13

LLM（十一）| Claude 3：Anthropic发布最新超越GPT-4大模型

2024年3月4日，Anthropic发布最新多模态大模型：Claude 3系列，共有Haiku、Sonnet和Opus三个版本。 Opus在研究生水平专家推理、基础数学、本科水平专家知识、代码等10个维度，超过OpenAI的GPT-4。 Haiku模型更注重效率，能…...

编程日记 2024/3/11 1:02:12

20-Java备忘录模式 ( Memento Pattern )

Java备忘录模式 摘要实现范例 备忘录模式（Memento Pattern）保存一个对象的某个状态，以便在适当的时候恢复对象 备忘录模式属于行为型模式 摘要 1. 意图 在不破坏封装性的前提下，捕获一个对象的内部状态，并在该对…...

编程日记 2024/3/11 0:55:06

整合生成型AI战略：从宏观思维到小步实践

“整合生成型AI战略：从宏观思维到小步实践” 在这篇文章中，我们探讨了将生成型AI和大型语言模型融入企业核心业务的战略开发方法。我们的方法基于敏捷开发原则，技术专家和数据科学家需要采纳商业思维，而执行官则需理解生成型AI和…...

编程日记 2024/3/11 0:52:03

个人博客系列-后端项目-用户验证（5）

介绍 创建系统管理app，用于管理系统的用户，角色，权限，登录等功能，项目中将使用django-rest_framework进行用户认证和权限解析。这里将完成用户认证 用户验证 rest_framework.authentication模块中的认证类&#xff…...

编程日记 2024/3/11 0:51:02

css3中nth-child属性作用及用法剖析

hello宝子们...我们是艾斯视觉擅长ui设计和前端开发10年经验!希望我的分享能帮助到您!如需帮助可以评论关注私信我们一起探讨!致敬感谢感恩! 标题：CSS3中nth-child属性作用及用法剖析 摘要：CSS3中的nth-child选择器允许我们根据元素位置来定位特定的元素…...

编程日记 2024/3/11 0:45:58

okHttp MediaType MIME格式详解

一、介绍 我们在做数据上传时，经常会用到Okhttp的开源库，okhttp开源库也遵循html提交的MIME数据格式。 所以我们经常会看到applicaiton/json这样的格式在传。 但是如果涉及到其他文件等就需要详细的数据格式，否则服务端无法解析 二、okHt…...

编程日记 2024/3/11 0:44:58

跨境电商三大趋势

跨境电商有着不断发展的三大趋势： 个性化定制：随着消费者需求的不断变化和个性化定制的潮流，跨境电商平台开始提供更多的定制化服务。消费者可以根据自己的需求选择产品的款式、材料和设计，从而获得更加个性化的产品体验。 无界销…...

编程日记 2024/3/11 0:42:55

【DevOps基础篇之k8s】如何通过Kubernetes CKA认证考试

【DevOps基础篇之k8s】如何通过Kubernetes CKA认证考试 目录 【DevOps基础篇之k8s】如何通过Kubernetes CKA认证考试核心概念资源监控生命周期管理Cluster维护安全认证问题排查其他推荐超级课程： Docker快速入门到精通Kubernetes入门到大师通关课这些是我在准备CK...

编程日记 2024/3/11 0:40:53

Mysql数据库-基本表操作

1.表操作 创建表：CREATE TABLE table_name ( field1 datatype, field2 datatype, field3 datatype ) character set 字符集 collate 校验规则 engine 存储引擎; field 表示列名 datatype 表示列的类型 character set 字符集，如果没有指定字符集&#xff…...

编程日记 2024/3/11 0:39:53

OceanBase社区版单节点安装搭建（Docker）

OceanBase社区版单节点安装搭建（Docker） 文章目录 OceanBase社区版单节点安装搭建（Docker）一、环境检查及Docker配置1.1 安装docker1.2 配置docker镜像源 二、OB镜像下载三、obd部署单节点数据库四、创建业务租户、数据库、表4.1 …...

编程日记 2024/3/11 0:35:49

Unity 关节：铰链、弹簧、固定、物理材质：摩檫力、 特效：拖尾、

组件-物理-关节：铰链（类似门轴） 自动动作、多少力可以将其断开、 弹簧可以连接另一个刚体（拖动即可） 固定一般是等待一个断裂力，造成四分五裂的效果。 物理材质 设置摩檫力，则可以创造冰面的…...

编程日记 2024/3/11 0:34:48

RIPEMD算法：多功能哈希算法的瑰宝

title: RIPEMD算法：多功能哈希算法的瑰宝 date: 2024/3/10 17:31:17 updated: 2024/3/10 17:31:17 tags: RIPEMD起源算法优势安全风险对比SHA优于MD5应用领域工作原理 一、RIPEMD算法的起源与历程 RIPEMD（RACE Integrity Primitives Evaluation Messag…...

编程日记 2024/3/11 0:29:43

如何学习ChatGPT？从入门到精通（附资料下载）

2023 ChatGPT从入门到精通视频教程（共30课）.zip 学习ChatGPT需要涉及多个层面，包括理解其基本原理、掌握相关技术、以及进行实际的项目应用。以下是一些具体的学习步骤和建议： 理解ChatGPT的基本原理： 深入了解ChatGP…...

编程日记 2024/3/11 0:28:42

Linux安装MeterSphere并结合内网穿透实现公网远程访问本地服务

文章目录 前言1. 安装MeterSphere2. 本地访问MeterSphere3. 安装 cpolar内网穿透软件4. 配置MeterSphere公网访问地址5. 公网远程访问MeterSphere6. 固定MeterSphere公网地址 前言 MeterSphere 是一站式开源持续测试平台, 涵盖测试跟踪、接口测试、UI 测试和性能测试等功能&am…...

编程日记 2024/3/11 0:27:41

【 React 】state和props有什么区别？

1. state 一个组件的显示形态可以由数据状态和外部参数所决定，而数据状态就是state，一般在constructor中初始化 当需要修改里面的值的状态需要通过调用setState来改变，从而达到更新组件内部数据的作用，并且重新调用组件render方法…...

编程日记 2024/3/11 0:25:39

So you think you understand IP fragmentation?

文章目录 前言一、Why care?二、Prevention三、Well-understood?四、Introducing fragquiz五、A novel (?) algorithm六、Reader challenge七、traceroute八、ICMP参考资料 前言 本文来自：https://lwn.net/Articles/960913/ February 7, 2024This article was …...

编程日记 2024/3/11 0:24:39

为什么main方法在Java中代表主线程？

main 方法在 Java 等编程语言中确实代表着程序的入口点，也就是程序开始执行的地方。当我们启动一个 Java 应用程序时，JVM（Java 虚拟机）会首先查找 main 方法，并从那里开始执行程序。 关于为什么 main 方法代表主线程&a…...

编程日记 2024/3/11 0:23:38

腾讯 后端 一面(115min)

> 3.3投递 3.5测评 3.7约面 > 03.07 技术架构团队 一. 面试官介绍部门 二. 自我介绍 三. 拷打项目 1. 为什么、怎么用微服务架构改写 2. token无感刷新 3. ipfs用来干什么 为什么又用了minio 4. 怎么用redis做缓存的，缓…...

编程日记 2024/3/11 0:20:35

浅谈 React Hooks

React Hooks 是 React 16.8 引入的一组 API，用于在函数组件中使用 state 和其他 React 特性（例如生命周期方法、context 等）。Hooks 通过简洁的函数接口，解决了状态与 UI 的高度解耦，通过函数式编程范式实现更灵活 Rea…...

编程新知 2025/9/23 15:13:40

云原生核心技术 (7/12): K8s 核心概念白话解读(上)：Pod 和 Deployment 究竟是什么？

大家好，欢迎来到《云原生核心技术》系列的第七篇！ 在上一篇，我们成功地使用 Minikube 或 kind 在自己的电脑上搭建起了一个迷你但功能完备的 Kubernetes 集群。现在，我们就像一个拥有了一块崭新数字土地的农场主，是时…...

编程新知 2025/12/14 22:32:59

反向工程与模型迁移：打造未来商品详情API的可持续创新体系

在电商行业蓬勃发展的当下，商品详情API作为连接电商平台与开发者、商家及用户的关键纽带，其重要性日益凸显。传统商品详情API主要聚焦于商品基本信息（如名称、价格、库存等）的获取与展示，已难以满足市场对个性化、智能…...

编程新知 2025/9/15 5:56:53

Debian系统简介

目录 Debian系统介绍 Debian版本介绍 Debian软件源介绍 软件包管理工具dpkg dpkg核心指令详解 安装软件包 卸载软件包 查询软件包状态 验证软件包完整性 手动处理依赖关系 dpkg vs apt Debian系统介绍 Debian 和 Ubuntu 都是基于 Debian内核 的 Linux 发行版&#xff…...

编程新知 2026/2/1 13:41:09

解决Ubuntu22.04 VMware失败的问题 ubuntu入门之二十八

现象1 打开VMware失败 Ubuntu升级之后打开VMware上报需要安装vmmon和vmnet，点击确认后如下提示 最终上报fail 解决方法 内核升级导致，需要在新内核下重新下载编译安装 查看版本 $ vmware -v VMware Workstation 17.5.1 build-23298084$ lsb_release…...

编程新知 2026/1/24 10:07:40

在 Nginx Stream 层“改写”MQTT ngx_stream_mqtt_filter_module

1、为什么要修改 CONNECT 报文？ 多租户隔离：自动为接入设备追加租户前缀，后端按 ClientID 拆分队列。零代码鉴权：将入站用户名替换为 OAuth Access-Token，后端 Broker 统一校验。灰度发布：根据 IP/地理位写…...

编程新知 2025/8/1 10:20:23

在Ubuntu中设置开机自动运行（sudo）指令的指南

在Ubuntu系统中，有时需要在系统启动时自动执行某些命令，特别是需要 sudo权限的指令。为了实现这一功能，可以使用多种方法，包括编写Systemd服务、配置 rc.local文件或使用 cron任务计划。本文将详细介绍这些方法，并提供…...

编程新知 2025/12/23 11:20:24

LLM基础1_语言模型如何处理文本

基于GitHub项目：https://github.com/datawhalechina/llms-from-scratch-cn 工具介绍 tiktoken：OpenAI开发的专业"分词器" torch：Facebook开发的强力计算引擎，相当于超级计算器 理解词嵌入：给词语画"…...

编程新知 2025/9/25 5:16:24

Unit 1 深度强化学习简介

Deep RL Course ——Unit 1 Introduction 从理论和实践层面深入学习深度强化学习。学会使用知名的深度强化学习库，例如 Stable Baselines3、RL Baselines3 Zoo、Sample Factory 和 CleanRL。在独特的环境中训练智能体，比如 SnowballFight、Huggy the Do…...

编程新知 2026/2/8 12:54:53

MySQL账号权限管理指南：安全创建账户与精细授权技巧

在MySQL数据库管理中，合理创建用户账号并分配精确权限是保障数据安全的核心环节。直接使用root账号进行所有操作不仅危险且难以审计操作行为。今天我们来全面解析MySQL账号创建与权限分配的专业方法。 一、为何需要创建独立账号？ 最小权限原则&#xf…...

编程新知 2025/9/5 23:36:27