当前位置: 首页 > news >正文

史上最全的大数据开发八股文【自己的吐血总结】

自我介绍

我本硕都是双非计算机专业,从研一下开始学习大数据开发的相关知识,从找实习到秋招,我投递过100+公司,拿到过10+的offer,包括滴滴、字节、蚂蚁、携程、蔚来、去哪儿等大厂(岗位都是大数据开发),现在已经签约蚂蚁。秋招一路走来,踩过不少坑,比如,刚开始学习大数据的时候,看见那么多的组件框架,不知道如何下手;还有在找工作的时候,不知道如何做好充分的准备等等问题。接下来我主要介绍 大数据开发的学习路线,以及八股文总结相关内容。

大数据开发学习路线【亲自实践】

接触过大数据的同学都知道,有众多的大数据框架,比如Hadoop,Flume,Hive,Spark,Flink,Doris等等,那么我们应该如何去学习呢,是否需要学完市面上所有的大数据框架呢,学习这些需要有哪些前置基础呢

前置基础知识

linux + java

  • 注意:java刚开始只需要看java基础就可以了,不需要学习一些web框架,因为不管是源码二次开发还是数仓都不需要用到这些框架(除了平台开发之外),像spring这些web框架,在学习完所有的大数据框架之后,找工作之前如果还有时间,可以去学一学这些框架【加分项】

大数据框架学习路线

Hadoop三件套(HDFS,MapReduce,Yarn) -> Zookeeper -> Hive -> Flume -> Kafka -> HBase --> Maxwell-> Scala(面试从来没被问到过,可以不学) -> Spark -> Flink

  • 注意:这些框架中在面试问的多的:Hadoop三件套,Zookeeper,Hive,Kafka,Spark,Flink

项目推荐(适合做数仓的同学)

B站《尚硅谷电商离线数仓》

  • 注意:这个项目涵盖了数仓的建模知识(理论相当重要),还有就是这个分层思路基本上可以和很多企业对齐。
    数仓书籍推荐

《大数据之路》

  • 注意:这本书真的是数仓同学必看,里面涉及到的理论和企业中的白皮书基本一样。

刷题

算法题

  • Leetcode+剑指offer

SQL题

  • 牛客 + 面试常见HQL(后面会总结到)

注意:大厂非常看重刷题能力,这个没有捷径,只有天天刷!!!

通往大厂的八股文总结

我是主要从 java基础、计算机基础、大数据开发、数仓、大数据场景题、面试常考刷题 这几个方向来进行了总结
在这里插入图片描述
java基础
这一部分我主要参考了JavaGuide,进行了很多的补充(面试中经常问到的),另外答案都是自己重新总结的
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

计算机基础
[图片]

[图片]

大数据开发
[图片]
在这里插入图片描述
数仓理论
在这里插入图片描述

大数据场景题
[图片]
在这里插入图片描述
面试常考刷题
在这里插入图片描述

有需要上述的资料请私信我或关注我个人主页的公众号

相关文章:

史上最全的大数据开发八股文【自己的吐血总结】

自我介绍 我本硕都是双非计算机专业,从研一下开始学习大数据开发的相关知识,从找实习到秋招,我投递过100公司,拿到过10的offer,包括滴滴、字节、蚂蚁、携程、蔚来、去哪儿等大厂(岗位都是大数据开发&#…...

数据库学习案例20240304-mysql数据库案例总结(碎片,统计信息)

1 表中的碎片 在InnoDB中删除行的时候,这些行只是被标记为“已删除”,而不是真正从物理存储上进行了删除,因而存储空间也没有真正被释放回收。InnoDB的Purge线程会异步地来清理这些没用的索引键和行。但是依然没有把这些释放出来的空间还给操…...

【小白友好】LeetCode 删除并获得点数

基础题 打家劫舍https://leetcode.cn/problems/house-robber/ 小白解法 删除nums[i]就会使得所有nums[i]-1和nums[i]1的值都消失,手写了几个,发现找来找去不方便,还不如先排个序,然后这样nums[i]-1和nums[i]和nums[i]1就能靠在…...

c#委托、lambda、事件

Lambda Lambda表达式是一种匿名函数,Lambda表达式通常以箭头“>”分隔左侧的输入和右侧的输出。 (parameter_list) > { statement_block } parameter_list 是由一个或多个参数组成的逗号分隔列表,每个参数都包括类型和名称,可以为空。…...

每日一练——9×9乘法表

#include<stdio.h>int main() {int i 0; //乘数定义for (i 1; i < 9; i) //循环1到9 {int j 0;//被乘数定义for (j 1; j < i; j) //循环被乘数1到9{printf("%d*%d%2d ", i, j, i * j); 乘法}printf("\n"); 换行} return 0; }...

大白话解析LevelDB:ShardedLRUCache

文章目录 Cache 接口定义ShardedLRUCache 的实现ShardedLRUCache 的构造函数ShardedLRUCache::Insert(const Slice& key, void* value, size_t charge, void (\*deleter)(const Slice& key, void* value))ShardedLRUCache::Lookup(const Slice& key)ShardedLRUCach…...

GDOI2024游记

Day0 中午一点钟从学校出发去东莞&#xff0c;大概坐了一个多小时车&#xff0c;两点半多到酒店。住的八方精选酒店&#xff08;ljh说他们住九方精选酒店&#xff0c;乐&#xff09;&#xff0c;说的是景区酒店&#xff0c;但打开外窗&#xff0c;近处是简陋的阳台&#xff0c…...

学编程怎么样才能更快入手,编程怎么简单易学

学编程怎么样才能更快入手&#xff0c;编程怎么简单易学 一、前言 对于初学编程建议先从简单入手&#xff0c;然后再学习其他复杂的编程语言。 今天给大家分享的中文编程开发语言工具 进度条构件的用法。 编程入门视频教程链接 https://edu.csdn.net/course/detail/39036 …...

Android 通知--判断通知是否有跳转

一. 从应用层来分析 在 Android 中&#xff0c;可以通过 PendingIntent 来实现有跳转的通知和没有跳转的通知的区别。具体来说&#xff0c;有跳转的通知会设置一个 PendingIntent&#xff0c;当用户点击通知时会触发该 PendingIntent&#xff0c;打开指定的界面或执行特…...

【计算机网络】IO多路转接之poll

文章目录 一、poll函数接口二、socket就绪条件三、poll的优点四、poll的缺点五、poll使用案例--只读取数据的server服务器1.err.hpp2.log.hpp3.sock.hpp4.pollServer.hpp5.main.cc 一、poll函数接口 #include <poll.h> int poll(struct pollfd *fds, nfds_t nfds, int t…...

性能比较:in和exists

当在Hive SQL中使用NOT IN和NOT EXISTS时&#xff0c;性能差异主要取决于底层数据的组织方式、数据量大小、索引的使用情况以及具体查询的复杂程度。下面是对这两种方法的性能分析&#xff1a; 1. NOT IN&#xff1a;- 工作原理&#xff1a;NOT IN子查询会逐个比较主查询中的值…...

【Java设计模式】五、建造者模式

文章目录 1、建造者模式2、案例&#xff1a;共享单车的创建3、其他用途 1、建造者模式 某个对象的构建复杂将复杂的对象的创建 和 属性赋值所分离&#xff0c;使得同样的构建过程可以创建不同的表示建造的过程和细节调用者不需要知道&#xff0c;只需要通过构建者去进行操作 …...

nginx代理minio教程 避坑过的教程 避开SignatureDoesNotMatch

本次教程使用的是单机minio进行演示&#xff0c;集群minio也和这个差不多。 按照这个教程&#xff0c;可以避开nginx代理minio之后&#xff0c;只能访问文件&#xff0c;但是通过预签名url上传文件就会报SignatureDoesNotMatch的坑 暂定如下&#xff1a; 你已经下载好miniom…...

Linux进程详细介绍

文章目录 Linux进程1、计算机体系结构和操作系统管理1.1、计算机体系结构 -- 硬件1.2、操作系统&#xff08;Operator System&#xff09; -- 软件 2、进程2.1、进程基本概念2.2、进程标识符2.2.1、获取当前进程标识符和当前进程的父进程标识符2.2.2、通过系统调用创建进程 -- …...

2024年3月产品认证基础考试简答题及答案

产品认证基础 46.产品认证的工厂检查有哪几种路线&#xff1f;各有什么优缺点&#xff1f; 答案&#xff1a;两种常用的检查路线&#xff1a; 1.按照要素或过程检查 按照认证规则规定的工厂应满足的要素要求&#xff08;包括质量保证能力要求&#xff09;&#xff0c;结合部…...

嵌入式蓝桥杯做题总结

第十二届省赛 按键代码 ——自认为比较巧妙&#xff0c;定时器3被设置为10ms进入一次中断&#xff0c;代替了HAL_Delay(10)的方法消抖&#xff1b; 运用状态机机思想实现检测多个按键检测——且分为两个状态&#xff0c;其中一个状态PB&#xff11;和PB&#xff12;的按键不…...

Spring Boot 常用注解大全

以下是Spring Boot中常用的注解及其详细解释以及相应的代码示例&#xff1a; SpringBootApplication: 这个注解用于标识一个Spring Boot应用的主类。它整合了 Configuration&#xff0c;EnableAutoConfiguration 和 ComponentScan。 SpringBootApplication public class Demo…...

(MATLAB)第十二章-数列与极限

目录 12.1 数列 12.1.1 数列求和 1. 累计求和函数sum() 2. 忽略NaN累计求和函数 nansum() 3. 求此元素位置之前的元素和函数cumsum() 4. 求梯形累计和函数cumtrapz() 12.1.2 数列求积 1. 元素连续相乘函数 prod() 2. 求累计积函数 cumprod() 3. 阶乘函数 ffactorial(n…...

OJ输入问题+准备

写在之前&#xff1a; 发现题目输入是这样的&#xff1a; 我的问题&#xff1a;如何通过空格分割这些输入的字符串并分别保存&#xff01;&#xff01;&#xff08;C语言scanf好解决一点但我选择C....&#xff09; C引入了ostringstream、istringstream、stringstream这三个类…...

软考高级:主动攻击和被动攻击概念和例题

作者&#xff1a;明明如月学长&#xff0c; CSDN 博客专家&#xff0c;大厂高级 Java 工程师&#xff0c;《性能优化方法论》作者、《解锁大厂思维&#xff1a;剖析《阿里巴巴Java开发手册》》、《再学经典&#xff1a;《Effective Java》独家解析》专栏作者。 热门文章推荐&am…...

大数据标注工具对比:2023年最值得推荐的5款工具

大数据标注工具对比&#xff1a;2023年最值得推荐的5款工具关键词&#xff1a;大数据标注工具、2023年推荐、工具对比、标注效率、标注质量摘要&#xff1a;本文聚焦于2023年大数据标注领域&#xff0c;详细对比了五款极具代表性的大数据标注工具。通过对它们的核心概念、算法原…...

为什么选择Clasp?10个理由让你彻底爱上本地开发Apps Script [特殊字符]

为什么选择Clasp&#xff1f;10个理由让你彻底爱上本地开发Apps Script &#x1f680; 【免费下载链接】clasp &#x1f517; Command Line Apps Script Projects 项目地址: https://gitcode.com/gh_mirrors/clasp/clasp Clasp&#xff08;Command Line Apps Script Pro…...

别再手动量了!用Python+Open3D给BIM模型做‘CT扫描’,自动揪出施工误差(附完整代码)

BIM模型质量检测革命&#xff1a;PythonOpen3D实现毫米级施工误差智能分析 施工现场的质量控制一直是建筑行业的核心痛点。传统靠人工抽检的方式不仅效率低下&#xff0c;还容易遗漏隐蔽问题。想象一下&#xff0c;如果能把BIM模型当作"数字孪生体"&#xff0c;用三维…...

2 轻量设备鸿蒙应用开发极简流程 | 鸿蒙开发筑基实战

轻量设备鸿蒙应用开发极简流程 | 鸿蒙开发筑基实战 作者&#xff1a;杨建宾&#xff08;华夏之光永存&#xff09; 摘要 本文面向鸿蒙轻量设备&#xff08;HiSpark系列、穿戴设备、IoT终端&#xff09;开发者&#xff0c;拆解从工程创建到上线的全流程。聚焦轻量设备硬件资源有…...

系统级音频均衡器如何提升macOS音质:开源eqMac完全指南

系统级音频均衡器如何提升macOS音质&#xff1a;开源eqMac完全指南 【免费下载链接】eqMac macOS System-wide Audio Equalizer & Volume Mixer &#x1f3a7; 项目地址: https://gitcode.com/gh_mirrors/eq/eqMac eqMac是一款开源的macOS系统级音频均衡器与音量混合…...

掌握SQL窗口函数,轻松处理复杂数据分析

SQL 窗口函数&#xff08;Window Function&#xff09;是一种强大的分析工具&#xff0c;能够在不缩减原始数据行数的前提下执行复杂计算。这种函数通过对一组相关数据行&#xff08;称为"窗口"&#xff09;进行计算&#xff0c;并将结果直接附加到每一行记录中。窗口…...

别再手动配准点云了!用C++ Eigen库的SVD方法,5分钟搞定刚体变换(附完整代码)

5分钟用Eigen实现点云刚体变换&#xff1a;SVD方法的工程实践指南 在三维视觉和机器人领域&#xff0c;点云配准是基础且关键的任务。想象一下&#xff0c;当你需要将不同视角扫描的点云拼接成一个完整的三维模型&#xff0c;或者让机器人识别物体的位姿时&#xff0c;快速准确…...

开源项目配置管理:ComfyUI-Manager路径优化与跨环境部署指南

开源项目配置管理&#xff1a;ComfyUI-Manager路径优化与跨环境部署指南 【免费下载链接】ComfyUI-Manager ComfyUI-Manager is an extension designed to enhance the usability of ComfyUI. It offers management functions to install, remove, disable, and enable various…...

45V耐压CSM7345SG ESOP8,可调12V输出+使能端+散热片,低压差线性稳压器

CSM7345 ESOP8可调12V输出带使能端 全方案深度分析我会从芯片核心特性、12V输出原理、使能端设计、电路参数计算、保护机制、PCB设计要点等维度&#xff0c;做完整的工程级拆解&#xff0c;帮你彻底吃透这个方案。一、芯片核心特性&#xff08;适配12V输出的关键参数&#xff0…...

一次慢改表引发的线上死锁事故复盘

一次慢改表引发的线上死锁事故复盘 一、事故背景 在一次常规的数据库表结构变更过程中&#xff0c;对某核心业务表执行了慢改表操作&#xff08;使用 pt-online-schema-change&#xff09;。操作开始后&#xff0c;短时间内触发报警&#xff1a; 部分接口响应时间显著上升出现请…...