当前位置： 首页 > news >正文

【redis】bitmap、hyperloglog、GEO案例

news 2025/9/18 22:59:54

【redis】bitmap、hyperloglog、GEO案例

文章目录

  • 【redis】bitmap、hyperloglog、GEO案例
  • 前言
  • 一、面试题
  • 二、统计的类型
    • 聚合统计
    • 排序统计
      • 问题：
      • 思路
    • 二值统计 0和1
    • 基数统计
  • 三、hyperloglog
    • 1、名词理解
      • UV 独立访客
      • PV 页面浏览量
      • DAU 日活跃用户
      • MAU 月活跃度
    • 2、看需求
    • 3、是什么（复习）
    • 4、hyperloglog如何做的？如何演化而来
      • 去重统计中可以用到bitmap 但是同样有问题
      • 办法：概率算法
      • `原理说明`
    • 5、淘宝首页亿级UV的redis统计方案
      • a、需求
      • b、方案讨论
        • 用redis的hash结构存储 说明
        • hyperloglog
      • c、HyperLoglogService
      • d、HyperLoglogController
  • 四、GEO
    • 1、面试题
    • 2、经纬度
    • 3、获取某个位置的经纬度
    • 4、复习GEO命令
      • 添加 经纬度坐标 + 名字
      • 根据名字 查询 经纬度
      • 返回经纬度的geohash表示 获取base32编码值
      • 两个位置之间的距离
      • GEORADIUS 输入坐标
      • GEORADIUSBYMEMBER 输入名字
    • 5、美团地图位置附近的酒店推送
      • 需求分析
      • 架构设计
      • 编码实现
        • controller
        • service
  • 五、bitmap
    • 1、面试
    • 2、是什么
    • 3、能干嘛
    • 4、京东签到领京豆
    • 5、复习命令
    • 6、案例实战见下一章，bitmap签到 + 布隆过滤器，案例升级

前言

在这里插入图片描述

一、面试题

面试题1
在这里插入图片描述
面试题2
在这里插入图片描述

需求痛点
在这里插入图片描述

二、统计的类型

在这里插入图片描述

聚合统计

在这里插入图片描述

命令：
在这里插入图片描述

排序统计

在这里插入图片描述

问题：

在这里插入图片描述

思路

在这里插入图片描述

二值统计 0和1

在这里插入图片描述

基数统计

在这里插入图片描述

三、hyperloglog

在这里插入图片描述

1、名词理解

UV 独立访客

在这里插入图片描述

PV 页面浏览量

在这里插入图片描述

DAU 日活跃用户

在这里插入图片描述

MAU 月活跃度

在这里插入图片描述

2、看需求

在这里插入图片描述

3、是什么（复习）

在这里插入图片描述
基本操作命令
在这里插入图片描述

4、hyperloglog如何做的？如何演化而来

在这里插入图片描述

去重统计中可以用到bitmap 但是同样有问题

在这里插入图片描述

办法：概率算法

在这里插入图片描述

原理说明

在这里插入图片描述

误差为0.81%的说明：来自于redis官网
在这里插入图片描述

5、淘宝首页亿级UV的redis统计方案

a、需求

在这里插入图片描述

b、方案讨论

在这里插入图片描述

用redis的hash结构存储 说明

在这里插入图片描述

hyperloglog

在这里插入图片描述

c、HyperLoglogService

插入hyperloglog的service
在这里插入图片描述
获取存入的key的点击量值
在这里插入图片描述

d、HyperLoglogController

在这里插入图片描述

四、GEO

在这里插入图片描述

1、面试题

在这里插入图片描述

2、经纬度

不具体解释

3、获取某个位置的经纬度

在这里插入图片描述

4、复习GEO命令

在这里插入图片描述

添加 经纬度坐标 + 名字

在这里插入图片描述

根据名字 查询 经纬度

在这里插入图片描述

返回经纬度的geohash表示 获取base32编码值

在这里插入图片描述

两个位置之间的距离

在这里插入图片描述

GEORADIUS 输入坐标

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

GEORADIUSBYMEMBER 输入名字

在这里插入图片描述

5、美团地图位置附近的酒店推送

需求分析

在这里插入图片描述

架构设计

在这里插入图片描述

编码实现

在这里插入图片描述

controller

在这里插入图片描述

service

添加
在这里插入图片描述

获取经纬度
在这里插入图片描述

获取base32编码值
在这里插入图片描述

获取给定两个点的距离
在这里插入图片描述

通过经纬度查找附近 GEORADIUS
在这里插入图片描述

通过名字查找附近 GEORADIUSBYMEMBER
在这里插入图片描述

五、bitmap

1、面试

在这里插入图片描述

2、是什么

在这里插入图片描述

3、能干嘛

在这里插入图片描述

4、京东签到领京豆

mysql方式—
在这里插入图片描述

redis方式----
在这里插入图片描述

5、复习命令


在这里插入图片描述

6、案例实战见下一章，bitmap签到 + 布隆过滤器，案例升级

相关文章：

【redis】bitmap、hyperloglog、GEO案例

【redis】bitmap、hyperloglog、GEO案例 文章目录 【redis】bitmap、hyperloglog、GEO案例前言一、面试题二、统计的类型聚合统计排序统计问题：思路 二值统计 0和1基数统计 三、hyperloglog1、名词理解UV 独立访客PV 页面浏览量DAU 日活跃用户MAU 月活跃度 2、看需求…...

编程日记 2023/4/23 15:17:43

第二章：集合与区间

1.集合 1.内容概述 1.了解集合的意义2.了解常见集合符号的含义3.云用常见的集合符号来表示集合之间的关系、元素与集合之间的关系2.基本概念 1.集合：把一些确定的对象看成一个整体就形成了一个集合。集合一般使用大写字母A、B、C…来表示2.元素：集合中每一个对象叫做这个集合…...

编程日记 2023/4/23 15:12:42

Mysql8.0版本安装

一，使用yum方式安装 1，配置mysql安装源： sudo rpm -Uvh https://dev.mysql.com/get/mysql80-community-release-el7-3.noarch.rpm2，安装mysql8.0： sudo yum --enablerepo=mysql80-community inst...

编程日记 2023/5/31 1:08:21

开放式耳机真的比封闭式强很多吗？推荐几款主流的开放式耳机

​开放式耳机，顾名思义，就是通过骨头振动来传导声音的耳机。相比于传统耳机，它的声音传输更加开放，不会对耳膜造成压迫感，也不会对耳膜旁的内毛细胞造成损害。因此开放式耳机既是运动蓝牙耳机，又是音乐蓝牙…...

编程日记 2023/4/23 14:57:37

Doris（7）：数据导入（Load）之Routine Load

例行导入功能为用户提供了义中自动从指定数据源进行数据导入的功能 1 适用场景 当前仅支持kafka系统进行例行导入。 2 使用限制 支持无认证的 Kafka 访问，以及通过 SSL 方式认证的 Kafka 集群。支持的消息格式为 csv 文本格式。每一个 message 为一行，…...

编程日记 2023/4/23 14:52:36

linux 安装php8.1 ZipArchive和libzip最新版扩展安装

1、概述 安装前咱们先看下我本地环境 [rootelk php8]# cat /etc/redhat-release Red Hat Enterprise Linux Server release 7.9 (Maipo) [rootelk php8]# [rootelk php8]# ./bin/php -v PHP 8.1.18 (cli) (built: Apr 17 2023 13:15:17) (NTS) Copyright (c) The PHP Group Z…...

编程日记 2023/4/23 14:47:34

大数据 | 实验一：大数据系统基本实验 | 熟悉常用的HBase操作

文章目录 📚HBase安装🐇安装HBase🐇伪分布式模式配置🐇测试运行HBase🐇HBase java API编程环境配置 📚实验目的📚实验平台📚实验内容🐇HBase Shell 编程命令实现以下指定…...

编程日记 2023/4/23 14:42:33

Linux command(split)

原理 在split.c中，首先处理传递给split命令的参数，包括需要拆分的文件、拆分大小/行数等选项。然后，通过调用open()函数打开需要拆分的文件，并获取文件信息。接着根据选项计算每个拆分文件的大小/行数，并根据需要创建输…...

编程日记 2023/4/23 14:37:32

开放式耳机好用吗，盘点几款口碑不错的开放式耳机

​开放式耳机作为一种全新的耳机形态，已经成为了当前市场上非常火爆的一款产品。由于无需入耳佩戴，可以很好的避免了耳膜受到损伤，而且也能够让我们在佩戴眼镜时也能够正常使用。加上开放式耳机的音质和舒适度都要优于其他类型的耳机&#xf…...

编程日记 2023/4/23 14:32:30

法规标准-ISO 16787标准解读

ISO 16787是做什么的？ ISO 16787全称为智能运输系统-辅助泊车系统（APS）-性能要求和测试程序，其中主要描述了对APS系统的功能要求及测试规范 APS类型 根据目标停车位类型将APS系统分为两类： 1）APS类型I&a…...

编程日记 2023/4/23 14:27:29

脑力劳动-英文单词

标题 前言必学场景词汇及用法会议简报电话出差市场调研广告与媒介电脑情境常用单词会议简报电话市场调研广告与媒介电脑前言 加油 必学场景词汇及用法 会议 1meeting [ˈmitɪŋ] n．会议hold / have / call off a meeting举办/取消会议be in a meeting在开会The meeting w…...

编程日记 2023/4/23 14:22:28

机器学习中的三个重要环节：训练、验证、测试

本文重点 模型训练、验证和测试是机器学习中的三个重要环节。这三个环节之间存在着紧密的关系，它们相互作用，共同构建出一个完整的机器学习模型。在本文中，我们将详细介绍模型训练、验证和测试之间的关系。 模型训练、验证和测试之间的关系 模型训练是机器学习中最基本的…...

编程日记 2023/4/23 14:17:27

机器学习实战：Python基于LDA线性判别模型进行分类预测（五）

文章目录 1 前言1.1 线性判别模型的介绍1.2 线性判别模型的应用 2 demo数据演示2.1 导入函数2.2 训练模型2.3 预测模型 3 LDA手写数字数据演示3.1 导入函数3.2 导入数据3.3 输出图像3.4 建立模型3.5 预测模型 4 讨论 1 前言 1.1 线性判别模型的介绍 线性判别模型（…...

编程日记 2023/5/31 1:10:00

Java枚举(Enum)

枚举（enum） enum全称enumeration，JDK 1.5中引入的新特性。在Java中，被enum关键字修饰的类型就是枚举类型 可以将枚举看成一个类，它继承于java.lang.enum类，当定义一个枚举类型时，每一个枚举类型…...

编程日记 2023/4/23 14:07:24

【Python】【进阶篇】二十一、Python爬虫的多线程爬虫

目录 二十一、Python爬虫的多线程爬虫21.1 多线程使用流程21.2 Queue队列模型21.3 多线程爬虫案例1) 案例分析​2) 完整程序 二十一、Python爬虫的多线程爬虫 网络爬虫程序是一种 IO 密集型程序，程序中涉及了很多网络 和 本地磁盘的 IO 操作，这会消耗大…...

编程日记 2023/4/23 14:02:23

Python从入门到精通14天(eval、literal_eval、exec函数的使用)

eval、literal_eval、exec函数的使用 eval函数literal_eval函数exec函数三者的区别 eval函数 eval()是Python中的内置函数，它可以将一个字符串作为参数，并将该字符串作为Python代码执行。它的语法格式为：eval(expression,globalsNone,locals…...

编程日记 2023/4/23 13:57:22

队列的基本操作（C语言链表实现）初始化，入队，出队，销毁，读取数据

文章目录 前言一、队列基本变量的了解二、队列的基本操作2.1队列的初始化（QueueInit）2.2入队（QueuePush）2.3判断是否为空队（QueueEmpty）2.4出队（QueuePop）2.5队列的队头数据&#xf…...

编程日记 2023/4/23 13:52:20

项目支付接入支付宝【沙箱环境】

前言 订单支付接入支付宝，使用支付宝提供的沙箱机制模拟为订单付款。我这里主要记录一下沙箱环境如何接入到系统中，具体细节的实现。按照官方文档来就可以了。 1、使用步骤 这里有几个重要数据要拿到，一个是支付宝的公钥和私钥&#xff0c…...

编程日记 2023/4/23 13:47:19

程序员应该如何提升自己

作为一名程序员，以下是您可以考虑的一些方法来提高自己的技能和知识： 深入学习编程语言和相关工具：了解您使用的编程语言和相关工具的基本原理和高级特性，以便更好地理解其工作方式并更有效地使用它们。 刻意练习：刻意…...

编程日记 2023/4/23 13:42:18

全球上线！ABB中国涡轮增压器分拆 – 数据清理阶段完成

ABB是数字行业的技术前沿者，拥有四项主营业务：电气化，工业自动化，运动控制以及机器人和离散自动化。ABB总部位于瑞士苏黎世，业务遍及100多个国家，拥有约105，000名员工。2021年，该公司…...

编程日记 2023/4/23 13:37:12

网络六边形受到攻击

大家读完觉得有帮助记得关注和点赞！！！ 抽象 现代智能交通系统 （ITS） 的一个关键要求是能够以安全、可靠和匿名的方式从互联车辆和移动设备收集地理参考数据。Nexagon 协议建立在 IETF 定位器/ID 分离协议 （…...

编程新知 2025/9/18 4:22:58

XCTF-web-easyupload

试了试php，php7，pht，phtml等，都没有用 尝试.user.ini 抓包修改将.user.ini修改为jpg图片 在上传一个123.jpg 用蚁剑连接，得到flag...

编程新知 2025/9/14 1:53:04

css实现圆环展示百分比，根据值动态展示所占比例

代码如下 <view class""><view class"circle-chart"><view v-if"!!num" class"pie-item" :style"{background: conic-gradient(var(--one-color) 0%,#E9E6F1 ${num}%),}"></view><view v-else …...

编程新知 2025/9/16 1:33:43

shell脚本--常见案例

1、自动备份文件或目录 2、批量重命名文件 3、查找并删除指定名称的文件&#xff1a; 4、批量删除文件 5、查找并替换文件内容 6、批量创建文件 7、创建文件夹并移动文件 8、在文件夹中查找文件...

编程新知 2025/9/18 22:26:43

EtherNet/IP转DeviceNet协议网关详解

一&#xff0c;设备主要功能 疆鸿智能JH-DVN-EIP本产品是自主研发的一款EtherNet/IP从站功能的通讯网关。该产品主要功能是连接DeviceNet总线和EtherNet/IP网络&#xff0c;本网关连接到EtherNet/IP总线中做为从站使用&#xff0c;连接到DeviceNet总线中做为从站使用。 在自动…...

编程新知 2025/8/6 4:17:44

NLP学习路线图（二十三）：长短期记忆网络（LSTM）

在自然语言处理（NLP）领域，我们时刻面临着处理序列数据的核心挑战。无论是理解句子的结构、分析文本的情感，还是实现语言的翻译，都需要模型能够捕捉词语之间依时序产生的复杂依赖关系。传统的神经网络结构在处理这种序列依赖时显得力不从心，而循环神经网络（RNN） 曾被视为…...

编程新知 2025/9/3 5:05:40

Unit 1 深度强化学习简介

Deep RL Course ——Unit 1 Introduction 从理论和实践层面深入学习深度强化学习。学会使用知名的深度强化学习库&#xff0c;例如 Stable Baselines3、RL Baselines3 Zoo、Sample Factory 和 CleanRL。在独特的环境中训练智能体&#xff0c;比如 SnowballFight、Huggy the Do…...

编程新知 2025/9/18 1:39:03

GC1808高性能24位立体声音频ADC芯片解析

1. 芯片概述 GC1808是一款24位立体声音频模数转换器&#xff08;ADC&#xff09;&#xff0c;支持8kHz~96kHz采样率&#xff0c;集成Δ-Σ调制器、数字抗混叠滤波器和高通滤波器&#xff0c;适用于高保真音频采集场景。 2. 核心特性 高精度&#xff1a;24位分辨率&#xff0c…...

编程新知 2025/9/17 3:15:13

RSS 2025｜从说明书学习复杂机器人操作任务：NUS邵林团队提出全新机器人装配技能学习框架Manual2Skill

视觉语言模型&#xff08;Vision-Language Models, VLMs&#xff09;&#xff0c;为真实环境中的机器人操作任务提供了极具潜力的解决方案。 尽管 VLMs 取得了显著进展&#xff0c;机器人仍难以胜任复杂的长时程任务&#xff08;如家具装配&#xff09;&#xff0c;主要受限于人…...

编程新知 2025/9/6 1:25:52

MySQL：分区的基本使用

目录 一、什么是分区二、有什么作用三、分类四、创建分区五、删除分区 一、什么是分区 MySQL 分区&#xff08;Partitioning&#xff09;是一种将单张表的数据逻辑上拆分成多个物理部分的技术。这些物理部分&#xff08;分区&#xff09;可以独立存储、管理和优化&#xff0c;…...

编程新知 2025/9/18 6:04:13