当前位置: 首页 > news >正文

hive数据库查看参数/hive查看当前环境配置

文章目录

  • 一、hive查看当前环境配置命令

在一次hive数据库执行命令 set ngmr.exec.mode=cluster时,想看一下 ngmr.exec.mode参数原先的值是什么,所以写一下本篇博文,讲一下怎么查看hive中的参数。

一、hive查看当前环境配置命令

  • set :可以查看所有参数
  • set -v :可得到所有环境变量。如果没有-v参数,只显示与hadoop不同的配置。
  • set 具体参数: 返回具体参数对应的值

案例一:set 具体参数

# 返回mapreduce.map.memory.mb参数的值
set mapreduce.map.memory.mb;

在这里插入图片描述
案例二:set 查询所有变量

set;

案例三:set -v查询所有环境变量

hive> set -v;
silent=off
fs.s3n.impl=org.apache.hadoop.fs.s3native.NativeS3FileSystem
datanucleus.validateColumns=false
mapred.task.cache.levels=2
hadoop.tmp.dir=/home/hexianghui/datahadoop
hadoop.native.lib=true
map.sort.class=org.apache.hadoop.util.QuickSort
ipc.client.idlethreshold=4000
mapred.system.dir=${hadoop.tmp.dir}/mapred/system
hive.script.serde=org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
mapred.job.tracker.persist.jobstatus.hours=0
io.skip.checksum.errors=false
fs.default.name=hdfs://192.168.0.4:9000
mapred.child.tmp=./tmp
datanucleus.cache.level2=false
mapred.skip.reduce.max.skip.groups=0
mapred.jobtracker.instrumentation=org.apache.hadoop.mapred.JobTrackerMetricsInst
mapred.tasktracker.dns.nameserver=default
io.sort.factor=10
hive.metastore.rawstore.impl=org.apache.hadoop.hive.metastore.ObjectStore
hive.metastore.local=true
mapred.task.timeout=600000
mapred.max.tracker.failures=4
hadoop.rpc.socket.factory.class.default=org.apache.hadoop.net.StandardSocketFactory
fs.hdfs.impl=org.apache.hadoop.hdfs.DistributedFileSystem
mapred.queue.default.acl-administer-jobs=*
mapred.queue.default.acl-submit-job=*
mapred.skip.map.auto.incr.proc.count=true
io.mapfile.bloom.size=1048576
tasktracker.http.threads=40
mapred.job.shuffle.merge.percent=0.66
fs.ftp.impl=org.apache.hadoop.fs.ftp.FTPFileSystem
io.bytes.per.checksum=512
mapred.output.compress=false
hive.test.mode.prefix=test_
hive.test.mode=false
hive.exec.compress.intermediate=false
topology.node.switch.mapping.impl=org.apache.hadoop.net.ScriptBasedMapping
datanucleus.cache.level2.type=SOFT
mapred.reduce.slowstart.completed.maps=0.05
mapred.reduce.max.attempts=4
fs.ramfs.impl=org.apache.hadoop.fs.InMemoryFileSystem
javax.jdo.option.ConnectionUserName=APP
mapred.skip.map.max.skip.records=0
hive.merge.mapfiles=true
hive.merge.size.smallfiles.avgsize=16000000
hive.test.mode.samplefreq=32
hive.optimize.skewjoin=false
mapred.job.tracker.persist.jobstatus.dir=/jobtracker/jobsInfo
fs.s3.buffer.dir=${hadoop.tmp.dir}/s3
hive.map.aggr.hash.min.reduction=0.5
job.end.retry.attempts=0
fs.file.impl=org.apache.hadoop.fs.LocalFileSystem
mapred.local.dir.minspacestart=0
hive.exec.compress.output=false
mapred.output.compression.type=RECORD
hive.script.recordreader=org.apache.hadoop.hive.ql.exec.TextRecordReader
topology.script.number.args=100
io.mapfile.bloom.error.rate=0.005
hive.exec.parallel.thread.number=8
mapred.max.tracker.blacklists=4
mapred.task.profile.maps=0-2
mapred.userlog.retain.hours=24
datanucleus.storeManagerType=rdbms
mapred.job.tracker.persist.jobstatus.active=false
hive.script.operator.id.env.var=HIVE_SCRIPT_OPERATOR_ID
hadoop.security.authorization=false
local.cache.size=10737418240
mapred.min.split.size=0
mapred.map.tasks=2
mapred.child.java.opts=-Xmx200m
hive.skewjoin.mapjoin.min.split=33554432
hive.metastore.warehouse.dir=/user/hive/warehouse
mapred.job.queue.name=default
hive.mapjoin.bucket.cache.size=100
datanucleus.transactionIsolation=read-committed
ipc.server.listen.queue.size=128
mapred.inmem.merge.threshold=1000
job.end.retry.interval=30000
mapred.skip.attempts.to.start.skipping=2
fs.checkpoint.dir=${hadoop.tmp.dir}/dfs/namesecondary
mapred.reduce.tasks=-1
mapred.merge.recordsBeforeProgress=10000
mapred.userlog.limit.kb=0
hive.skewjoin.key=100000
javax.jdo.option.ConnectionDriverName=org.apache.derby.jdbc.EmbeddedDriver
webinterface.private.actions=false
mapred.job.shuffle.input.buffer.percent=0.70
io.sort.spill.percent=0.80
hive.udtf.auto.progress=false
hive.session.id=hexianghui_201002232043
mapred.map.tasks.speculative.execution=true
hadoop.util.hash.type=murmur
hive.exec.script.maxerrsize=100000
hive.optimize.groupby=true
mapred.map.max.attempts=4
hive.default.fileformat=TextFile
hive.exec.scratchdir=/tmp/hive-${user.name}
mapred.job.tracker.handler.count=10
hive.script.recordwriter=org.apache.hadoop.hive.ql.exec.TextRecordWriter
hive.join.emit.interval=1000
datanucleus.validateConstraints=false
mapred.tasktracker.expiry.interval=600000
mapred.jobtracker.maxtasks.per.job=-1
mapred.jobtracker.job.history.block.size=3145728
keep.failed.task.files=false
ipc.client.tcpnodelay=false
mapred.task.profile.reduces=0-2
mapred.output.compression.codec=org.apache.hadoop.io.compress.DefaultCodec
io.map.index.skip=0
ipc.server.tcpnodelay=false
hive.join.cache.size=25000
datanucleus.autoStartMechanismMode=checked
hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat
hadoop.logfile.size=10000000
mapred.reduce.tasks.speculative.execution=true
hive.skewjoin.mapjoin.map.tasks=10000
hive.hwi.listen.port=9999
fs.checkpoint.period=3600
mapred.job.reuse.jvm.num.tasks=1
mapred.jobtracker.completeuserjobs.maximum=100
hive.groupby.mapaggr.checkinterval=100000
fs.s3.maxRetries=4
javax.jdo.option.ConnectionURL=jdbc:derby:;databaseName=metastore_db;create=true
hive.mapred.mode=nonstrict
hive.groupby.skewindata=false
hive.exec.parallel=false
mapred.local.dir=${hadoop.tmp.dir}/mapred/local
fs.hftp.impl=org.apache.hadoop.hdfs.HftpFileSystem
fs.s3.sleepTimeSeconds=10
fs.trash.interval=0
mapred.submit.replication=10
hive.merge.size.per.task=256000000
fs.har.impl=org.apache.hadoop.fs.HarFileSystem
mapred.map.output.compression.codec=org.apache.hadoop.io.compress.DefaultCodec
hive.exec.reducers.max=999
mapred.tasktracker.dns.interface=default
mapred.job.tracker=192.168.0.4:9001
io.seqfile.sorter.recordlimit=1000000
hive.optimize.ppd=true
mapred.line.input.format.linespermap=1
mapred.jobtracker.taskScheduler=org.apache.hadoop.mapred.JobQueueTaskScheduler
mapred.tasktracker.instrumentation=org.apache.hadoop.mapred.TaskTrackerMetricsInst
hive.mapjoin.cache.numrows=25000
hive.merge.mapredfiles=false
hive.metastore.connect.retries=5
hive.fileformat.check=true
mapred.tasktracker.procfsbasedprocesstree.sleeptime-before-sigkill=5000
javax.jdo.option.DetachAllOnCommit=true
mapred.local.dir.minspacekill=0
hive.optimize.pruner=true
javax.jdo.option.ConnectionPassword=mine
hive.hwi.listen.host=0.0.0.0
io.sort.record.percent=0.05
hive.map.aggr.hash.percentmemory=0.5
fs.kfs.impl=org.apache.hadoop.fs.kfs.KosmosFileSystem
mapred.temp.dir=${hadoop.tmp.dir}/mapred/temp
mapred.tasktracker.reduce.tasks.maximum=2
javax.jdo.PersistenceManagerFactoryClass=org.datanucleus.jdo.JDOPersistenceManagerFactory
hive.mapred.local.mem=0
fs.checkpoint.edits.dir=${fs.checkpoint.dir}
mapred.job.reduce.input.buffer.percent=0.0
datanucleus.validateTables=false
mapred.tasktracker.indexcache.mb=10
hadoop.logfile.count=10
mapred.skip.reduce.auto.incr.proc.count=truehive.script.auto.progress=false
io.seqfile.compress.blocksize=1000000
fs.s3.block.size=67108864
mapred.tasktracker.taskmemorymanager.monitoring-interval=5000
datanucleus.autoCreateSchema=true
mapred.acls.enabled=false
mapred.queue.names=default
fs.hsftp.impl=org.apache.hadoop.hdfs.HsftpFileSystem
hive.map.aggr=true
hive.enforce.bucketing=false
mapred.task.tracker.http.address=0.0.0.0:50060
mapred.reduce.parallel.copies=5
io.seqfile.lazydecompress=true
hive.exec.script.allow.partial.consumption=false
io.sort.mb=100
ipc.client.connection.maxidletime=10000
mapred.task.tracker.report.address=127.0.0.1:0
mapred.compress.map.output=false
hive.mapred.reduce.tasks.speculative.execution=true
ipc.client.kill.max=10
ipc.client.connect.max.retries=10
hive.heartbeat.interval=1000
fs.s3.impl=org.apache.hadoop.fs.s3.S3FileSystem
hive.mapjoin.maxsize=100000
mapred.job.tracker.http.address=0.0.0.0:50030
io.file.buffer.size=4096
mapred.jobtracker.restart.recover=false
io.serializations=org.apache.hadoop.io.serializer.WritableSerialization
hive.optimize.cp=true
javax.jdo.option.NonTransactionalRead=true
hive.exec.reducers.bytes.per.reducer=1000000000
mapred.reduce.copy.backoff=300
mapred.task.profile=false
jobclient.output.filter=FAILED
mapred.tasktracker.map.tasks.maximum=2
io.compression.codecs=org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec
fs.checkpoint.size=67108864

相关文章:

hive数据库查看参数/hive查看当前环境配置

文章目录 一、hive查看当前环境配置命令 在一次hive数据库执行命令 set ngmr.exec.modecluster时,想看一下 ngmr.exec.mode参数原先的值是什么,所以写一下本篇博文,讲一下怎么查看hive中的参数。 一、hive查看当前环境配置命令 set &#…...

ajax中get和post的区别,datatype返回的数据类型有哪些?web开发中数据提交的几种方式,有什么区别。百度使用哪种方式?

在Ajax中,GET和POST是两种常见的HTTP请求方法。它们有以下区别: GET请求:使用GET请求时,参数数据会附加在URL的末尾,以查询字符串的形式发送给服务器。GET请求是幂等的,也就是说多次发送相同的GET请求&…...

STM32用flash保存参数实现平衡擦写的一种方法

#FLASH平衡擦写# 一、概述 简易示意图如下: 写参数前要擦除对应的扇区 全为0XFFFFFFFF操作的最小单位为32位 uint32_t; 当一块扇区写完时,将所有有用参数复制到第二块扇区,开始写新的参数,如果所有参数写完,又重第…...

Aho Corasick Algorithm

文章目录 前言介绍实现参考 前言 Aho Corasick Algorithm又叫AC自动机,该算法是一个匹配算法,用来匹配文本Text中多个patterns分别出现的次数; 我们定义n为patterns的总长度;m为Text的长度; 问题:在ahis…...

用户管理 --汇总

一、第一节课 1.1 本人写的 前端: 鱼皮 --> 用户中心 第1节课-CSDN博客 中期: 一、用户管理 第1节课中间-CSDN博客 后端: 一、用户管理-CSDN博客 其他的链接 亿图脑图MindMaster 1.2 优秀球友,推荐 Docs 另…...

Flutter视频播放器在iOS端和Android端都能实现全屏播放

Flutter开发过程中,对于视频播放的三方组件有很多,在Android端适配都挺好,但是在适配iPhone手机的时候,如果设置了UIInterfaceOrientationLandscapeLeft和UIInterfaceOrientationLandscapeRight都为false的情况下,无法…...

面试遇到的一些问题(二)

1、v-if v-show 区别,他们的生命周期区别 v-show: (类似于display:none/black 的切换)不管初始值是true 或false 都会进行渲染,状态改变也不会销毁和重新生成。不会影响生命周期 v-if : 是根据条件,dom进行删除插入操作。 依附于普通元素时:会触发父组件的beforeUpdate和u…...

JDK8新特性:Lambda表达式规则及用法,方法引用

目录 Lambda表达式是JDK8新增的一种语法格式 1.作用 2.用法规则: 3.方法引用 Lambda表达式是JDK8新增的一种语法格式 1.作用 简化匿名内部类的代码写法 Lambad用法前提:只能简化函数式接口(一般加有Funcationallnterface)&a…...

【GIS】JDK版本升级到17后,GeoServer的图层无法通过openLayer预览

JDK版本升级到17后,图层无法通过openLayer预览 1. 错误图示 终端输出的错误 网页端无法显示图层,并且输出错误提示 2.原因猜测 估计可能是由于java17的模块化,Java被分成了多个独立部署和运行的模块,这使得Java应用能够更快…...

vue 批量下载文件,不走后端接口的方法

今天ld提了一个需求&#xff0c;说页面的列表里面有要下载的地址,然后点击批量下载。我思索片刻&#xff0c;给出了代码 1.这个是列表页面的代码 <!-- 这个是列表页面的代码 --> <el-table :data"userListShow" align"center"border highlight-…...

科技云报道:AI+PaaS,中国云计算市场迎来新“变量”?

科技云报道原创。 没有小的市场&#xff0c;只有还没有被发现的大生意。 随着企业数字化转型的逐级深入&#xff0c;市场需求进一步向PaaS和SaaS层进发&#xff0c;使之成为公有云服务市场增长的主要动力。 根据IDC最新发布的报告显示&#xff0c;2022-2027五年间中国公有云…...

Windows Service Name重复问题

Windows Service Name重复问题 1&#xff0c;问题 2&#xff0c;打开命令提示符&#xff0c;管理员身份运行 3&#xff0c;输入命令&#xff1a;sc delete MYSQL57 4&#xff0c;验证一下&#xff0c;可以看见已经没有感叹号啦 &#xff0c;可以看见已经没有感叹号啦...

BBS项目

一.BBS项目介绍 1.项目开发流程 项目立项 ------> 公司高层决定需求调研和分析 ------> 市场人员&#xff0c;技术人员参与 -需求文档说明开发部门开会 ------> 确定项目架构&#xff0c;技术选型&#xff0c;数据库设计UI&#xff0c;UD团队&#xff08;产品经…...

Java基础——对象类型转换(向上、向下转型)

非继承关系的类之间对象类型不可以互相类型转换&#xff0c;只有继承关系才可以互相转换。 简单说&#xff0c;对象类型转换的前提要是继承关系。 对象类型转换分为&#xff1a;向上转型和向下转型。多态就是一种自动向上转型。 向上转型&#xff1a;子类对象用父类类型接收…...

期末速成数据库极简版【查询】(2)

目录 select数据查询----表 【1】筛选列 【2】where简单查询 【3】top-n/distinct/排序的查询 【4】常用内置函数 常用日期函数 常用的字符串函数 【5】模糊查询 【6】表数据操作——增/删/改 插入 更新 删除 【7】数据汇总 聚合 分类 ​ &#x1f642;&#…...

2023年终总结-轻舟已过万重山

自我介绍 高考大省的读书人 白&#xff0c;陇西布衣&#xff0c;流落楚、汉。-与韩荆州书 我来自孔孟故里山东济宁&#xff0c;也许是小学时的某一天&#xff0c;我第一次接触到了电脑&#xff0c;从此对它产生了强烈的兴趣&#xff0c;高中我有一个愿望&#xff1a;成为一名计…...

手机号,邮箱,密码,验证码正则表达式[Java]

Util类&#xff1a; public abstract class RegexPatterns {/*** 手机号正则*/public static final String PHONE_REGEX "^1([38][0-9]|4[579]|5[0-3,5-9]|6[6]|7[0135678]|9[89])\\d{8}$";/*** 邮箱正则*/public static final String EMAIL_REGEX "^[a-zA-Z…...

普冉(PUYA)单片机开发笔记(7): ADC-轮询式多路采样

概述 应用中经常会有使用单片机进行模数转换的需求。PY32F003 具有 1 个 12 位的模拟数字转换器&#xff08;ADC&#xff09;&#xff0c;今天我们一起来使用一下这个 ADC。 数据手册中对 ADC 简介如下。 SAR ADC&#xff1a;逐次逼近式 ADC&#xff0c;原理参见“参考链接&a…...

uniapp切换页面时报错问题

我们来看如下错误&#xff1a; 该错误的意思是不能切换到 tabbar 页面。tabbar页面通常是公共页面或者底部导航栏&#xff0c;如果我们用 navigateTo 或者 redirectTo 都不能实现页面切换。 我们有两种方式&#xff1a; 第一种是用 switchTab 来进行切换&#xff0c;但注意切…...

Nginx 简单入门操作

前言:之前的文章有些过就不罗嗦了。 Nginx 基础内容 是什么? Nginx 是一个轻量级的 HTTP 服务器,采用事件驱动、异步非阻塞处理方式的服务器,它具有极好的 IO 性能,常用于 HTTP服务器(包含动静分离)、正向代理、反向代理、负载均衡 等等. Nginx 和 Node.js 在很多方…...

多云管理“拦路虎”:深入解析网络互联、身份同步与成本可视化的技术复杂度​

一、引言&#xff1a;多云环境的技术复杂性本质​​ 企业采用多云策略已从技术选型升维至生存刚需。当业务系统分散部署在多个云平台时&#xff0c;​​基础设施的技术债呈现指数级积累​​。网络连接、身份认证、成本管理这三大核心挑战相互嵌套&#xff1a;跨云网络构建数据…...

Android Wi-Fi 连接失败日志分析

1. Android wifi 关键日志总结 (1) Wi-Fi 断开 (CTRL-EVENT-DISCONNECTED reason3) 日志相关部分&#xff1a; 06-05 10:48:40.987 943 943 I wpa_supplicant: wlan0: CTRL-EVENT-DISCONNECTED bssid44:9b:c1:57:a8:90 reason3 locally_generated1解析&#xff1a; CTR…...

线程与协程

1. 线程与协程 1.1. “函数调用级别”的切换、上下文切换 1. 函数调用级别的切换 “函数调用级别的切换”是指&#xff1a;像函数调用/返回一样轻量地完成任务切换。 举例说明&#xff1a; 当你在程序中写一个函数调用&#xff1a; funcA() 然后 funcA 执行完后返回&…...

渗透实战PortSwigger靶场-XSS Lab 14:大多数标签和属性被阻止

<script>标签被拦截 我们需要把全部可用的 tag 和 event 进行暴力破解 XSS cheat sheet&#xff1a; https://portswigger.net/web-security/cross-site-scripting/cheat-sheet 通过爆破发现body可以用 再把全部 events 放进去爆破 这些 event 全部可用 <body onres…...

鸿蒙中用HarmonyOS SDK应用服务 HarmonyOS5开发一个医院挂号小程序

一、开发准备 ​​环境搭建​​&#xff1a; 安装DevEco Studio 3.0或更高版本配置HarmonyOS SDK申请开发者账号 ​​项目创建​​&#xff1a; File > New > Create Project > Application (选择"Empty Ability") 二、核心功能实现 1. 医院科室展示 /…...

大语言模型如何处理长文本?常用文本分割技术详解

为什么需要文本分割? 引言:为什么需要文本分割?一、基础文本分割方法1. 按段落分割(Paragraph Splitting)2. 按句子分割(Sentence Splitting)二、高级文本分割策略3. 重叠分割(Sliding Window)4. 递归分割(Recursive Splitting)三、生产级工具推荐5. 使用LangChain的…...

基础测试工具使用经验

背景 vtune&#xff0c;perf, nsight system等基础测试工具&#xff0c;都是用过的&#xff0c;但是没有记录&#xff0c;都逐渐忘了。所以写这篇博客总结记录一下&#xff0c;只要以后发现新的用法&#xff0c;就记得来编辑补充一下 perf 比较基础的用法&#xff1a; 先改这…...

跨链模式:多链互操作架构与性能扩展方案

跨链模式&#xff1a;多链互操作架构与性能扩展方案 ——构建下一代区块链互联网的技术基石 一、跨链架构的核心范式演进 1. 分层协议栈&#xff1a;模块化解耦设计 现代跨链系统采用分层协议栈实现灵活扩展&#xff08;H2Cross架构&#xff09;&#xff1a; 适配层&#xf…...

unix/linux,sudo,其发展历程详细时间线、由来、历史背景

sudo 的诞生和演化,本身就是一部 Unix/Linux 系统管理哲学变迁的微缩史。来,让我们拨开时间的迷雾,一同探寻 sudo 那波澜壮阔(也颇为实用主义)的发展历程。 历史背景:su的时代与困境 ( 20 世纪 70 年代 - 80 年代初) 在 sudo 出现之前,Unix 系统管理员和需要特权操作的…...

微信小程序云开发平台MySQL的连接方式

注&#xff1a;微信小程序云开发平台指的是腾讯云开发 先给结论&#xff1a;微信小程序云开发平台的MySQL&#xff0c;无法通过获取数据库连接信息的方式进行连接&#xff0c;连接只能通过云开发的SDK连接&#xff0c;具体要参考官方文档&#xff1a; 为什么&#xff1f; 因为…...