张晨光老师的播客

技术改变世界

hadoop配置后无法通过主机名:50070访问,只能通过ip:50070访问

需要在本地增加主机名和ip映射 1.在本机中C:\Windows\System32\drivers\etc 找到host文件,注意该文件为只读不可修改,得先需要更改权限才可修改成功。 2.更改host文件权限 2.注意以写字板打开,这个方式比较好,直接可以编辑: 3.这时候使用name...

2019-06-23 00:38:27

阅读数 57

评论数 0

在HBase的shell命令行界面输入错误项按"退格键"删除,却怎么也删除不了:

在 Xshell 中 使用 hbase shell 进入后 无法删除 问题: 在hbase shell下,误输入的指令不能使用backspace和delete删除,使用过的人都知道,这是有多坑,有多苦恼! 经过不懈努力,发现绝招: 进入到XShell 文件 --> 属性 ...

2019-06-18 22:42:21

阅读数 73

评论数 1

Hbase出现ERROR: Can't get master address from ZooKeeper; znode data == null解决办法

问题描述如下: hbase(main):001:0> list TABLE ...

2019-06-18 22:32:26

阅读数 51

评论数 0

Hive | 加载数据后,出现字段显示为 NULL的问题

进到HIVE命令下,命令格式: 在root目录下创建的user.txt文件,格式如下: 将创建好的文件加载到新创建的tb_user表中: 成功界面: 进一步查询: 为什么呢? 如果按照上面的格式写,会成功的。注意网上格式: 规定了数据格式 > ro...

2019-06-10 17:11:22

阅读数 47

评论数 0

ZooKeeper命令、命令行工具及简单操作

常用命令 ZooKeeper 支持某些特定的四字命令字母与其的交互。它们大多是查询命令,用来获取 ZooKeeper 服务的当前状态及相关信息。用户在客户端可以通过 telnet 或 nc 向 ZooKeeper 提交相应的命令。 ZooKeeper 常用四字命令见下表 1 所示: 表 ...

2019-05-31 11:17:43

阅读数 47

评论数 0

zookeeper节点类型详解

znode创建类型(CreateMode),有以下四种: PERSISTENT 持久化节点 PERSISTENT_SEQUENTIAL 顺序自动编号持久化节点,这种节点会根据当前已存在的节点数自动加 1 EPHEMERAL 临时节点, 客户端session超时这类节点就会被自动删除 EPH...

2019-05-31 11:16:25

阅读数 26

评论数 0

安装zookeeper时候,可以查看进程启动,但是状态显示报错:Error contacting service. It is probably not running

安装zookeeper-3.3.2的时候,启动正常没报错,但zkServer.sh status查看状态的时候却出现错误,如下: JMX enabled by default Using config: /hadoop/zookeeper/bin/../conf/zoo.cfg Error co...

2019-05-31 11:14:04

阅读数 20

评论数 0

zookeeper

相信大家对 ZooKeeper 应该不算陌生,但是你真的了解 ZooKeeper 是什么吗?如果别人/面试官让你讲讲 ZooKeeper 是什么,你能回答到哪个地步呢? 我本人曾经使用过 ZooKeeper 作为 Dubbo 的注册中心,另外在搭建 Solr 集群的时候,我使用到了 ZooKe...

2019-05-31 09:58:15

阅读数 27

评论数 0

解决 Unable to load native-hadoop library for your platform方法之一

安装hadoop启动之后总有警告:Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 原因: Apache提供的hadoop本地库是32位的,...

2019-05-25 15:58:49

阅读数 36

评论数 0

超详细的Elasticsearch高性能优化实践

这篇将从 ES 的 API 应用测试,性能优化,开发使用等方面展开,深入学习 ES。 ES 性能调优 ES 的默认配置,是综合了数据可靠性、写入速度、搜索实时性等因素。实际使用时,我们需要根据公司要求,进行偏向性的优化。 写优化 假设我们的应用场景要求是,每秒 300 万的写入速度,每...

2019-05-22 15:18:50

阅读数 72

评论数 0

图像识别没你想的那么难!看完这篇你也能成专家

本地生活场景中包含大量极富挑战的计算机视觉任务,如菜单识别,招牌识别,菜品识别,商品识别,行人检测与室内视觉导航等。 这些计算机视觉任务对应的核心技术可以归纳为三类:物体识别,文本识别与三维重建。 2018 年 11 月 30 日-12 月 1 日,由 51CTO 主办的 WOT 全球人工...

2019-05-22 15:17:08

阅读数 2935

评论数 8

3台廉价机器每秒写入2百万!Kafka为什么那么快?

Kafka 的消息是保存或缓存在磁盘上的,一般认为在磁盘上读写数据是会降低性能的,因为寻址会比较消耗时间,但是实际上,Kafka 的特性之一就是高吞吐率。 即使是普通的服务器,Kafka 也可以轻松支持每秒百万级的写入请求,超过了大部分的消息中间件,这种特性也使得 Kafka 在日志处理等海...

2019-05-14 23:32:07

阅读数 61

评论数 0

Netty原理架构解析

本文基于 Netty 4.1 展开介绍相关理论模型,使用场景,基本组件、整体架构,知其然且知其所以然,希望给大家在实际开发实践、学习开源项目方面提供参考。 Netty 是一个异步事件驱动的网络应用程序框架,用于快速开发可维护的高性能协议服务器和客户端。 JDK 原生 NIO 程序的问题 ...

2019-05-04 08:12:14

阅读数 81

评论数 0

解读MySQL 8.0新特性:Skip Scan Range

MySQL从8.0.13版本开始支持一种新的range scan方式,称为Loose Skip Scan。该特性由Facebook贡献。我们知道在之前的版本中,如果要使用到索引进行扫描,条件必须满足索引前缀列,比如索引idx(col1,col2), 如果where条件只包含col2的话,是无法有效...

2019-05-04 08:09:30

阅读数 61

评论数 0

Redis 5.0新功能介绍

Redis5.0版是Redis产品的重大版本发布,我们先看一下它的最新特点: 新的流数据类型(Stream data type) https://redis.io/topics/streams-intro 新的 Redis 模块 API:定时器、集群和字典 API(Timers, Cluste...

2019-05-04 08:05:10

阅读数 55

评论数 0

分布式系统Kafka和ES中,JVM内存越大越好吗?

这篇文章,给大家聊一个生产环境的实践经验:线上系统部署的时候,JVM 堆内存大小是越大越好吗? 本文主要讨论的是 Kafka 和 Elasticsearch 两种分布式系统的线上部署情况,不是普通的 Java 应用系统。 是否依赖 Java 系统自身内存处理数据? 先说明一点,不管是我们...

2019-04-27 02:25:54

阅读数 77

评论数 0

如何从单个服务器扩展到百万用户的系统?

假如你开发了一个网站(例如网上商店、社交网站或者其他任何东西),之后你把它发布到了网上,网站运行良好,每天有几百的访问量,能快速地响应用户的请求。 但是有一天,不知道什么原因,你的网站出名了! 每分每秒都有成千上万的用户蜂拥而至,你的网站变得越来越慢…… 对你来讲,这是个好消息,但是对你的...

2019-04-23 22:38:38

阅读数 457

评论数 2

Nginx+Tomcat windows环境下简单集群搭建

通俗点将,负载均衡就是因为访问流量太大,导致项目访问不流畅、甚至宕掉,所以通过一种分流的方式来缓解这种情况。 一、 工具   nginx-1.8.0   apache-tomcat-6.0.33 二、 目标  实现高性能负载均衡的Tomcat集群: 三、 步骤 1、首先下载Ngi...

2019-04-15 22:44:29

阅读数 62

评论数 0

大妈也能看懂的大数据分布式计算

本文是一篇科普性质的文章,希望能通过一个通俗易懂的例子给大家讲清楚大数据分布式计算技术。 大数据技术虽然包含存储、计算和分析等一系列庞杂的技术,但分布式计算一直是其核心,想要了解大数据技术,不妨从 MapReduce 分布式计算模型开始。 该理论模型并不是什么新理念,早在 2004 年就被...

2019-04-15 22:32:22

阅读数 157

评论数 1

全球计算机与工程学科排名:MIT夺冠 中国23所高校上榜

世界四大权威大学排名之一的软科正式发布了《2018软科世界一流学科排名》,在计算机科学与工程学科排名中,MIT、斯坦福、CMU位列前三,中国清华大学首次进入前十名,排名第7。 7月17日,与THE、QS和US News并称全球四大权威学校排名的软科,正式发布了2018“软科世界一流学科排名”(S...

2019-04-09 21:36:27

阅读数 2319

评论数 8

提示
确定要删除当前文章?
取消 删除