张晨光老师的播客

技术改变世界

数据分析师的自我修养丨如何进阶为数据科学家

有人问我,应该如何从数据分析师进阶为数据科学家呢?很简单,分三步: 1. 打开LinkedIn,登录。 2. 点击“编辑我的个人资料”。 3. 找到“数据分析师”,并用“数据科学家”替代。 完成!非常容易吧。 不幸的是,现实并不那么简单。 掌握必备的技能,从或多或少的数据中得出分析见解,这...

2019-04-07 17:15:34

阅读数 243

评论数 0

大数据最核心的关键技术——32个算法,记得收藏!

奥地利符号计算研究所的Christoph Koutschan博士在自己的页面上发布了一篇文章,提到他做了一个调查,参与者大多数是计算机科学家,他请这些科学家投票选出最重要的算法,以下是这次调查的结果,按照英文名称字母顺序排序。 1、A* 搜索算法— —图形搜索算法,从给定起点到给定终点...

2019-04-05 23:10:11

阅读数 676

评论数 0

大数据薪资报告出炉:你的工资拖后腿了吗?

根据最新的大数据人才报告,全国只有46万个大数据人才,未来3-5年人才缺口将高达150万。 英国领先的报告显示,数据分析师的供应指数是最低的,只有0.05,这是非常稀缺的。数据分析师跳槽速度最快,平均跳槽速度是19.8个月。 据统计,中国未来的基础数据分析差距将达到1400万,而在BAT企业招...

2019-02-16 12:46:15

阅读数 2056

评论数 5

hadoop配置后无法通过主机名:50070访问,只能通过ip:50070访问

需要在本地增加主机名和ip映射 1.在本机中C:\Windows\System32\drivers\etc 找到host文件,注意该文件为只读不可修改,得先需要更改权限才可修改成功。 2.更改host文件权限 2.注意以写字板打开,这个方式比较好,直接可以编辑: 3.这时候使用name...

2019-06-23 00:38:27

阅读数 12

评论数 0

在HBase的shell命令行界面输入错误项按"退格键"删除,却怎么也删除不了:

在 Xshell 中 使用 hbase shell 进入后 无法删除 问题: 在hbase shell下,误输入的指令不能使用backspace和delete删除,使用过的人都知道,这是有多坑,有多苦恼! 经过不懈努力,发现绝招: 进入到XShell 文件 --> 属性 ...

2019-06-18 22:42:21

阅读数 43

评论数 0

Hbase出现ERROR: Can't get master address from ZooKeeper; znode data == null解决办法

问题描述如下: hbase(main):001:0> list TABLE ...

2019-06-18 22:32:26

阅读数 39

评论数 0

Hive | 加载数据后,出现字段显示为 NULL的问题

进到HIVE命令下,命令格式: 在root目录下创建的user.txt文件,格式如下: 将创建好的文件加载到新创建的tb_user表中: 成功界面: 进一步查询: 为什么呢? 如果按照上面的格式写,会成功的。注意网上格式: 规定了数据格式 > ro...

2019-06-10 17:11:22

阅读数 20

评论数 0

Linux下修改mysql的密码

[root@hadoop01 bin]# schematool -initSchema -dbType mysql SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/us...

2019-06-10 15:15:54

阅读数 18

评论数 0

ZooKeeper命令、命令行工具及简单操作

常用命令 ZooKeeper 支持某些特定的四字命令字母与其的交互。它们大多是查询命令,用来获取 ZooKeeper 服务的当前状态及相关信息。用户在客户端可以通过 telnet 或 nc 向 ZooKeeper 提交相应的命令。 ZooKeeper 常用四字命令见下表 1 所示: 表 ...

2019-05-31 11:17:43

阅读数 31

评论数 0

zookeeper节点类型详解

znode创建类型(CreateMode),有以下四种: PERSISTENT 持久化节点 PERSISTENT_SEQUENTIAL 顺序自动编号持久化节点,这种节点会根据当前已存在的节点数自动加 1 EPHEMERAL 临时节点, 客户端session超时这类节点就会被自动删除 EPH...

2019-05-31 11:16:25

阅读数 21

评论数 0

安装zookeeper时候,可以查看进程启动,但是状态显示报错:Error contacting service. It is probably not running

安装zookeeper-3.3.2的时候,启动正常没报错,但zkServer.sh status查看状态的时候却出现错误,如下: JMX enabled by default Using config: /hadoop/zookeeper/bin/../conf/zoo.cfg Error co...

2019-05-31 11:14:04

阅读数 14

评论数 0

zookeeper

相信大家对 ZooKeeper 应该不算陌生,但是你真的了解 ZooKeeper 是什么吗?如果别人/面试官让你讲讲 ZooKeeper 是什么,你能回答到哪个地步呢? 我本人曾经使用过 ZooKeeper 作为 Dubbo 的注册中心,另外在搭建 Solr 集群的时候,我使用到了 ZooKe...

2019-05-31 09:58:15

阅读数 20

评论数 0

解决 Unable to load native-hadoop library for your platform方法之一

安装hadoop启动之后总有警告:Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 原因: Apache提供的hadoop本地库是32位的,...

2019-05-25 15:58:49

阅读数 22

评论数 0

美国公司连续加班36个小时,只为给华为“多发货”

如果美国政府一意孤行,那美国失去的不仅仅是华为,还是中国市场,是未来的十年。 天下网商记者 倪轶容 在硅谷一家科技公司工作的华人张维(化名),入职以来第一次遭遇了“三班倒”。 他所在的这家公司,是华为的供应商。然而,5月15日,美国商务部将华为列入“实体清单”,对其实施“出口管制”措施,一下...

2019-05-22 15:23:56

阅读数 106

评论数 0

甲骨文中国裁员补偿N+6,有人拿了一百多万...

传了一个多月后,甲骨文(Oracle)中国研发中心裁员大幕正式开启。 5 月 7 日,多位甲骨文中国员工透露,甲骨文上午召开全员大会,正式敲定了中国研发中心裁员调整一事。大会结束后,甲骨文中国立即开始对所涉员工进行一对一面谈,最终的补偿方案是 N+6。 以下为媒体爆料甲骨文公司通知原文...

2019-05-22 15:22:37

阅读数 74

评论数 0

不就是个短信登录API嘛,有这么复杂吗?

上联:这个需求很简单,下联:怎么实现我不管,横批:今晚上线。 经ThoughtWorks洞见(ID:TW-Insights)公众号授权转载 暴力破解 早上开完站会,小李领了张新卡,要对登录功能做升级改造,在原来只支持用户名密码登录模式的基础上,新增手机号和短信验证码登录。 业务分析...

2019-05-22 15:21:20

阅读数 45

评论数 0

超详细的Elasticsearch高性能优化实践

这篇将从 ES 的 API 应用测试,性能优化,开发使用等方面展开,深入学习 ES。 ES 性能调优 ES 的默认配置,是综合了数据可靠性、写入速度、搜索实时性等因素。实际使用时,我们需要根据公司要求,进行偏向性的优化。 写优化 假设我们的应用场景要求是,每秒 300 万的写入速度,每...

2019-05-22 15:18:50

阅读数 40

评论数 0

图像识别没你想的那么难!看完这篇你也能成专家

本地生活场景中包含大量极富挑战的计算机视觉任务,如菜单识别,招牌识别,菜品识别,商品识别,行人检测与室内视觉导航等。 这些计算机视觉任务对应的核心技术可以归纳为三类:物体识别,文本识别与三维重建。 2018 年 11 月 30 日-12 月 1 日,由 51CTO 主办的 WOT 全球人工...

2019-05-22 15:17:08

阅读数 2899

评论数 8

天天淘宝,你却不知道个性化推荐技术...

在这个时代背景下,信息爆炸与长尾问题普遍发生,而解决方案之一是个性化推荐技术,那具体什么是个性化推荐,怎么去实现这一过程呢? 这篇读者朋友需要做到的是读完以后,对个性化推荐技术有一个全局宏观的认识,对于细节不用过多地苛求。 个性化的具象表现:以购物 App(淘宝)为例 在日常生活中,...

2019-05-22 15:15:59

阅读数 133

评论数 0

阿里专家:工程师快速成长的10个简单技巧

阿里有句非常经典的土话,“今天的最好表现,是明天的最低要求。”如何挖掘潜能、发现更好的自己? 今天,阿里巴巴高级无线开发专家江建明(聪安)将认知升级的方法总结出来,帮助你获得快速成长的秘诀(本文内容稍长但值得细细阅读哦)。 如何阅读本文? 找一个固定不被打扰时间仔细阅读。 在碎片化的时...

2019-05-22 15:15:18

阅读数 142

评论数 0

提示
确定要删除当前文章?
取消 删除