张晨光老师的播客

技术改变世界

超详细的Elasticsearch高性能优化实践

这篇将从 ES 的 API 应用测试,性能优化,开发使用等方面展开,深入学习 ES。 ES 性能调优 ES 的默认配置,是综合了数据可靠性、写入速度、搜索实时性等因素。实际使用时,我们需要根据公司要求,进行偏向性的优化。 写优化 假设我们的应用场景要求是,每秒 300 万的写入速度,每...

2019-05-22 15:18:50

阅读数 13

评论数 0

图像识别没你想的那么难!看完这篇你也能成专家

本地生活场景中包含大量极富挑战的计算机视觉任务,如菜单识别,招牌识别,菜品识别,商品识别,行人检测与室内视觉导航等。 这些计算机视觉任务对应的核心技术可以归纳为三类:物体识别,文本识别与三维重建。 2018 年 11 月 30 日-12 月 1 日,由 51CTO 主办的 WOT 全球人工...

2019-05-22 15:17:08

阅读数 2006

评论数 8

3台廉价机器每秒写入2百万!Kafka为什么那么快?

Kafka 的消息是保存或缓存在磁盘上的,一般认为在磁盘上读写数据是会降低性能的,因为寻址会比较消耗时间,但是实际上,Kafka 的特性之一就是高吞吐率。 即使是普通的服务器,Kafka 也可以轻松支持每秒百万级的写入请求,超过了大部分的消息中间件,这种特性也使得 Kafka 在日志处理等海...

2019-05-14 23:32:07

阅读数 30

评论数 0

Netty原理架构解析

本文基于 Netty 4.1 展开介绍相关理论模型,使用场景,基本组件、整体架构,知其然且知其所以然,希望给大家在实际开发实践、学习开源项目方面提供参考。 Netty 是一个异步事件驱动的网络应用程序框架,用于快速开发可维护的高性能协议服务器和客户端。 JDK 原生 NIO 程序的问题 ...

2019-05-04 08:12:14

阅读数 73

评论数 0

解读MySQL 8.0新特性:Skip Scan Range

MySQL从8.0.13版本开始支持一种新的range scan方式,称为Loose Skip Scan。该特性由Facebook贡献。我们知道在之前的版本中,如果要使用到索引进行扫描,条件必须满足索引前缀列,比如索引idx(col1,col2), 如果where条件只包含col2的话,是无法有效...

2019-05-04 08:09:30

阅读数 52

评论数 0

Redis 5.0新功能介绍

Redis5.0版是Redis产品的重大版本发布,我们先看一下它的最新特点: 新的流数据类型(Stream data type) https://redis.io/topics/streams-intro 新的 Redis 模块 API:定时器、集群和字典 API(Timers, Cluste...

2019-05-04 08:05:10

阅读数 43

评论数 0

分布式系统Kafka和ES中,JVM内存越大越好吗?

这篇文章,给大家聊一个生产环境的实践经验:线上系统部署的时候,JVM 堆内存大小是越大越好吗? 本文主要讨论的是 Kafka 和 Elasticsearch 两种分布式系统的线上部署情况,不是普通的 Java 应用系统。 是否依赖 Java 系统自身内存处理数据? 先说明一点,不管是我们...

2019-04-27 02:25:54

阅读数 66

评论数 0

如何从单个服务器扩展到百万用户的系统?

假如你开发了一个网站(例如网上商店、社交网站或者其他任何东西),之后你把它发布到了网上,网站运行良好,每天有几百的访问量,能快速地响应用户的请求。 但是有一天,不知道什么原因,你的网站出名了! 每分每秒都有成千上万的用户蜂拥而至,你的网站变得越来越慢…… 对你来讲,这是个好消息,但是对你的...

2019-04-23 22:38:38

阅读数 444

评论数 2

Nginx+Tomcat windows环境下简单集群搭建

通俗点将,负载均衡就是因为访问流量太大,导致项目访问不流畅、甚至宕掉,所以通过一种分流的方式来缓解这种情况。 一、 工具   nginx-1.8.0   apache-tomcat-6.0.33 二、 目标  实现高性能负载均衡的Tomcat集群: 三、 步骤 1、首先下载Ngi...

2019-04-15 22:44:29

阅读数 57

评论数 0

大妈也能看懂的大数据分布式计算

本文是一篇科普性质的文章,希望能通过一个通俗易懂的例子给大家讲清楚大数据分布式计算技术。 大数据技术虽然包含存储、计算和分析等一系列庞杂的技术,但分布式计算一直是其核心,想要了解大数据技术,不妨从 MapReduce 分布式计算模型开始。 该理论模型并不是什么新理念,早在 2004 年就被...

2019-04-15 22:32:22

阅读数 141

评论数 1

全球计算机与工程学科排名:MIT夺冠 中国23所高校上榜

世界四大权威大学排名之一的软科正式发布了《2018软科世界一流学科排名》,在计算机科学与工程学科排名中,MIT、斯坦福、CMU位列前三,中国清华大学首次进入前十名,排名第7。 7月17日,与THE、QS和US News并称全球四大权威学校排名的软科,正式发布了2018“软科世界一流学科排名”(S...

2019-04-09 21:36:27

阅读数 2284

评论数 8

开源数据库Neo4j获8000万美元E轮融资,One Peak Partners、摩根士丹利领投

Neo4j为图形数据库的推广做出了巨大的贡献。目前,该研发公司获得了8000万美元的E融资,并计划将其产品推向更广阔的市场,这可能是该公司最后一次私人筹款活动。 Neo4j为图形数据库的推广做出了巨大的贡献。目前,该研发公司获得了8000万美元的E融资,并计划将其产品推向更广阔的市场,这可能是该...

2019-04-07 17:18:39

阅读数 438

评论数 0

数据分析师的自我修养丨如何进阶为数据科学家

有人问我,应该如何从数据分析师进阶为数据科学家呢?很简单,分三步: 1. 打开LinkedIn,登录。 2. 点击“编辑我的个人资料”。 3. 找到“数据分析师”,并用“数据科学家”替代。 完成!非常容易吧。 不幸的是,现实并不那么简单。 掌握必备的技能,从或多或少的数据中得出分析见解,这...

2019-04-07 17:15:34

阅读数 235

评论数 0

案例讲清如何构建“What-if分析”,教你轻松玩转动态参数

在一般的数据分析中,我们用到最多的就是筛选、聚合、排序、对比这些常规分析方法。然而在某些情况下,我们也会遇到一些需要通过调参来实现数据的动态调整,进而根据不同结果来采取最优决策的分析场景。 有一个专有的名词用来描述这类分析场景——What-if分析。 假设分析是一种评估的程序,假设如果采取不...

2019-04-07 17:14:36

阅读数 202

评论数 0

统计学和大数据如何帮助我们认知世界?

你发现没有,如果你在网上买过东西,商家就会根据你的网购经历,给你推荐很多相关的商品。比方说你买了婴儿奶粉,商家除了给你再推荐奶粉,还会给你推荐婴儿车、婴儿床。还有,你可能也听过,很多互联网公司都会基于后台收集到的各种数据,做出自己产品的“用户画像”,让分散在整个互联网上的用户,从无数抽象的数据,变...

2019-04-07 17:12:44

阅读数 366

评论数 0

最新数据分析与商业智能趋势前瞻

2019年,商业智能(BI)解决方案的核心竞争力,仍将取决于其是否具备使手动工作量降到最低的高级分析功能。《商业应用研究中心(BARC)2018商业智能调查》显示,全球BI服务市场预计将发生重大的技术变革。BI用户在2019年可以期待的主要技术举措是云BI部署,移动BI,机器学习和由深度学习支持的...

2019-04-07 17:10:32

阅读数 141

评论数 1

基于机器学习的AI预测更智能?

人工智能的应用一方面在不断改变我们每个人的生活方式,另一方面也在逐渐改变着企业的经营模式、决策方式。越来越多的企业经营者、高级管理人员、决策者都在这场了解人工智能的竞赛中感到焦虑,他们意识到,人工智能即将从根本上改变他们的行业。 在这场轰轰烈烈的人工智能浪潮中,我们发现,对于商业企业来说,人工智...

2019-04-07 17:08:00

阅读数 218

评论数 0

数据分析的结构体系

大数据从几年前的概念演变为现在是落地数据,越来越多的人感受的数据的价值,目前全国各大高校同样陆续开设数据科学与大数据专业,企业也已开展招聘数据分析相关的职位。 之前想成为数据分析师的人大致有三类: 第一类是非计算机专业的在校生,不知道怎么回事,反正就是对数据感兴趣了,然后想毕业之后从事相关工作...

2019-04-07 17:06:18

阅读数 106

评论数 0

大数据平台应用 17 个知识点汇总

一、大数据中的数据仓库和Mpp数据库如何选型? 在Hadoop平台中,一般大家都把hive当做数据仓库的一种选择,而Mpp数据库的典型代表就是impala,presto。Mpp架构的数据库主要用于即席查询场景,暨对数据查询效率有较高要求的场景,而对数据仓库的查询效率要求无法做大MPP那样,所以更...

2019-04-07 17:02:50

阅读数 192

评论数 0

大数据:2019年汽车4S店访客画像

以2018年Q4到访过全国汽车4S店的人群(剔除了汽车4S店工作人员)为研究对象,从全国汽车4S店访客画像、不同城市等级、不同档次和不同品牌汽车4S店访客画像等角度勾勒出国内4S店访客群像。 极光大数据(纳斯达克股票代码:JG)发布《2019年汽车4S店访客画像》,以2018年Q4到访过...

2019-04-05 23:11:25

阅读数 248

评论数 2

提示
确定要删除当前文章?
取消 删除