Clik here to view.
用神经网络训练一个文本分类器
理解聊天机器人的工作原理是非常重要的。聊天机器人内部一个非常重要的组件就是文本分类器。我们看一下文本分类器的神经网络（ANN）的内部工作原理。多层神经网络我们将会使用2层网络（1个隐层）和一个“词包”的方法来组织我们的训练数据。文本分类有3个特点：模式匹配、算法、神经网络。虽然使用多项朴素贝叶斯算法的方法非常有效，但是它有3个致命的缺陷：这个算法输出一个分数而不是一个概率。我们可以使用概率来忽略特定...
View ArticleClik here to view.
Clik here to view.
基于 Redis 实现分布式应用限流
限流的目的是通过对并发访问/请求进行限速或者一个时间窗口内的的请求进行限速来保护系统，一旦达到限制速率则可以拒绝服务。前几天在DD的公众号，看了一篇关于使用 瓜娃 实现单应用限流的方案，参考《redis in action》 实现了一个jedis版本的，都属于业务层次限制。 实际场景中常用的限流策略：Nginx接入层限流...
View ArticleClik here to view.
手把手教你 Spark 性能调优
0、背景上周四接到反馈，集群部分 spark 任务执行很慢，且经常出错，参数改来改去怎么都无法优化其性能和解决频繁随机报错的问题。看了下任务的历史运行情况，平均时间 3h 左右，而且极其不稳定，偶尔还会报错：...
View ArticleClik here to view.
如何正确实现 Java 中的 HashCode
相等 和 Hash Code从一般角度来看，Equality 是不错的，但是 hash code 更则具技巧性。如果我们在 hash code上多下点功夫，我们就能了解到 hash code 就是用在细微处去提升性能的。大部分的数据结构使用equals去检查是否他们包含一个元素。例如：List<String> list = Arrays.asList("a", "b", "c");...
View ArticleClik here to view.
区块链原理最清晰最直观的解释
（A minimal blockchain command-line interface.）维基百科上对区块链的描述：维护不断增长的记录（称作区块）的分布式数据库。听上去很简单，但到底是怎么回事呢？我们用一款开源命令行界面 Blockchain CLI来详细说明区块链。我也做了一个 浏览器可以访问的在线版。安装命令行界面首先请确保安装 Node.js然后在终端里运行下面命令：npm install...
View ArticleClik here to view.
Web GIS 离线解决方案
1、背景在离线环境下（局域网中）的GIS系统中如何使用地图？这里的地图主要指的是地图底图，有了底图切片数据，我们就可以看到地图，在上面加上自己的业务数据图层，进行相关操作。要在离线环境下看到GIS地图，就要有底图切片数据，地图的底图切片数据在一定时间内是不会变化的，可以使用一些地图下载器下载地图切片，如这个 地图下载器。在CS系统中可以基于GMap.Net来做，参考《...
View ArticleClik here to view.
RESTful API 设计最佳实践
项目资源的URL应该如何设计？用名词复数还是用名词单数？一个资源需要多少个URL？用哪种HTTP方法来创建一个新的资源？可选参数应该放在哪里？那些不涉及资源操作的URL呢？实现分页和版本控制的最好方法是什么？因为有太多的疑问，设计RESTful API变得很棘手。在这篇文章中，我们来看一下RESTful...
View ArticleClik here to view.
Netty SSL性能调优
嗯，这篇不长的文章，是一个晚上工作到三点的血泪加班史总结而成。多一个读，可能就少一个人加班。《 TLS协议分析 与 现代加密通信协议设计》 首先要感谢这篇文章，如果没有它，我可能还要花更多的时间才能完成。文章有点长，能看多少是多少，每句都是收获。1.背景知识1.1 协议史1996: SSL3.0. 写成RFC，开始流行。目前(2015年)已经不安全，必须禁用。1999: TLS1.0....
View ArticleClik here to view.
一个20秒SQL慢查询优化的经历与处理方案
背景前几天在项目上线过程中，发现有一个页面无法正确获取数据，经排查原来是接口调用超时，而最后发现是因为SQL查询长达到20多秒而导致了问题的发生。这里，没有高深的理论或技术，只是备忘一下经历和解读一些思想误区。复杂SQL语句的构成这里不过多对业务功能进行描述，但为了突出问题所在，会用类比的语句来描述当时的场景。复杂的SQL语句可以表达如下：SELECT * FROM a_table AS a...
View ArticleClik here to view.
JVM上最快的Bloom filter实现
英文原始出处: Bloom filter for Scala, the fastest for JVM本文介绍的是我用Scala实现的Bloom filter。 源代码在 github上。依照 性能测试结果，它是JVM上的 最快的Bloom filter实现。零分配(Zero-allocation)和高度优化的代码。 无内存限制，所以没有包含元素的数量限制和可控的误报率(false...
View ArticleClik here to view.
从Gitlab误删除数据库想到的
昨天，Gitlab.com发生了一个大事，某同学误删了数据库，这个事看似是个低级错误，不过，因为Gitlab把整个过程的细节都全部暴露出来了，所以，可以看到很多东西，而对于类似这样的事情，我自己以前也干过，而在最近的两公司中我也见过（Amazon中见过一次，阿里中见过至少四次），正好通过这个事来说说一下自己的一些感想和观点吧。...
View ArticleClik here to view.
分布式系统中唯一 ID 的生成方法
本文主要介绍在一个分布式系统中, 怎么样生成全局唯一的 ID一, 问题描述在分布式系统存在多个 Shard 的场景中, 同时在各个 Shard 插入数据时, 怎么给这些数据生成全局的 unique ID?在单机系统中 (例如一个 MySQL 实例), unique ID 的生成是非常简单的, 直接利用 MySQL 自带的自增 ID 功能就可以实现.但在一个存在多个 Shards 的分布式系统...
View ArticleClik here to view.
每天自动备份MySQL数据库的shell脚本
经常备份数据库是一个好习惯，虽然数据库损坏或数据丢失的概率很低，但一旦发生这种事情，后悔是没用的。一般网站或应用的后台都有备份数据库的功能按钮，但需要去手工执行。我们需要一种安全的，每天自动备份的方法。下面的这个shell脚本就是能让你通过过设定Crontab来每天备份MySQL数据库的方法。#!/bin/bash # 数据库认证 user="" password="" host=""...
View ArticleClik here to view.
Linux下正确删除海量文件的姿势
这里说的“海量”并不是指体积大，而是指数量，比如一个目录下有数百万个小文件。最近在优化服务器时发现postfix下的maildrop目录和clientmqueue目录下发现有大量的文件，进入这些目录里使用ls命令是愚蠢的做法，而直接执行 rm *，没有任何反应，文件数量也没有减少，也就是说，在海量文件目录里直接使用rm命令进行删除是无效的。那么正确的方法是什么呢？有两种方法可选： 第一种：find...
View ArticleClik here to view.
一个轻量级分布式 RPC 框架 — NettyRpc
1、背景最近在搜索Netty和Zookeeper方面的文章时，看到了这篇文章《 轻量级分布式 RPC 框架》，作者用Zookeeper、Netty和Spring写了一个轻量级的分布式RPC框架。花了一些时间看了下他的代码，写的干净简单，写的RPC框架可以算是一个简易版的...
View ArticleClik here to view.
自建一个电话呼叫中心要多少钱？
我十分看不惯任何行业的潜规则行为。自建一个电话呼叫中心的报价是多少钱？没有人敢公开报价。我明说吧，自建一个电话呼叫中心，只需要3万元左右，而且还能更省钱。这个报价是针对小型企业的，也就是广大人民群众。至于大型企业，它们自己去定制，钱不是问题。3万元建一个电话呼叫中心，包括什么？包括硬件设备，软件。软件是硬件设备上免费赠送的，不要钱！有了这个呼叫中心，你可以有语音导航功能（也就是按0转人工客服），还有...
View ArticleClik here to view.
谈一下我们是如何开展code review的
众所周知，代码审查是软件开发过程中十分重要的环节，楼主结合自己的实际工作经验，和大家分享一下在实际工作中代码审查是如何开展的。笔者水平有限，若有错误和纰漏，还请大家指正。代码审查的阻力我想不通公司不同部门对代码审查这项工作的重视程度还是不一样的，对于代码审查的阻力总结了以下几点：国内的整体环境，国内的公司，尤其是互联网公司，讲究速度致上，软件开发的迭代周期周期短，速度快，因为竞争太大，开发的产品要求...
View ArticleClik here to view.
欢迎来到后 ASO 时代
6 月 WWDC 上所宣布的「App Store 将迎来大改版」的消息，给 ASO 界砸下了一枚重磅炸弹。虽说 iOS11 要到今年秋季才会正式推送，且正式版面世到大面积使用还需要一定时间，到底会不会迎来一个新的 ASO 时代，目前尚不可知。为了做好迎接新时代的准备，咱们先来看看苹果砸下的到底是一枚什么样的「炸弹」。搜索改动还算小「搜索」入口所带来的可观流量，是我们「做关键词」的立足点。ASOer...
View ArticleClik here to view.
如何理解并正确使用 MySQL 索引
1、概述索引是存储引擎用于快速查找记录的一种数据结构，通过合理的使用数据库索引可以大大提高系统的访问性能，接下来主要介绍在MySql数据库中索引类型，以及如何创建出更加合理且高效的索引技巧。注：这里主要针对的是InnoDB存储引擎的B+Tree索引数据结构2、索引的优点1、大大减轻了服务器需要扫描的数据量，从而提高了数据的检索速度2、帮助服务器避免排序和临时表3、可以将随机I/O变为顺序I/O3、索...
View Article