Clik here to view.
有道精品课实时数据中台建设实践
撰文/ 李荣谦编辑/ Ryan来源：有道技术团队（ID: youdaotech）0 序言本期文章中，有道精品课技术团队将和大家分享有道精品课 数据中台的架构演进过程以及 Doris 作为一个 MPP 分析型数据库是如何为不断增长的业务体量提供有效支撑并进行数据赋能的。本文以我们在实时数仓选型的经验为切入点，进一步着重分享使用 Doris 过程中遇到的问题，以及我们针对这些问题所做出的调整和优化。1...
View ArticleClik here to view.
通过SQL定义用户浏览Session
PC时代，用户问页面时，我们会先检查用户的Cookie中是否存在SessionId，如果不存在，则会通过随机数的方式生成一个SessionId存入Cookie中。如果存在，我们会更新这个Cookie的失效时间（30分钟后）。即只要用户访问的间隔在30分钟内则被认为是同一个Seesion，超过30分钟则会生成一个新的SeesionId，将浏览定义为一个新的Session。APP时代或者小程序的时代，通...
View ArticleClik here to view.
从源码中来，到业务中去，React性能优化终极指南
前言：我们从React源码入手，结合有道精品课大前端的具体业务，运用三大原则对系统进行外科手术式的优化。同时介绍React Profiler这款工具如何帮我们定位性能瓶颈前言：我们从React源码入手，结合有道精品课大前端的具体业务，运用三大原则对系统进行外科手术式的优化。同时介绍React Profiler这款工具如何帮我们定位性能瓶颈作者/ 安增平编辑/...
View ArticleClik here to view.
盲盒是变相赌博OR智商税？
盲盒的起源盲盒顾名思义，就是看不见内容的盒子，其内部放置着不同的物品，消费者凭运气抽中商品。小小的盒子里装着不同样式的玩偶，在拆封之前永远不知道里面是什么，正是这种随机化的体验，让用户欲罢不能。盲盒营销最早可以追溯到明治末期的日本，其“前身”是日本百货公司在新年期间用来促销的福袋，福袋促销的方式通常用来作为商品尾货处理，用户既能获得趣味性体验，商家也可以成功清理库存。福袋的营销思路延续到了80年代的...
View ArticleClik here to view.
为了效率不应该做的7件事
把自己弄得忙忙碌碌，但回头看碌碌无为。无意看到这篇文章，感觉对自己非常有用，记录下来自勉。设想一下有一个不停工作的小业务员，努力工作并不能帮助他战胜成千上万的竞争对手。...
View ArticleClik here to view.
Clik here to view.
游戏排名算法：Elo、Glicko、TrueSkill
Elo等级分制度Elo等级分制度（英语：Elo rating system）是指由匈牙利裔美国物理学家Arpad...
View ArticleClik here to view.
线性回归实战：波士顿房价预测
了解线性回归的原理后，为了更好的掌握相关的技能，需要进入实战，针对线性回归常见的方法有：Scikit和Statsmodels。数据集的准备美国波士顿房价的数据集是sklearn里面默认的数据集，sklearn内置的数据集都位于datasets子模块下。一共506套房屋的数据，每个房屋有13个特征值。from sklearn.datasets import load_boston...
View ArticleClik here to view.
数据分析该知道的IP地址知识
第一次接触到IP，还是在十多年前使用统计系统时，当时的统计系统中有个指标是IP地址。即记录每天有多少不同的IP访问您的网站，在后来是自己搭建统计系统时涉及到对IP地址省份、城市、区域的解析。最近在推进风控项目时又有遇到，所以抽时间把相关的知识点做下简单的整理。什么是IP地址？IP地址（英语：IP Address，全称Internet Protocol...
View ArticleClik here to view.
服务高可用之限流
在不同场景下限流的定义也各不相同，可以是每秒请求数、每秒事务处理数、网络流量。通常我们所说的限流指的是限制到达系统并发请求数，使得系统能够正常的处理部分用户的请求，来保证系统的稳定性。限流的英文是Rate limit（速率限制），维基百科中的定义比较简单。我们编写的程序可以被外部调用，Web 应用通过浏览器或者其他方式的 HTTP...
View ArticleClik here to view.
用户体系搭建之ID-Mapping
ID-Mapping简介在推进用户画像和风险控制时，遇到的最大的问题是用户身份信息的混乱：相同设备，不同账号间切换相同用户，不同渠道下账号不相同，如微信小程序和APP同个用户，在不同的设备商登录…ID-Mapping是大数据分析中非常基本但又关键的环节，ID-Mapping通俗的说就是把几份不同来源的数据，通过各种技术手段识别为同一个对象或主题，例如同一台设备（直接），同一个用户（间接），同一家企业...
View ArticleClik here to view.
用户画像TGI指标
什么是TGI对于TGI指数，百科是这样解释的——TGI指数，全称Target Group Index，可以反映目标群体在特定研究范围内强势或者弱势。TGI指数计算公式 = 目标群体中具有某一特征的群体所占比例 / 总体中具有相同特征的群体所占比例 *...
View ArticleClik here to view.
即时通讯协议之Qunar
Qunar 由于业务上对 IM 系统的需求，以及对 IM 需要支持的功能和扩展，结合市面上已有的 IM 的实现，实现了自己的一套完善的办公 IM 和客服 IM 系统。具备了以下几个重要特点：实时性，可靠性，一致性，安全性，扩展性，高并发。Startalk是去哪儿开源的一款通用的，高性能的企业级im套件。Startalk...
View ArticleClik here to view.
使用zimg搭建图片服务器
一般的大型网站都会将图片存放在专门的服务器，这样可以很好的提升网站的性能。比较简单的方式是采用云厂商提供的服务，比如七牛云、又拍云等。今天要介绍的是一款开源的实现方案zing。zimg简介zimg是一套国人针对图片处理服务器而设计开发的开源程序，目的是解决图片服务中如下三个问题：大流量：对于一些中小型网站来说，流量问题就是成本问题，图片相对于文本来说流量增加了一个数量级，省下的每一个字节都是白花花的...
View ArticleClik here to view.
本机号码一键登录原理与应用
很多APP的目前都支持“本机号码一键登录”功能。本机号码一键登录是基于运营商独有网关认证能力推出的账号认证产品。用户只需一键授权，即可实现以本机号码注册/登录，相比先前的短信验证码流程体验更优。目前市面上有很多厂商提供三网验证的服务，只不过是对三大运营商的包装。要了解具体的原理可直接看三大运营商相关的介绍。中国移动中国移动号码认证服务支支持移动、联通、电信三网号码。主要产品功能：一键登录：依托运营商...
View ArticleClik here to view.
Android/iOS判断是否使用代理或VPN
针对APP的黑产，我们提到部分用户会通过改变IP来绕过风控策略。更改IP比较方便的方法是使用代理IP或VPN。在检测APP安全性是需要对是否使用代码和VPN做判断。以下为整理的一些代码供参考。Android判断是否使用代理IPprivate boolean isWifiProxy(Context context) { final boolean IS_ICS_OR_LATER =...
View ArticleClik here to view.
App深度链接与延迟深度链接
APP唤醒与场景还原在App投放推广中，唤醒用户是常见的运营策略。想要让用户重新活跃起来，转化用户的行为，必须从场景上还原用户的路径，从根本上找到用户增长的奥秘。在这个广告漫天的时代，相信大多数用户在使用App的时候都遇到类似的场景：在使用某资讯类App的时候，浏览到了淘宝的商品广告，当你点击该广告内容时，自动打开了你手机上已经安装的淘宝App并且定位到了该商品的详情页。作为用户，心里一定在想：“这...
View ArticleClik here to view.
Clik here to view.
Clik here to view.
在中国，真正达到月收入1万以上的有多少
作 者 | 菜乙己、董道力数 据 | 董道力编 辑 | 张晨阳、唐也钦设 计 | 戚桐珲2018 年，上海相亲角，有一位老大爷自称侄子高学历、年收三百万，并直言 " 月入 1 万如讨饭 "，引来大量网友自嘲式认领 " 乞丐 " 身份。今年 2 月，" 月收入一万 " 的鄙视链降临到了二线城市，有一位网友发帖声称，月收入一万在郑州 " 只能生存没法生活...
View ArticleClik here to view.
技术管理者的 4 个基本思考点
技术团队管理者在日常工作中可能经常会遇到如下一些状况：自测质量差转测 BUG 多项目延期加班赶工高强度加班后，小伙伴状态不好，导致更多的问题出现从第 1 点状况演变成第 5 种状况，第 5 点状况继续推动第 1 种状态的持续加强，从而导致整个团队的状态极差，陷入 BUG 多 –> 延期 –> 加班 –> BUG 更多 –> 更多的延期...
View ArticleClik here to view.
营销中的本手、妙手和俗手
2022新高考Ⅰ卷语文作文带来和很多讨论，这个题目还是非常值得讨论的，结合自己的工作经历，我把本手、妙手和俗手联想到了营销方案。作文材料：“本手、妙手、俗手”是围棋的三个术语。本手是指合乎棋理的正规下法；妙手是指出人意料的精妙下法；俗手是指貌似合理，而从全局看通常会受损的下法。对于初学者而言，应该从本手开始，本手的功夫扎实了，棋力才会提高。一些初学者热衷于追求妙手，而忽视更为常用的本手。本手是基础，...
View ArticleClik here to view.
通俗易懂理解数据库概念
在Quora上曾经有个问题： Computer Programming: How would you explain a database in three sentences to your 8-year-old nephew被搬到了知乎上。来自知乎的答案中药铺说电脑里面存了好多好多数据。数据就像各种各样中药，在没有数据库之前，中药就是一包包这样杂乱无章地堆放着（unorganized...
View ArticleClik here to view.
使用Excel搭建推荐系统
在上一篇 重新认识Excel的文章中，提到了Excel无所不能，然后就想到了曾经看到的这篇关于如何使用Excel搭建推荐引擎的文章。于是找了出来做了下简单的翻译（只翻译了重点部分）。在互联网上有无限的货架空间，找到你想看的东西可能会让人筋疲力尽。幸运的是，与决策疲劳作斗争是 Netflix...
View ArticleClik here to view.
Clik here to view.
别焦虑了，这才是中国各行业平均工资的真相
年底将至，你的钱包还好吗？不久前，国家统计局发布了《中国统计年鉴 2022》，年鉴中记录了 2021 年我国各地区和各行业的年平均工资。你的工资超过了平均水平吗？近 10 年来各行业年平均工资有什么变化？哪些行业、哪些地区高薪且工资增速快？以下数据或许可以给你一些参考。2012-2021 年整体年平均工资变化先看整体状况。总的来看，非私营单位的年平均工资大幅高于私营单位的年平均工资。2021...
View ArticleClik here to view.
探索性数据分析详解
什么是探索性数据分析？探索性数据分析（Exploratory Data Analysis，简称EDA） 是指对已有的数据（特别是调查或观察得来的原始数据）在尽量少的先验假定下进行探索，通过作图、制表、方程拟合、计算特征量等手段探索数据的结构和规律的一种数据分析方法。探索性数据分析（EDA）与传统统计分析（Classical...
View ArticleClik here to view.
互联网黑灰产产业链初探
黑灰产的英文翻译是Black Market，被定义为通过人工方式或者技术手段实施的操纵网络信息内容，获取违法利益、破坏网络生态秩序的行为。对很多人来说，黑灰产的代名词就是“薅羊毛”。实际上，除了薅羊毛，每个行业都存在一些典型的黑灰产欺诈场景。黑灰产的最大特点但就是逐利。只要是能产生利益的地方几乎逃不开黑灰产的觊觎。即使表面看上去获利很低，但黑灰产依然会想办法通过批量操作来规模获利。...
View ArticleClik here to view.
国内高铁票价的计算规则
高铁（包括 G、D 字头列车和一部分 C 字头列车）票价的计算是一个比较复杂的问题。它取决于线路的速度等级、里程、递远递减以及折扣等方面。注意：以下的讨论均不包含既有线动车组以及除京津城际线以外的城际铁路动车组的情况；为不致混淆，本文中“高铁”指除第 1 条情形以外“开行 G、D 字头列车的线路”，不指代“G...
View ArticleClik here to view.