导读

Web app：https://kuhungio.me/machine-learning-systems-design/

机器学习系统设计

系统设计题，顾名思义，就是考察一个人设计系统的能力。它是一种国外很喜欢的题型，特别是中高级职位，在算法手撕结束后，一般就是系统设计题。

国外的算法工程师，被称之为 Machine Learning Engineer。国内的名头比较多，算法工程师、数据挖掘工程师、机器学习工程师、深度学习工程师都指的这个。

这一岗位同开发岗位，SDE 一样，也需要足够的系统设计经验。

国外的大佬 github.com/chiphuyen 总结了一份机器学习设计的资料，我在这里做本地化整理，同时增加一些自己的从业体会。

内容分为3个部分，分别是：

  • 机器学习的系统设计部分，这里做了核心概念的摘录；

  • 系统设计的案例，由于众所周知的原因，很多文章看不了，我这里将其整理放入了 github，同时笔记标注版的放在了公众号：谷粒说数。

  • 练习部分，作者列了27道系统设计题。我这里将其布置在了网页上，方便自查，后续会上评论进行答案收集。

系统设计应关注的点

系统设计题，如果没有完整的方案也没关系，主要看表现的思想，着重从以下三个方面考察：

  1. 项目有哪些约束条件，哪些能做，哪些不能做。

  2. 方案的利弊，选择方案时，思考方案利弊的过程。

  3. 主要的功能，最后达成什么样的效果。

系统设计往往很难，这是因为两方面的原因。1. 缺乏有效的评估手段。2. 问题往往模棱两可。面试中的理想候选人应该是这样子的：1. 能够有效的拆解问题，将复杂问题简单化。2. 能够区分该场景是否需要机器学习方案。第二点很重要，因为在当下，受媒体大环境影响，很多人会选择无脑上机器学习，殊不知某些场景简单的方法更有效。

Machine learning methods change every year, solving problems stays the same.

生产环境不同于学术环境

学术研究的一般有以下两个特点：

  1. 想法设法比上一代模型效果更好，而不用思考怎么落地使用它。
  2. 由于效果是第一要务，所以算力没有限制，加钱堆机器即可。

而生产环境不同，它的特点如下：

  • 效果并非越好才好
  • 算力资源常常有限

作为开发者，要始终牢记生产环境是我们的目标。

需着重关注的4类问题

  1. 如何采集数据、如何处理数据。

  2. 怎么选择的模型、为什么。

  3. 如何评估你的模型。

  4. 如果再来一次，哪些地方会做得不一样。

设计机器学习系统

系统设计方面，作者将其分为了4个层次，我这里也按她的逻辑进行。

项目准备

项目准备阶段，一般从三个角度思考。如同写程序一样，首先思考需要达成什么样的目标；其次是有哪些限制条件；最后是特殊例子的考虑。

展开来讲，需要达成什么样的目标：即最后用户怎么使用你的系统，你的系统吞吐多块、响应多快。

项目的限制条件包括：项目周期多长，有多少算力，需要何种能力，有哪些可用资源。

特殊例子即：是否需要结合用户做特殊化处理，例如千人千面。

最后，如同老师设计考试一样，需要考虑如何评估你的系统性能。

数据流

Machine learning is driven more by data than by algorithms

数据这里主要涉及数据的采集、存储和处理。

对于数据的采集，需考虑数据的可获得性和数据的质量。换句话说即，有哪些数据、数据的质量如何、还有哪些数据可以获取到。

数据存储问题需考虑：数据现在存在哪里、每个样本有多大、需要什么样的数据结构进行存储。

存储之后是数据处理，这一块原文的问题都很好，建议细读。抛出了以下问题：如何将原始数据转化为需要的数据、需要做特征工程吗、需要归一化吗、如何处理缺失数据等。

最后是两个值得从业者都重视的问题：用户隐私和系统偏差。

系统需要反馈，则不可避免需要收集用户数据。这里需思考哪些数据可以收集、哪些数据需要用户的同意，以及采用何种形式收集。

而对于系统性的偏差，一个成语来形容：管中窥豹。如果你的系统是那根管子，你看到的就会是带有偏差的东西。需要时刻提防系统偏差带来的偏见，防止模型放大这种偏见。

建模

建模对于熟悉各类算法竞赛的人来说，问题不大。但还是需要强调，生产环境不同于竞赛或学术。模型选择上，简单模型优先。

简单模型有如下好处：

  • 逐渐增加负责度，有利于调试
  • 作为 baseline，方便判断模型好坏

选择一个好的 baseline，可以帮助判断问题是否适合上模型。baseline 设置有如下三种方法：

  • 随机 baseline

  • 专家 baseline

  • 简单的统计 baseline

最后需要强调的是，深度学习并非万能，非深度学习方法也很管用。比起深度学习需要的大量数据，你可能更需要的是早期的用户。

Deep learning needs data，you might first need users.

模型的 debug

不收敛、过拟合、权重大幅波动

常见可能

  • 理论局限

  • 错误的假设前提

  • 复杂模型

  • 拼写错误

  • 超参数不合适

  • 数据问题

调试的几个建议

  • 逐渐增加复杂度

    • 刚开始简单一些，用简单模型验证模型

  • 在小批次数据上过拟合

    • 以此验证模型的极限，观察模型是否适合该问题

  • 设置随机种子

    • 保持结果能够复现

服务部署

模型走到最后一步，就是 Serving。这里我将其翻译为服务部署。类似的文章我也写过，主要是技术层面，可参考：https://kuhungio.me/2019/flask_vue_ml/

这里从逻辑层面讲述，主要分为两个部分，以交付用户为分割点。

交付用户前：从用户收集何种反馈，如何判断模型是否正常。

交付用户后：

  • 是否需要拟合最新的反馈结果

  • 是否需要个性化服务

  • 多久更新一次模型

最后是一些其他问题，诸如：业务是否需要模型的可解释性，潜在的数据偏差是否误导了模型等。

All models are wrong, but some are useful.

10个经典案例学习

作者罗列了10个精彩案例，知名企业的机器学习系统设计文章。但由于一些技术原因，部分内容加载缓慢或无法加载。我这里将其转成 pdf 同步到了我的 Github 上，笔记标注版放在了我的公众号–谷粒说数上，欢迎大家捧场。

就内容而言，简单点评一下：

读后收获最大的是第五篇文章，讲 Airbnb 搜索排序的迭代过程。该文详细描述了初始版到线上版的迭代过程，辅以详细的特征手法和数据说明。同时也是很好的 CTR 点击率转化教程。其他的不读都可以，这篇强烈建议阅读。

做得最好看得要数第七篇文章，instacart 公司在配送货物过程中，利用可视化辅助算法决策。

更多得精彩，有待各位去发现啦。

案例地址：https://github.com/kuhung/machine-learning-systems-design/tree/master/pdf

笔记标注版：关注公众号【谷粒说数】，陆续放出。

27道练习题

俗话说，学而不思则殆。作者也总结了27道系统设计的练习题，但感觉没有网页看着爽，于是便捣鼓上线了网站，后续将引入评论功能，欢迎贡献答案。合适的答案将整理署名后，反馈给原作者。

练习网站：https://kuhungio.me/machine-learning-systems-design/

不知道对于机器学习系统设计，你有什么想法呢？欢迎在屏幕下方留言。

喜欢我的朋友，别忘了点赞 👍、喜欢 ❤ +关注 🔔哦，你的鼓励是对我最大的支持~💪 关于我