互联网 Java 工程师进阶知识完全扫盲^©

本项目大部分内容来自中华石杉，版权归作者所有，内容涵盖高并发、分布式、高可用、微服务、海量数据处理等领域知识。我(@yanglbme)对这部分知识做了一个系统的整理，方便学习查阅。配合《大型网站技术架构——李智慧》、《Redis 设计与实现——黄健宏》、《Redis 深度历险——钱文品》、《亿级流量网站架构核心技术——张开涛》食用，效果更佳。

学习之前，先来看看 Issues 讨论区的技术面试官是怎么说的吧。本项目也欢迎各位开发者朋友到 Issues 讨论区分享自己的一些想法和实践经验，参与或加入开源组织请看这里，你也访问 GitHub Page 详细了解一下 Doocs。

另外，我还将在这里更新内容，感兴趣的朋友可以进来看看。

高并发架构

消息队列

• 为什么使用消息队列？消息队列有什么优点和缺点？Kafka、ActiveMQ、RabbitMQ、RocketMQ 都有什么优点和缺点？
• 如何保证消息队列的高可用？
• 如何保证消息不被重复消费？（如何保证消息消费的幂等性）
• 如何保证消息的可靠性传输？（如何处理消息丢失的问题）
• 如何保证消息的顺序性？
• 如何解决消息队列的延时以及过期失效问题？消息队列满了以后该怎么处理？有几百万消息持续积压几小时，说说怎么解决？
• 如果让你写一个消息队列，该如何进行架构设计啊？说一下你的思路。

搜索引擎

• es 的分布式架构原理能说一下么（es 是如何实现分布式的啊）？
• es 写入数据的工作原理是什么啊？es 查询数据的工作原理是什么啊？底层的 lucene 介绍一下呗？倒排索引了解吗？
• es 在数据量很大的情况下（数十亿级别）如何提高查询效率啊？
• es 生产集群的部署架构是什么？每个索引的数据量大概有多少？每个索引大概有多少个分片？

缓存

• 在项目中缓存是如何使用的？缓存如果使用不当会造成什么后果？
• Redis 和 Memcached 有什么区别？Redis 的线程模型是什么？为什么单线程的 Redis 比多线程的 Memcached 效率要高得多？
• Redis 都有哪些数据类型？分别在哪些场景下使用比较合适？
• Redis 的过期策略都有哪些？手写一下 LRU 代码实现？
• 如何保证 Redis 高并发、高可用？Redis 的主从复制原理能介绍一下么？Redis 的哨兵原理能介绍一下么？
• Redis 的持久化有哪几种方式？不同的持久化机制都有什么优缺点？持久化机制具体底层是如何实现的？
• Redis 集群模式的工作原理能说一下么？在集群模式下，Redis 的 key 是如何寻址的？分布式寻址都有哪些算法？了解一致性 hash 算法吗？如何动态增加和删除一个节点？
• 了解什么是 redis 的雪崩、穿透和击穿？Redis 崩溃之后会怎么样？系统该如何应对这种情况？如何处理 Redis 的穿透？
• 如何保证缓存与数据库的双写一致性？
• Redis 的并发竞争问题是什么？如何解决这个问题？了解 Redis 事务的 CAS 方案吗？
• 生产环境中的 Redis 是怎么部署的？

分库分表

• 为什么要分库分表（设计高并发系统的时候，数据库层面该如何设计）？用过哪些分库分表中间件？不同的分库分表中间件都有什么优点和缺点？你们具体是如何对数据库如何进行垂直拆分或水平拆分的？
• 现在有一个未分库分表的系统，未来要分库分表，如何设计才可以让系统从未分库分表动态切换到分库分表上？
• 如何设计可以动态扩容缩容的分库分表方案？
• 分库分表之后，id 主键如何处理？

读写分离

• 如何实现 MySQL 的读写分离？MySQL 主从复制原理是啥？如何解决 MySQL 主从同步的延时问题？

高并发系统

• 如何设计一个高并发系统？

分布式系统

面试连环炮

系统拆分

• 为什么要进行系统拆分？如何进行系统拆分？拆分后不用 Dubbo 可以吗？

分布式服务框架

• 说一下 Dubbo 的工作原理？注册中心挂了可以继续通信吗？
• Dubbo 支持哪些序列化协议？说一下 Hessian 的数据结构？PB 知道吗？为什么 PB 的效率是最高的？
• Dubbo 负载均衡策略和集群容错策略都有哪些？动态代理策略呢？
• Dubbo 的 spi 思想是什么？
• 如何基于 Dubbo 进行服务治理、服务降级、失败重试以及超时重试？
• 分布式服务接口的幂等性如何设计（比如不能重复扣款）？
• 分布式服务接口请求的顺序性如何保证？
• 如何自己设计一个类似 Dubbo 的 RPC 框架？

分布式锁

• Zookeeper 都有哪些应用场景？
• 使用 Redis 如何设计分布式锁？使用 Zookeeper 来设计分布式锁可以吗？以上两种分布式锁的实现方式哪种效率比较高？

分布式事务

• 分布式事务了解吗？你们如何解决分布式事务问题的？TCC 如果出现网络连不通怎么办？XA 的一致性如何保证？

分布式会话

• 集群部署时的分布式 Session 如何实现？

高可用架构

• Hystrix 介绍
• 电商网站详情页系统架构
• Hystrix 线程池技术实现资源隔离
• Hystrix 信号量机制实现资源隔离
• Hystrix 隔离策略细粒度控制
• 深入 Hystrix 执行时内部原理
• 基于 request cache 请求缓存技术优化批量商品数据查询接口
• 基于本地缓存的 fallback 降级机制
• 深入 Hystrix 断路器执行原理
• 深入 Hystrix 线程池隔离与接口限流
• 基于 timeout 机制为服务接口调用超时提供安全保护

高可用系统

• 如何设计一个高可用系统？

限流

• 如何限流？在工作中是怎么做的？说一下具体的实现？

熔断

• 如何进行熔断？
• 熔断框架都有哪些？具体实现原理知道吗？
• 熔断框架如何做技术选型？选用 Sentinel 还是 Hystrix？

降级

• 如何进行降级？

微服务架构

• 微服务架构整个章节内容属额外新增，后续抽空更新，也欢迎读者们参与补充完善
• 关于微服务架构的描述
• 从单体式架构迁移到微服务架构
• 微服务的事件驱动数据管理

Spring Cloud 微服务架构

• 什么是微服务？微服务之间是如何独立通讯的？
• Spring Cloud 和 Dubbo 有哪些区别？
• Spring Boot 和 Spring Cloud，谈谈你对它们的理解？
• 什么是服务熔断？什么是服务降级？
• 微服务的优缺点分别是什么？说一下你在项目开发中碰到的坑？
• 你所知道的微服务技术栈都有哪些？
• 微服务治理策略
• Eureka 和 Zookeeper 都可以提供服务注册与发现的功能，它们有什么区别？
• ......

海量数据处理

• 如何从大量的 URL 中找出相同的 URL？
• 如何从大量数据中找出高频词？
• 如何找出某一天访问百度网站最多的 IP？
• 如何在大量的数据中找出不重复的整数？
• 如何在大量的数据中判断一个数是否存在？
• 如何查询最热门的查询串？
• 如何统计不同电话号码的个数？
• 如何从 5 亿个数中找出中位数？
• 如何按照 query 的频度排序？
• 如何找出排名前 500 的数？

---

贡献者

感谢以下所有朋友对 GitHub 技术社区 Doocs 所做出的贡献，参与项目维护请戳这儿。

公众号

GitHub 技术社区 Doocs 旗下唯一公众号“Doocs 开源社区”，欢迎关注，专注于分享有价值的文章；当然，也可以加我个人微信（备注：GitHub）。

公众平台

个人微信