Apache Flink Meetup · 北京站
Apache Flink 社区的活动一向是干货满满,这次 2019 年 6 月 29 日在北京望京举办的 Meetup,阵容更是让人眼前一亮。从 Flink 1.9 的新特性解读,到机器学习生态、Kubernetes 集成、高性能算法库,再到快手和 Airbnb 的一线实践,几乎涵盖了当下 Flink 生态最热门的方向。下面直接进入正题,来看看这次活动的完整信息。
时间:2019.06.29(周六)10:00-18:00
地址:北京朝阳 望京浦项中心大楼 B 座二层 W1 多功能厅
嘉宾信息
议题一:《Apache Flink 1.9 特性解读》
戴资力(Gordon Tai)——Apache Flink PMC,Ververica Software Engineer
作为 Flink 社区的 PMC 成员,Gordon 主要负责 Flink 系统开发,他在 Kafka / AWS Kinesis 精确一次连接、数据序列化框架、有状态流处理应用升级等方面贡献卓著,多次在 Flink Forward 和 Strata Data 担任讲者。
杨克特(花名:鲁尼)——Apache Flink Committer,阿里巴巴高级技术专家
2011 年硕士毕业于浙江大学后加入阿里,先后参与搜索引擎、调度系统、大数据处理等系统研发,目前负责实时计算 Flink 的 SQL 引擎。
议题二:《打造基于 Flink Table API 的机器学习生态》
秦江杰——Apache Kafka PMC,阿里巴巴高级技术专家
卡耐基梅隆大学硕士,曾任职 LinkedIn 负责 Apache Kafka 开发,是 Kafka PMC member,目前在阿里参与 Flink 开发。这次分享将聚焦 Flink 社区如何基于 Table API 打造机器学习生态,包括近期对 Table API 的功能强化、ML 场景的规划与进展。
议题三:《基于 Flink on Kubernetes 的大数据平台》
张凯——阿里云高级技术专家
负责容器服务 Kubernetes 产品架构和研发,重点探索容器技术在异构计算、深度学习、边缘计算等场景的落地。
任春德(花名:瓦力)——阿里巴巴高级技术专家
2006 年加入阿里,长期从事 Hadoop 相关大数据平台研发,目前负责 YARN 和 Flink 资源调度,通过与 YARN 深度对接,为实时计算提供大规模、高效、稳定的运行平台。
议题四:《基于 Apache Flink 的高性能机器学习算法库》
杨旭——阿里巴巴资深算法专家
负责阿里云机器学习算法平台 PAI 的基础算法研发,基于 Flink 搭建了批流一体的通用算法平台 Alink。Alink 已在阿里内部广泛使用,团队正推动开源,回馈社区。本次演讲将分享研发高性能 Flink 机器学习算法库过程中的技术积累与收获。
议题五:《Apache Flink 在快手的应用与实践》
董亭亭——快手实时计算引擎团队负责人
2013 年毕业于大连理工大学,曾任职奇虎 360、58 集团,目前负责 Flink 引擎在快手的研发、应用及周边系统建设。Flink 在快手覆盖实时监控、统计分析、多源数据 join 等场景,集群规模超千台,日处理条目超 264 亿条,峰值超 3.6 千万条/秒。分享将重点介绍实践中的稳定性、性能问题及解决思路,包括 interval join 场景下 RocksDB backend 的性能瓶颈、多数据源取数速度差异导致的稳定性问题等。
具体提纲:
1. Flink 在快手应用场景与规模
2. 快手 Flink 引擎的优化与改进
3. 未来计划
议题六:《Airbnb 实时流计算的架构与演进》
汪浩——Airbnb Data Platform Engineering Manager
南加州大学博士,现带领流计算团队为 Airbnb 提供全公司实时流计算基础设施。曾任职 IBM Watson,负责搭建 Watson 产品数据平台。主要领域包括实时流计算、大数据分析、自然语言处理。
议题七:《Apache Flink-1.9 与 Hive 的兼容性》
李锐——Apache Hive PMC,阿里巴巴技术专家
曾任 Intel、IBM,参与 Hive、HDFS、Spark 等开源项目。本次演讲介绍 Flink 与 Hive 集成项目(完善 Flink SQL 批处理能力),包括设计架构、Flink-1.9 中的集成进展及后续计划。
会议流程
9:00-10:00:签到
10:00-11:00:戴资力、杨克特《Apache Flink 1.9 特性解读》
11:00-11:15:茶歇
11:15-12:00:秦江杰《打造基于 Flink Table API 的机器学习生态》
13:00-14:00:签到
14:00-14:45:张凯、任春德《基于 Flink on Kubernetes 的大数据平台》
14:45-15:30:杨旭《基于 Apache Flink 的高性能机器学习算法库》
15:30-16:15:董亭亭《Apache Flink 在快手的应用与实践》
16:15-16:35:茶歇
16:35-17:20:汪浩《Airbnb 实时流计算的架构与演进》
17:20-18:05:李锐《Apache Flink-1.9 与 Hive 的兼容性》
18:05-18:30:抽奖、合影、会后交流

