想成为大数据工程师都需要学习哪些技术？站今天全套安排离线数据采集Co圈，只需要实现my circle和HDFS之间的数据转移，使用Co会更加轻量，需要实现多种数据源之间的数据转移，优先考虑这叉实时数据采集封装一套稳定可靠且长期使用的平台，短时间内需要快速迭代的使用会为它更担心。消息列对中间键对大数据应用场景主要考虑的是消息的高存储量和稳定性，所以卡卡是最合适的数据存储。
一次写入多次读取的HDFS可以支撑含量数据修改需求的h base主要应用在高并发和实时请求场景的ready离线数据计算Spark，它可以满足我们在海量数据下的快速计算需求。实时数据计算目前在实时数据计算领域，link是最优的选择。某平台的双11数据大屏底层的实时数据计算引擎在2017年开始也由storm替换为了fli olap数据分析比较常见的引擎主要包括paala。
吉林德鲁音clicks和Doris，每个引擎都有他们自己的优缺点，已经帮你整理好了，分布式全文检索引擎，海量数据下的场景下，建议优先考虑使用elastic search还不过瘾是不是？推荐这本新书给你，内容覆盖了大数据生态中的完整体系，咱们看书啊，就是要学习系统的知识体系、技术脉络，对不对？这本书啊，真的是从零开始讲起，有大量的图解和实战案例，可以帮你快速掌握大数据技术组件的原理架构和实战应用入门大数据，强烈推荐。