AI写作智能体 自主规划任务,支持联网查询和网页读取,多模态高效创作各类分析报告、商业计划、营销方案、教学内容等。 广告
[TOC] # 获取数据 hadoop的mapreduce中由TextInputFormat获取数据 storm中如何获取? spout去获取数据 spout去哪里拿数据? 数据在数据库中,在文件中,在redis中,在任何存储数据的地方 假设存储文件中,1G,spout一行一行的读取文件中的数据,是在实时读取数据. 注意:只有数据实时产生,并实时获取才能让storm实时计算框架产生最大的效益 # 如何计算数据 hadoop的mapreduce中由map/reduce计算数据 storm中如何计算数据? 在Bolt中进行相关业务逻辑的计算 storm中如果有多个阶段的业务逻辑需要计算? Bolt,可以多个 Bolt1(Map1)--->Bolt2(Reduce1)--->Bolt3(Map)--->Bolt4(Reduce) # storm编程模型 spout(获取数据)--->Bolt1(计算)--->Bolt2(计算)--->Bolt3(计算)