云服务版本的roapi一共分成了四个部分组成。
云服务版本遵循了云原生架构的设计,并且完全依托于公有云的组件,从而实现服务的可扩展,弹性化,容灾恢复等能力。
proxy结点
proxy节点是整个服务的入口,完成不同类型请求的路由,权限验证等功能。
ingester结点
离线的数据上传和导入的方式。 数据以消息队列的方式进行导入,每批次数据有唯一时间戳,查询时可根据该时间戳,保证数据查询的版本号 数据导入后,会进行格式的转化,并且以parquet格式来存储
query结点
查询数据的服务提供者,共有两种类型的节点,针对两种不同的服务场景提供服务。
云服务query查询
分布式的任务计算和查询服务 master节点完成query解析,并会下发任务到salver节点完成数据计算,并在master节点完成结果汇总
边缘节点query查询
边缘query查询服务 用户可部署数据服务程序到本地,数据会在本地节点按配置和策略完成缓存,并保证数据一致性
请注意这是一个单机版本的查询,并不会因为部署多个节点共同计算,查询时间会缩短。 该场景针对的服务多为直接给用户提供数据服务,如果数据集过大,请产出中间数据表,并在单机的CPU内存能容纳,在合适数据规模下快速返回数据。
总结
这两种查询结点,均为无状态节点,可动态弹性伸缩
meta结点
用来存储用户,表,schema等 现在基于etcd来实现,保证数据的唯一性
job结点
后台运行,完成例行数据合并,备份。 并针对于指定数据进行倒排索引和向量索引建立,在查询时可以提升速度
最后更新于