怎样使用 SAP BW 的数据做复杂逻辑的查询统计
把SAP BW里的数据取出来,就可以利用计算语言实现逻辑复杂的统计查询。SQL的计算能力足够强,可以先用informatica、Talend等ETL工具取数,再写入数据库,最后执行SQL。但这个方法入库过程繁琐、实时性差、架构复杂、集成困难。Python的计算能力也没问题, …
Java 如何处理 WebService/Restful 返回的数据
WebService/Restful返回的XML/Json属于多层数据,解析难度低,但计算难度高。传统方法是先用Dom4J/JsonPath之类的开源类库去解析,再用XPath/JsonPath计算,这种方法结构轻便好集成,但只能进行条件查询,其他计算都要硬编码。如果对计算要求高,也可以将 …
Java 怎样在 MongoDB 上做 JOIN
用MongoDB官方的查询语言就可以做join,但只能用$lookup函数实现left jon,其他类型的连接就要在$lookup的基础上自行修改了,而且很难改出来cross join。另外,官方json风格的语法很复杂,既难用又啰嗦。
TopN 怎样才能跑得快?
计算 TopN 的 SQL 语句,描述出来的算法是把数据大排序后取出前 N 名。有些数据库优化做的比较好,全集 TopN 没有做大排序,性能尚可。但对于分组后计算组内 TopN 这种更复杂的情况,用 SQL 描述起来都很难,数据库优化就更难了,通常都无法避免排序动作 …
哪种列存格式适合并行计算?
大数据量时,硬盘扫描和读取的时间占比很大。采用列式存储,在总列数很多而计算涉及的列很少时,只要读取需要的列即可,能够减少硬盘访问量,提高性能。事实上,很多数据仓库产品都采用了列式存储。
开源 SPL 重新定义 OLAP Server
OLAP(Online Analytical Processing)是指在线联机分析,基于数据查询计算并实时获得返回结果。日常业务中的报表、数据查询、多维分析等一切需要即时返回结果的数据查询任务都属于 OLAP 的范畴。对应的,行业内也有相应产品来满足这类需求,那就是 OLAP …
SQL 为什么动不动就 N 百行以 K 计
发明 SQL 的初衷之一显然是为了降低人们实施数据查询计算的难度。SQL 中用了不少类英语的词汇和语法,这是希望非技术人员也能掌握。确实,简单的 SQL 可以当作英语阅读,即使没有程序设计经验的人也能运用。
没有 RDB 也敢揽 SQL 活的开源金刚钻 SPL
SQL语法接近自然语言,上手学习门槛低,再加上先发优势的加成,很快就在数据库厂商和用户间流行开来。经过多年的发展,SQL已经成为应用较广、用户较多、较成熟的结构化数据计算语言。
Java 怎样对 MongoDB 执行 SQL
开启MongoDB的Connector服务后,可以通过MySQL JDBC执行SQL。官方工具的优点是适配性极佳,几乎无须配置就能使用,缺点是计算能力较弱,所以官方给的建议是只限于BI工具中使用。