计算话题 栏目下的全部文章

怎样使用 SAP BW 的数据做复杂逻辑的查询统计

分类:计算话题 标签:

把SAP BW里的数据取出来,就可以利用计算语言实现逻辑复杂的统计查询。SQL的计算能力足够强,可以先用informatica、Talend等ETL工具取数,再写入数据库,最后执行SQL。但这个方法入库过程繁琐、实时性差、架构复杂、集成困难。Python的计算能力也没问题, …

Java 如何处理 WebService/Restful 返回的数据

分类:计算话题 标签:

WebService/Restful返回的XML/Json属于多层数据,解析难度低,但计算难度高。传统方法是先用Dom4J/JsonPath之类的开源类库去解析,再用XPath/JsonPath计算,这种方法结构轻便好集成,但只能进行条件查询,其他计算都要硬编码。如果对计算要求高,也可以将 …

Java 怎样在 MongoDB 上做 JOIN

分类:计算话题 标签:,,

用MongoDB官方的查询语言就可以做join,但只能用$lookup函数实现left jon,其他类型的连接就要在$lookup的基础上自行修改了,而且很难改出来cross join。另外,官方json风格的语法很复杂,既难用又啰嗦。

TopN 怎样才能跑得快?

分类:计算话题 标签:

计算 TopN 的 SQL 语句,描述出来的算法是把数据大排序后取出前 N 名。有些数据库优化做的比较好,全集 TopN 没有做大排序,性能尚可。但对于分组后计算组内 TopN 这种更复杂的情况,用 SQL 描述起来都很难,数据库优化就更难了,通常都无法避免排序动作 …

哪种列存格式适合并行计算?

分类:计算话题 标签:

大数据量时,硬盘扫描和读取的时间占比很大。采用列式存储,在总列数很多而计算涉及的列很少时,只要读取需要的列即可,能够减少硬盘访问量,提高性能。事实上,很多数据仓库产品都采用了列式存储。

开源 SPL 重新定义 OLAP Server

分类:计算话题 标签:,

OLAP(Online Analytical Processing)是指在线联机分析,基于数据查询计算并实时获得返回结果。日常业务中的报表、数据查询、多维分析等一切需要即时返回结果的数据查询任务都属于 OLAP 的范畴。对应的,行业内也有相应产品来满足这类需求,那就是 OLAP …

SQL 为什么动不动就 N 百行以 K 计

分类:计算话题 标签:

发明 SQL 的初衷之一显然是为了降低人们实施数据查询计算的难度。SQL 中用了不少类英语的词汇和语法,这是希望非技术人员也能掌握。确实,简单的 SQL 可以当作英语阅读,即使没有程序设计经验的人也能运用。

没有 RDB 也敢揽 SQL 活的开源金刚钻 SPL

分类:计算话题

SQL语法接近自然语言,上手学习门槛低,再加上先发优势的加成,很快就在数据库厂商和用户间流行开来。经过多年的发展,SQL已经成为应用较广、用户较多、较成熟的结构化数据计算语言。

做 SQL 性能优化真是让人干瞪眼

分类:计算话题 标签:,

很多大数据计算都是用 SQL 实现的,跑得慢时就要去优化 SQL,但常常碰到让人干瞪眼的情况。

Java 怎样对 MongoDB 执行 SQL

分类:计算话题 标签:,,

开启MongoDB的Connector服务后,可以通过MySQL JDBC执行SQL。官方工具的优点是适配性极佳,几乎无须配置就能使用,缺点是计算能力较弱,所以官方给的建议是只限于BI工具中使用。