计算话题 栏目下的全部文章

多数据源混合计算的利器:开源 SPL

现代信息系统多数据源的情况很常见,尤其分析型应用经常要跨多数据源混合计算实现数据统计分析。由于数据源种类众多,有 RDB,也有 NoSQL,还有 CSV、Excel 等文件,JSON、XML 数据,HDFS、Elasticsearch、Kafka 等很多很多,要基于这些不同类型的数据源 …

开源 SPL,ORM 的终结者?

分类:计算话题 标签:,

业务逻辑经常包含较复杂的流程和计算,同时涉及数据库的读写。由于授权麻烦、影响数据库安全、无法迁移、技术要求高、编写困难等原因,很多场景不适合用存储过程实现业务逻辑。因为不擅长复杂的流程处理,SQL也不适合单独实现业务逻辑,必须与JAVA等高级 …

数据存储使用文件还是数据库,哪个更合适?

分类:计算话题 标签:,

使用数据库存储数据很常见,数据库不仅提供了多种存储策略,还可以满足数据一致性的要求,基于数据库还能很方便完成数据计算,但使用数据库存储数据也有一些缺点,在一些场景下并非最佳选择。与数据库相对的是使用文件存储数据,文件系统更加开放,使用起 …

报表查询分析业务中的数据准备用什么,SQL Java or Python?

报表查询分析都要涉及数据准备,就是把原始数据加工成可以呈现或分析的形式(如常见的报表数据集)。不过,数据准备经常并不轻松,可能面临各种复杂的情况。

为什么大数据平台会回归关系数据模型

分类:计算话题 标签:,

先说观点:因为还没找到更好的。 接下来说原因,首先来看看大数据平台都在干什么。 原因 结构化数据计算仍是重中之重 大数据平台主要是为了应对海量数据存储和分析的需求,海量数据存储的确不假,除了生产经营产生的结构化数据,还有大量音视频等非 …

爱恨交加的存储过程该往何处去?

分类:计算话题 标签:

针对存储过程优缺点的讨论(争论)由来已久,这里我们不妨来详细盘点一下存储过程的利与弊。

开源 SPL 令微服务真地”微“起来

分类:计算话题 标签:

随着微服务的流行,越来越多应用采用微服务架构开发。如何简单高效地在微服务中完成数据处理成为大家不得不面对的问题。以往单体应用架构下,我们可以借助数据库实施计算,SQL 是专用的集合计算语言,依托数据库较强的计算能力可以比较方便地完成数据处理 …

开源 SPL 打破数据库计算的封闭性

分类:计算话题 标签:,

我们知道,数据库的数据处理能力是封闭的。所谓封闭性,这里是指要被数据库计算和处理的数据,必须事先装入数据库之内,数据在数据库内部还是外部是很明确的。

Java 结构化数据处理开源库 SPL

分类:计算话题 标签:,

现代Java应用架构越来越强调数据存储和处理分离,以获得更好的可维护性、可扩展性以及可移植性,比如火热的微服务就是一种典型。这种架构通常要求业务逻辑要在Java程序中实现,而不是像传统应用架构中放在数据库中。

有什么 Spark 的替代技术

分类:计算话题 标签:

HANA是常见的内存数据库,理论上足以替代Spark,但不开源这一点劝退了很多人。Sqlite是开源的内存数据库,但只支持嵌入式调用,数据量和计算性能都受到极大限制。Redis既开源又支持高性能大数据量,但计算能力严重不足,必须大量硬编码才能完成内存计算。