Apache Ignite 内存速度级的分布式数据库 |
您所在的位置:网站首页 › 分布式内存库 › Apache Ignite 内存速度级的分布式数据库 |
企业正在以巨大的速度积累数据,需要大量的存储空间。由于要存储和处理数 TB 的数据,开发人员常常会陷入困境。 Apache Ignite 以内存为中心的分布式数据库、缓存和处理平台,用于事务性、分析性和流式工作负载,可以在PB级数据上享有内存级的性能。Ignite 为应用和不同的数据源之间提供一个高性能、分布式内存中数据组织管理的框架。 Ignite的一个突出特性是完全支持分布式的SQL关联,Ignite支持并置和非并置的数据关联。并置时,关联是在每个节点的可用数据集上执行的,而不需要在网络中移动大量的数据,这种方式在分布式数据库中提供了最好的扩展性和性能。Ignite和其他关系型数据库具有相似的行为,但是在处理约束和索引方面略有不同。Ignite支持一级和二级索引,但是只有一级索引支持唯一性。在持久化方面,Ignite固化内存在内存和磁盘中都能良好的工作,但是持久化到磁盘是可以禁用的,一般将Ignite作为一个内存数据库来使用。 发展史Apache Ignite 多层存储实现了一种尖端的存储架构,它将内存的性能优势与基于磁盘的数据库的可扩展性和持久性优势相结合,存储模式包括内存模式、内存+外部数据库模式、多层数据库模式 内存模式基于内存计算解决方案的所有优势。以最低延迟和最高吞吐量存储和处理数据,整个数据集仅在内存层中可用,为了避免节点故障,建议在集群中至少保留一份数据的备份副本,适用于数据缓存、高性能计算、Web 会话缓存、实时处理连续数据流 通过将 Ignite 部署为现有基于磁盘的数据库和后端系统之上的缓存层来加速和卸载现有数据库。以将 Ignite 用作现有数据库(例如 RDBMS 或 NoSQL 数据库,例如 Apache Cassandra 或 MongoDB)之上的缓存层,Ignite 提供与 Apache Cassandra 的开箱即用集成。对于其他没有现成集成的 NoSQL 数据库,您可以提供自己的CacheStore接口实现。 通常,内存缓存和数据库提供有限的持久性能力。Ignite持久性没有任何限制,超出可用内存容量并在重启时跳过内存预热,100% 的数据被持久化到 Ignite 原生持久化,相同数量或更少的数据缓存在内存中。缓存的数据越多,性能越快。应用程序可以查询内存中和仅磁盘的记录,透明地扩展到可用内存容量之外。由于 Ignite 可以从磁盘提供数据,因此无需在重新启动时进行内存预热。 对 SQL 的原生支持让可以像使用标准 SQL 数据库一样使用 Ignite,Apache Ignite自带JDBC 驱动程序、ODBC 驱动程序以及支持Java、C#、C++、Python 和其他编程语言的sql API,Ignite支持所有的DML指令,包括SELECT、UPDATE、INSERT和DELETE,它还实现了一个与分布式系统有关的DDL指令的子集。Ignite的一个突出特性是完全支持分布式的SQL关联,Ignite支持并置和非并置的数据关联。并置时,关联是在每个节点的可用数据集上执行的,而不需要在网络上移动大量的数据,这种方式在分布式数据库中提供了最好的扩展性和性能 Ignite是一个强一致的平台,完全支持分布式ACID事务,内存和磁盘层,都提供一样的一致性保证。Ignite的事务,可以跨越多个节点,多个缓存(或者说表)以及多个分区。对于应用来说,乐观锁和悲观锁都是可用的,乐观模式还支持无死锁事务,可以在业务代码层面避免分布式死锁。 Ignite采用二阶段提交协议,在分布式系统中,事务可能跨越多个节点,显然,要保证所有参与节点的数据一致性是一个很大的挑战。比如,如果一个节点故障,故障节点的事务就不能完整提交,在这类场景中,要保证数据一致性,一个广泛使用的方法是二阶段提交协议(2PC)。Ignite带来了二阶段提交协议的最快实现,另外,如果事务只涉及一个分区或者一个节点,Ignite会使用一个更快的一阶段提交协议。在一个事务中,如果数据发生了变化,那么在变化提交之前,Ignite会在本地事务映射中保存一个事务的状态,提交时,数据会被发送到相关的远程节点,其中只有持有相关数据主副本的节点,才会参与事务。 一致性和Ignite持久化如果使用了Ignite的原生持久化,那么所有的更新都会写入预写日志(WAL)文件中来保证一致性,即使事务执行期间集群或者某个节点故障,也没有问题。WAL的目的是,以附加模式将更新传播到磁盘,这是将数据持久化到磁盘的最快方式,如果集群或者某个节点故障,WAL提供了一个故障场景的恢复机制,集群总是可以恢复到最近成功提交的事务状态。 一致性和第三方持久化如果Ignite作为缓存层运行于第三方数据库之上,比如RDBMS,Ignite仍然会保证缓存数据和外部数据的事务一致性。比如,如果RDBMS作为持久化层,Ignite会在将提交消息发给相关的集群节点之前,将事务写入数据库,这样的话,如果在数据库层发生事务故障,Ignite仍然会将回滚消息发给所有的相关节点,从而保持两者之间的数据一致性 架构Apache Ignite 是一个专注于分布式内存计算的开源项目。Ignite 将数据存储在内存中,分布在提供快速数据访问的多个节点上。将数据异步传播到持久层的选项是一个额外的优势。此外,与各种数据库集成的能力也使 Ignite 成为开发人员使用它进行数据库缓存的简单选择。 Apache Ignite整体来说,它基本把现在分布式的一些概念都集成了,包含分布式存储、分布式计算、分布式服务、流式计算等等。而且,它对Java语言的支持,与JDK能够很好的整合,能够很友好的兼容JDK的现有API,当你开启一个线程池,你不需要关系是本地线程池还是分布式线程池,只管提交任务就行。Apache Ignite在与RDBMS、Hadoop、Spark、Kafka等传统关系型数据库和主流大数据套件的集成,提供了非常灵活好用的组件API。 |
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |