百度360必应搜狗淘宝本站头条
头像打包下载acmecadconverter_8.52绿色版mysql 昨天的日期word文档批量处理大师破解版document.appendchild
当前位置：网站首页 > 技术教程 > 正文

健康债和技术债都不能欠 公众号: 我是攻城师(woshigcs)

csdh11 2024-12-22 15:02 1 浏览

在Solr4.4之后，Solr提供了SolrCloud分布式集群的模式，它带来的主要好处是：

（1）大数据量下更高的性能

（2）更好扩展性

（3）更高的可靠性

（4）更简单易用

什么时候应该使用SolrCloud（Shard）呢？

（1）更大的数据量

（2）更大的索引体积

（3）想并行索引和查询

（4）想自定义数据分区

SolrCloud路由的分类

A：显式路由（Composite） => 创建时明确指定shard数目，后期不能添加或者删除shard，单个shard可以split

创建collection方式：首次创建推荐提前在linux上把conf相关配置上传到zk上，然后在solr的admin进行创建， 除此之外，也支持curl和java api动态创建

独有技能：支持shard的split，不支持shard的动态添加和删除

特点：

（1）默认是基于通过hash(docid)来定位归属shard

（2）也支持在主键上加入路由字段进行路由，最多支持2级，查询时加入_route_ 参数，设置路由策略，用例如下：

一级路由例子：

china!1 usa!2

二级路由例子：

china!beijing!1 usa!nework!2

如果路由后，数据分布不均衡可对数据倾斜的路由，进行均衡，例子如下：

china/3!1 按1/8的shard个数，均衡数据，如果shard总数是24个，那么将会有3个shard存储china路由的数据

china!henan/2!1 按1/4的shard个数，均衡数据，如果shard总数是24个，那么将会有6个shard存储china!henan的数据目前固定只有1/8和1/4的比例分配，也就是只支持2，3这样的分配比例

B：隐式路由（Implict）=> 创建时明确指定shard数目，后期可以动态添加或者删除shard，但单个shard不能split

创建collection方式：首次创建推荐提前在linux上把conf相关配置上传到zk上，然后在solr的admin进行创建， 除此之外，也支持curl和java api动态创建。

独有技能：不支持shard的split，支持shard的动态添加和删除

特点：

真正的100%的手工路由，可根据业务规则进行shard设置，除此之外，支持shard的动态添加和删除，路由控制随心所欲，不像MySQL还得依赖中间件才能搞定，查询时加入_route_ 参数，设置路由策略

总结：

文章简单介绍了使用SolrCloud的好处，以及什么时候应该使用和其路由的种类与特点，路由话题在分布式系统中是一个高级技能，它与分而治之，按需所取的思想不谋而合sharding的功能并不是Solr，ElasticSearch独有，任何一个数据库存储系统都可以存在这个概念，在实际的开发应用场景中，需要根据业务一些特定的特点来合理划分维度和路由，使用得当，效率会大大提升，无论是写入还是查询，在考虑设计维度或者路由时，大部分可考虑时间，类别，等级，地区等一些字段，当然具体业务还需要具体分析，不能一概而论。

官网文档：

（1）文档路由

（2）Collection API

有什么问题可以扫码关注微信公众号：我是攻城师(woshigcs)，在后台留言咨询。

技术债不能欠，健康债更不能欠， 求道之路，与君同行。

相关推荐

Micheal Nielsen's神经网络学习之二

依然是跟着MichaelNielsen的神经网络学习，基于前一篇的学习，已经大概明白了神经网络的基本结构和BP算法，也能通过神经网络训练数字识别功能，之后我试验了一下使用神经网络训练之前的文本分类，...

CocoaPods + XCTest进行单元测试 c单元测试工具

在使用XCTest进行单元测试时，我们经常会遇到一些CocoaPods中的开源框架的调用，比如“Realm”或“Alamofire”在测试的时候，如果配置不当，会导致“frameworknotfo...

Java基础知识回顾第四篇 java基础讲解

1、&和&&的区别作为逻辑运算符：&(不管左边是什么，右边都参与运算)，&&(如果左边为false，右边则不参与运算，短路)另外&可作为位运算符...

项目中的流程及类似业务的设计模式总结

说到业务流程，可能是我做过的项目中涉及业务最多的一个方面了。除了在流程设计之外，在一些考核系统、产业审批、还有很多地方，都用到相似的设计思路，在此一并总结一下。再说到模式，并不是因为流行才用这个词，而...

联想三款显示器首批获得 Eyesafe Certified 2.0 认证

IT之家7月31日消息，据外媒报道，三款全新联想显示器是全球首批满足EyesafeCertified2.0的设备。据报道，联想获得EyesafeCertified2.0认证的显...

maven的生命周期,插件介绍(二) 一个典型的maven构建生命周期

1.maven生命周期一个完整的项目构建过程通常包括清理、编译、测试、打包、集成测试、验证、部署等步骤，Maven从中抽取了一套完善的、易扩展的生命周期。Maven的生命周期是抽象的，其中的具体任务都...

多线程(3)-基于Object的线程等待与唤醒

概述在使用synchronized进行线程同步中介绍了依赖对象锁定线程，本篇文章介绍如何依赖对象协调线程。同synchronized悲观锁一样，线程本身不能等待与唤醒，也是需要对象才能完成等待与唤醒的...

jquery mobile + 百度地图 + phonegap 写的一个"校园助手"的app

1jquerymobile+百度地图+phonegap写的一个"校园助手"的app，使用的是基于Flat-UI的jQueryMobile，请参考：https://github.com/...

Apache 服务启动不了 apache系统服务启动不了

{我是新手，从未遇到此问题，请各位大大勿喷}事由：今天早上上班突然发现公司网站出现问题。经过排查，发现是Apache出现问题。首先检查配置文件没有出问题后，启动服务发现Apache服务能启动，但是没法...

健康债和技术债都不能欠 公众号: 我是攻城师(woshigcs)

在Solr4.4之后，Solr提供了SolrCloud分布式集群的模式，它带来的主要好处是：（1）大数据量下更高的性能（2）更好扩展性（3）更高的可靠性（4）更简单易用什么时候应该使用Sol...

Eye Experience怎么用?HTC告诉你 eyebeam怎么用

IT之家（www.ithome.com）：EyeExperience怎么用？HTC告诉你HTC上周除了发布HTCDesireEYE自拍机和HTCRE管状运动相机之外，还发布了一系列新的智能手机...

Android系统应用隐藏和应用禁止卸载

1、应用隐藏与禁用Android设置中的应用管理器提供了一个功能，就是【应用停用】功能，这是针对某些系统应用的。当应用停用之后，应用的图标会被隐藏，但apk还是存在，不会删除，核心接口就是Packag...

计算机软件技术分享--赠人玫瑰,手遗余香

一、Netty介绍Netty是由JBOSS提供的一个java开源框架。Netty提供异步的、事件驱动的网络应用程序框架和工具，用以快速开发高性能、高可靠性的网络服务器和客户端程序。也就是说，Netty...

Gecco爬虫框架的线程和队列模型 爬虫通用框架

简述爬虫在抓取一个页面后一般有两个任务，一个是解析页面内容，一个是将需要继续抓取的url放入队列继续抓取。因此，当爬取的网页很多的情况下，待抓取url的管理也是爬虫框架需要解决的问题。本文主要说的是g...

一点感悟(一) 初识 初读感知的意思

时间过得很快，在IT业已从业了两年多。人这一辈子到底需要什么，在路边看着人来人往，大部分人脸上都是很匆忙。上海真是一个魔都，它有魅力，有底蕴，但是一个外地人在这里扎根置业，真的是举全家之力，还贷3...

一周热门
最近发表
标签列表