千万级数据哪位大侠处理过啊? 关于数据库拆分存储合并查询的问题
想了很久得不到好的答案,哪位大侠帮给个意见?
7 个解决方案
关于数据库拆分存储合并查询的问题 ?
什么意思?给点数据
数据量非常大。几千万级数据。
每月更新一次域名WHIOS信息,对比原信息与当今信息的区别,相同则略过不,不同则存储下来。
打算以某种规划将这些域名拆分存储在不同数据库中,查询时又要全部查询。
就是这意思了,老大给个意见吧
有兄弟这样说:
[泸州]石头(544367754) 11:26:35
我觉得分表存放比较好,分数据库有点麻烦
[泸州]石头(544367754) 11:26:45
后面的补充就清楚多了
[泸州]石头(544367754) 11:27:00
.cn的一个表,.com的一个表
[泸州]石头(544367754) 11:27:09
.net一个表
[泸州]石头(544367754) 11:27:14
这样行不行呢
域名以26个字母与10个数字数字开头拆分表存储
查询时判断域名首字然后到相应表内查询
[北京]小飞(285305740) 11:27:26
不行吧 这样拆分效果不大
[北京]小飞(285305740) 11:27:54
只是把数据量从三千万降到一千万,这种区别
[泸州]石头(544367754) 11:28:21
哦
[泸州]石头(544367754) 11:28:47
分数据库的话同样也存在这个问题啊
[北京]小飞(285305740) 11:29:11
嗯。不分库 ,分表也可以
[泸州]石头(544367754) 11:29:12
就算你把.cn放到另一个数据库里面,数据量也不会少啊
[泸州]石头(544367754) 11:29:35
你不会把.cn的数据拆开分别入几个数据库吧?
[北京]小飞(285305740) 11:29:48
放入不同表吧
[泸州]石头(544367754) 11:30:31
放入不同表,但是查询的时候仍然要几个表同时查询
770k.cn小说(790604733) 11:30:48
我感觉你不管怎么做数据也是很庞大的
石头的几个想法和你的想法感觉都是差别多
根本解决不了数据庞大的问题
[北京]小飞(285305740) 11:31:06
如果这样呢
770k.cn小说(790604733) 11:31:41
你表和分库数据查询基本上是一样
[泸州]石头(544367754) 11:31:41
这样的话,我觉得速度不会提高反而会降低
[北京]小飞(285305740) 11:31:50
cn下的域名以26个字母与10个数字数字开头拆分表存储
[成都]太可怕了(710027924) 11:32:06
庞大就庞大呗,多大的数据量用多大的硬件呗。
数据多了,都是采用分布式的!
[北京]小飞(285305740) 11:32:23
查询时判断域名首字然后到相应表内查询
[北京]小飞(285305740) 11:32:28
是不是就会好很多
[成都]太可怕了(710027924) 11:32:30
你以为什么都放一个数据库里面啊,哈欠
[成都]太可怕了(710027924) 11:32:47
数据库服务器有N台的,作分布查询
[泸州]石头(544367754) 11:33:08
可怕的想法可以
[成都]太可怕了(710027924) 11:33:22
门户网站是这么做的
[泸州]石头(544367754) 11:33:31
可以把axxx.cn bxxx.cn cxxx.cn分别放入不同的表
[成都]太可怕了(710027924) 11:33:38
以前我在一家台湾的门户网站干过,就是这样做的
[泸州]石头(544367754) 11:33:47
查询的时候先判断首字母
[泸州]石头(544367754) 11:34:00
如果是A就只查询a表
[北京]小飞(285305740) 11:34:04
石头说我的想法可不可行
[泸州]石头(544367754) 11:34:32
查询时判断域名首字然后到相应表内查询
这个可以
[北京]小飞(285305740) 11:35:10
这样下来CN域名就被拆分成36个表
[北京]小飞(285305740) 11:35:26
数据量一下从千万级降到十万级
[泸州]石头(544367754) 11:35:27
对
[泸州]石头(544367754) 11:35:36
a-z0-9
[泸州]石头(544367754) 11:36:10
聪明,这都被你想到了