千万级数据哪位大侠处理过啊? 关于数据库拆分存储合并查询的问题


千万级数据哪位大侠处理过啊? 关于数据库拆分存储合并查询的问题
想了很久得不到好的答案,哪位大侠帮给个意见?

7 个解决方案

#1


关于数据库拆分存储合并查询的问题 ?
什么意思?给点数据

#2


数据量非常大。几千万级数据。
每月更新一次域名WHIOS信息,对比原信息与当今信息的区别,相同则略过不,不同则存储下来。
打算以某种规划将这些域名拆分存储在不同数据库中,查询时又要全部查询。

就是这意思了,老大给个意见吧

#3


有兄弟这样说:

[泸州]石头(544367754)  11:26:35
我觉得分表存放比较好,分数据库有点麻烦
[泸州]石头(544367754)  11:26:45
后面的补充就清楚多了
[泸州]石头(544367754)  11:27:00
.cn的一个表,.com的一个表
[泸州]石头(544367754)  11:27:09
.net一个表
[泸州]石头(544367754)  11:27:14
这样行不行呢

#4


主要是数据库优化

#5


对。关键是方法啊。。。

#6


域名以26个字母与10个数字数字开头拆分表存储
查询时判断域名首字然后到相应表内查询

#7


[北京]小飞(285305740)  11:27:26
不行吧 这样拆分效果不大
[北京]小飞(285305740)  11:27:54
只是把数据量从三千万降到一千万,这种区别
[泸州]石头(544367754)  11:28:21

[泸州]石头(544367754)  11:28:47
分数据库的话同样也存在这个问题啊
[北京]小飞(285305740)  11:29:11
嗯。不分库 ,分表也可以 
[泸州]石头(544367754)  11:29:12
就算你把.cn放到另一个数据库里面,数据量也不会少啊
[泸州]石头(544367754)  11:29:35
你不会把.cn的数据拆开分别入几个数据库吧?
[北京]小飞(285305740)  11:29:48
放入不同表吧
[泸州]石头(544367754)  11:30:31
放入不同表,但是查询的时候仍然要几个表同时查询
770k.cn小说(790604733)  11:30:48
我感觉你不管怎么做数据也是很庞大的
石头的几个想法和你的想法感觉都是差别多
根本解决不了数据庞大的问题 
[北京]小飞(285305740)  11:31:06
如果这样呢
770k.cn小说(790604733)  11:31:41
你表和分库数据查询基本上是一样 
[泸州]石头(544367754)  11:31:41
这样的话,我觉得速度不会提高反而会降低
[北京]小飞(285305740)  11:31:50
cn下的域名以26个字母与10个数字数字开头拆分表存储
[成都]太可怕了(710027924)  11:32:06
庞大就庞大呗,多大的数据量用多大的硬件呗。

数据多了,都是采用分布式的! 
[北京]小飞(285305740)  11:32:23
查询时判断域名首字然后到相应表内查询
[北京]小飞(285305740)  11:32:28
是不是就会好很多
[成都]太可怕了(710027924)  11:32:30
你以为什么都放一个数据库里面啊,哈欠 
[成都]太可怕了(710027924)  11:32:47
数据库服务器有N台的,作分布查询 
[泸州]石头(544367754)  11:33:08
可怕的想法可以
[成都]太可怕了(710027924)  11:33:22
门户网站是这么做的 
[泸州]石头(544367754)  11:33:31
可以把axxx.cn bxxx.cn cxxx.cn分别放入不同的表
[成都]太可怕了(710027924)  11:33:38
以前我在一家台湾的门户网站干过,就是这样做的 
[泸州]石头(544367754)  11:33:47
查询的时候先判断首字母
[泸州]石头(544367754)  11:34:00
如果是A就只查询a表
[北京]小飞(285305740)  11:34:04
石头说我的想法可不可行


[泸州]石头(544367754)  11:34:32
查询时判断域名首字然后到相应表内查询
这个可以
[北京]小飞(285305740)  11:35:10
这样下来CN域名就被拆分成36个表
[北京]小飞(285305740)  11:35:26
数据量一下从千万级降到十万级
[泸州]石头(544367754)  11:35:27

[泸州]石头(544367754)  11:35:36
a-z0-9
[泸州]石头(544367754)  11:36:10
聪明,这都被你想到了 

注意!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系我们删除。



 
© 2014-2019 ITdaan.com 粤ICP备14056181号