硬件盲问做数据分析到底用XEON还是i7啊？
本帖最后由 Metropolis 于 2017-4-30 22:33 编辑在美帝搞经济的。马上入职做叫兽（其实就是数据狗）。软件的话一般用STATA, Matlab, R比较多（我是傻逼所以stata用的最多）。
最近的研究数据样本有点大，回归模型的X矩阵搞了个8百万乘8千的，手里拿着macbook touchbar i7 (6700HQ?)跑这个模型已经慢得快想打人了，基本一个回归要睡一觉起来才能看结果。
现在的问题是可见的未来做这种数据模型的可能性很大且很频繁。好消息是入职的学校有新教师资金搞电脑，感觉不要脸一点可以搞个3000-3500刀的。
所以问题来了：
1.我知道结果跑很慢最大的问题可能是我的代码效率不高（但是stata的话reg iv这种也不能再高多少了……吧……）。
2.我也知道我的mbp touchbar最大的问题应该是RAM太小了。苹果你妈逼最大16G能干个啥！
3.但是忽略第一条的情况下，如果我要经常跑这种几百一千万乘几千一万的模型，我问学校要电脑的时候到底CPU要XEON的还是I7的啊！看网上做金融的说数据还是XEON给力，另一边一群搞经济的又说我们是农民不懂电脑但是XEON跑下来就是比I7还慢……所以我现在非常黑人问号。
哦对了，stata不能用GPU算所以GPU要求只是够给我2-3个屏幕就行了。
求站队一下，我这情况到底XEON还是I7？
如果谁有空的话也求列个配置。内存的话，i7最大是64G是吧？那就64起？
你先看看你那矩阵的运算能用GPU不
然后矩阵运算这种通常都是多核心一起上的，同一代i7和xeon粗略看频率*核心就行，某些E3真没某些i7快，部分E5还是强不少 lwa190212 发表于 2017-4-30 22:46
你先看看你那矩阵的运算能用GPU不
然后矩阵运算这种通常都是多核心一起上的，同一代i7和xeon粗略看频率*核 ...
先谢！所以搞个8核的e5还是有潜力的？
Stata不能用GPU，但是貌似R可以加GPU package. 但是很不喜欢R啊！ 你的问题规模显存会爆掉的，可以不用考虑gpu。
我觉得要是能确定问题规模所要的内存不会超过64G就用i7，否则就E5.i7的单线程比e5强太多，多线程差些。 patchper 发表于 2017-4-30 23:14
你的问题规模显存会爆掉的，可以不用考虑gpu。
我觉得要是能确定问题规模所要的内存不会超过64G就用i7，否 ...
这种不都是直接4路sli泰坦级走起吗？ Metropolis 发表于 2017-4-30 23:04
先谢！所以搞个8核的e5还是有潜力的？
Stata不能用GPU，但是貌似R可以加GPU package. 但是很不喜欢R啊！ ...
啊？E5不都是14核22核之类的然后*2路堆起来的吗 8000个变量的经济数据是不是稀疏矩阵了? 稠密矩阵的话这么大的问题用单机跑肯定很吃力啊…… lwa190212 发表于 2017-4-30 23:25
啊？E5不都是14核22核之类的然后*2路堆起来的吗
啊？前几天在看e5 2630之类的……不是六个八个核？我对硬件很文盲的…… ab5211 发表于 2017-4-30 23:09
直接买HP Z820
之前就在看这个还有那个联想的workstation。这俩哪个靠谱点儿？一直用mac不太懂现在哪个牌子售后好。 patchper 发表于 2017-4-30 23:14
你的问题规模显存会爆掉的，可以不用考虑gpu。
我觉得要是能确定问题规模所要的内存不会超过64G就用i7，否 ...
嗯……明白了，所以为了以后自己作大死搞更大的数据量还是以给自己升级足够大内存空间为首要条件是吧？ 狼=0=吼 发表于 2017-4-30 23:47
8000个变量的经济数据是不是稀疏矩阵了? 稠密矩阵的话这么大的问题用单机跑肯定很吃力啊…… ...
一大堆的fixed effects所以非常稀疏。我前几天快绝望的准备去学校借超级电脑了。 Metropolis 发表于 2017-5-1 00:05
一大堆的fixed effects所以非常稀疏。我前几天快绝望的准备去学校借超级电脑了。 ...
我不知道Stata是不是有相关的组件，R或者Matlab应该都可以把矩阵转成稀疏矩阵的，计算负荷能小很多
只是LSE的话好办。如果有Group penalty之类可能要找找基于稀疏矩阵的回归计算包 go GPU
—— 来自 Sony F8131, Android 7.1.1上的 S1Next-鹅版 patchper 发表于 2017-4-30 23:14
你的问题规模显存会爆掉的，可以不用考虑gpu。
我觉得要是能确定问题规模所要的内存不会超过64G就用i7，否 ...
just reduce batchsize
—— 来自 Sony F8131, Android 7.1.1上的 S1Next-鹅版 不都是搞集群ssh/vnc回去的么？ 狼=0=吼 发表于 2017-5-1 00:16
我不知道Stata是不是有相关的组件，R或者Matlab应该都可以把矩阵转成稀疏矩阵的，计算负荷能小很多
只是L ...
行吧。实在不行我就弄matlab里搞得了。之前懒得弄纯粹因为发表的时候要交code，懒得写readme 董卓 发表于 2017-5-1 00:33
不都是搞集群ssh/vnc回去的么？
是说远程连学校的电脑？借核要去求Computer Engineering系。那边的基特别不好搞。 菊苣在哪个学校
群里有经济的fresh phd问招不招ra
有丰富的R语言程序设计经验，同样的硬件保证运行时间缩短一半
不要工资，一年挂一篇b就行 osk666neo 发表于 2017-5-1 03:33
上ryzen 32核
—— 来自 Sony SGP771, Android 6.0上的 S1Next-鹅版
不想自己配，有哪个牌子有直接现成的么？ albertfu 发表于 2017-5-1 07:41
菊苣在哪个学校
群里有经济的fresh phd问招不招ra
我也是fresh phd啊，不是现在应该job market都结束了么为啥要找不要钱的RA工作？ 买个2679
直接爽歪歪 双路e5
什么东西样本这么大，不考虑降维一下吗？
—— 来自 Meizu MX5, Android 5.1上的 S1Next-鹅版 E3和i7都是最多64G内存，E5往上可以说不存在内存限制了。 上面诸位都不大懂数据科学_(:з」∠)_
普通的LR有线性代数解法，应该不至于睡一宿出结果，所以应该是加了正则化。如果没加正则化的话，就应该是IO瓶颈，尽管加内存就够了。
加正则化之后只能用数值方法求解，GPU加速用处真心不大，还是得靠CPU。不过一般的库应该都做了并行，所以直接考虑主频*核数就可以了。
港真你这才8000个feature，也不至于慢成这样...确定不是内存瓶颈？
—— 来自 Huawei Nexus 6P, Android 7.1.2上的 S1Next-鹅版 bigtit 发表于 2017-5-2 02:38
为啥不用学校超算，单机很累吧
除了少数适合大规模并行的任务，一般而言超算会更废物一点...
—— 来自 Huawei Nexus 6P, Android 7.1.2上的 S1Next-鹅版 k64_cc 发表于 2017-5-3 09:01
上面诸位都不大懂数据科学_(:з」∠)_
普通的LR有线性代数解法，应该不至于睡一宿出结果，所以应该是加了 ...
我觉得是没开subsample然后出事了 你的全家 发表于 2017-5-3 09:17
我觉得是没开subsample然后出事了
也是...其实好多大数据问题subsample一下都能降低一个规模，不过Macbook开个这么大的矩阵应该是爆内存没跑了。
—— 来自 Huawei Nexus 6P, Android 7.1.2上的 S1Next-鹅版 k64_cc 发表于 2017-5-3 09:28
也是...其实好多大数据问题subsample一下都能降低一个规模，不过Macbook开个这么大的矩阵应该是爆内存没 ...
我也subsample了，做proposal defense的时候我提了一句结果是subsample出来的时候我committee其中一人满脸不乐意说了一大堆我根本没听懂的问题，说还想看正常办法搞出来的结果。现在真的答辩了哪敢不从啊。
顺便再吐槽一次iPad pro打字是怎么来都不舒服。偏偏mbp依然在那儿炸着，MacBook 键盘又修去了……后天去北卡开个学术会只能抱着pro去也是酸爽。 Surlert 发表于 2017-5-2 02:30
双路e5
什么东西样本这么大，不考虑降维一下吗？
数据是1950年到2010年的美国普查信息，能不大么…… Metropolis 发表于 2017-5-3 12:13
我也subsample了，做proposal defense的时候我提了一句结果是subsample出来的时候我committee其中一人满 ...
。适量的子集和随机化只有好处没有坏处的 毕竟就算全部data一起上也不是真实分布全貌啊 你committee那帮子人是不是脑子有问题 这是优化常识啊
不知道你用的东西stata他optimizer怎么实现的 能不能换 实际上绝大多数实际存在的梯度下降实现肯定是每次只取了一部分算的。。。不然梯度计算时间就突破突破天际了
总之先插上两块E5 2670和256G内存 双路不行的话i7 7700k/6950k和64G内存
根据你的描述我觉得可能没有gpu acc用 毕竟gpu肯定要拆batch 然后虽然R和matlab都支持了但是你估计也不会用。。。
—— 来自 Sony F8131, Android 7.1.1上的 S1Next-鹅版 Metropolis 发表于 2017-5-1 11:59
我也是fresh phd啊，不是现在应该job market都结束了么为啥要找不要钱的RA工作？ ...
jm找了国内的工作，lrm羡慕美帝hrm啊 albertfu 发表于 2017-5-3 20:27
jm找了国内的工作，lrm羡慕美帝hrm啊
我也想回国，家属闹着不想在美国，但是国内学校的interview我一概bomb，甚至跟人大面试的人差点吵起来……
我是uuvvlrm…… 你的全家 发表于 2017-5-3 15:13
。适量的子集和随机化只有好处没有坏处的 毕竟就算全部data一起上也不是真实分布全貌啊 你committee那帮 ...
现在的计划是跟学校要饭的时候要i7得了。自己回头再买个xeon workstation试试，不行起码自己退好退。 Metropolis 发表于 2017-5-3 20:56
我也想回国，家属闹着不想在美国，但是国内学校的interview我一概bomb，甚至跟人大面试的人差点吵起来… ...
哎，围城。。。
回国的想去美国，美国的想去国内 Metropolis 发表于 2017-5-3 21:00
现在的计划是跟学校要饭的时候要i7得了。自己回头再买个xeon workstation试试，不行起码自己退好退。 ...
哦对了 如果内存不太方便（并且有很多的磁盘读写操作或者操作虚拟内存/swap区域） 可以上PCIE SSD
对大规模数据的IO提升非常惊人
我一个好几G的ndarray读进去只要两三秒（4m*4k） 传统sata ssd的话就要几十秒。。。
页:
[1]
2