？ 原来sbl也会发火星帖... 也许我们太关注于面向对象，模式这些东西了，却忘了程序的最基本点，算法
google搜出来的文章
日前在书上看到一段使用多项式逼近计算平方根的代码，至今都没搞明白作者是怎样推算出那个公式的。但在尝试解决问题的过程中，学到了不少东西，于是便有了这篇心得，写出来和大家共享。其中有错漏的地方，还请大家多多指教。
的确，正如许多人所说的那样，现在有有FPU，有3DNow，有SIMD，讨论软件算法好像不合时宜。关于sqrt的话题其实早在2003年便已在 GameDev.net上得到了广泛的讨论（可见我实在非常火星了，当然不排除还有其他尚在冥王星的人，嘿嘿）。而尝试探究该话题则完全是出于本人的兴趣和好奇心（换句话说就是无知）。
我只是个beginner，所以这种大是大非的问题我也说不清楚（在GameDev.net上也有很多类似的争论）。但无论如何，Carmack在DOOM3中还是使用了软件算法，而多知道一点数学知识对3D编程来说也只有好处没坏处。3D图形编程其实就是数学，数学，还是数学。
文章原本是用HTML编排的，所以只截取了部分有比较有趣的东西放在这里。原文在我的个人主页上，同时也提供了2篇论文的下载：http://greatsorcerer.go2.icpcn.com/info/fastsqrt.html
=========================================================
在3D图形编程中，经常要求平方根或平方根的倒数，例如：求向量的长度或将向量归一化。C数学函数库中的sqrt具有理想的精度，但对于3D游戏程式来说速度太慢。我们希望能够在保证足够的精度的同时，进一步提高速度。
Carmack在QUAKE3中使用了下面的算法，它第一次在公众场合出现的时候，几乎震住了所有的人。据说该算法其实并不是Carmack发明的，它真正的作者是Nvidia的Gary Tarolli（未经证实）。
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
//
// 计算参数x的平方根的倒数
//
float InvSqrt (float x)
{
float xhalf = 0.5f*x;
int i = *(int*)&x;
i = 0x5f3759df - (i >> 1); // 计算第一个近似根
x = *(float*)&i;
x = x*(1.5f - xhalf*x*x); // 牛顿迭代法
return x;
}
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
该算法的本质其实就是牛顿迭代法（Newton-Raphson Method，简称NR），而NR的基础则是泰勒级数（Taylor Series）。NR是一种求方程的近似根的方法。首先要估计一个与方程的根比较靠近的数值，然后根据公式推算下一个更加近似的数值，不断重复直到可以获得满意的精度。其公式如下：
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
函数：y=f(x)
其一阶导数为：y\'=f\'(x)
则方程：f(x)=0 的第n+1个近似根为
x = x - f(x) / f\'(x)
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
NR最关键的地方在于估计第一个近似根。如果该近似根与真根足够靠近的话，那么只需要少数几次迭代，就可以得到满意的解。
现在回过头来看看如何利用牛顿法来解决我们的问题。求平方根的倒数，实际就是求方程1/(x^2)-a=0的解。将该方程按牛顿迭代法的公式展开为：
x=1/2*x*(3-a*x*x)
将1/2放到括号里面，就得到了上面那个函数的倒数第二行。
接着，我们要设法估计第一个近似根。这也是上面的函数最神奇的地方。它通过某种方法算出了一个与真根非常接近的近似根，因此它只需要使用一次迭代过程就获得了较满意的解。它是怎样做到的呢？所有的奥妙就在于这一行：
i = 0x5f3759df - (i >> 1); // 计算第一个近似根
超级莫名其妙的语句，不是吗？但仔细想一下的话，还是可以理解的。我们知道，IEEE标准下，float类型的数据在32位系统上是这样表示的（大体来说就是这样，但省略了很多细节，有兴趣可以GOOGLE）：
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
bits：31 30 ... 0
31：符号位
30-23：共8位，保存指数（E）
22-0：共23位，保存尾数（M）
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
所以，32位的浮点数用十进制实数表示就是：M*2^E。开根然后倒数就是：M^(-1/2)*2^(-E/2)。现在就十分清晰了。语句i> >1其工作就是将指数除以2，实现2^(E/2)的部分。而前面用一个常数减去它，目的就是得到M^(1/2)同时反转所有指数的符号。
至于那个0x5f3759df，呃，我只能说，的确是一个超级的Magic Number。
那个Magic Number是可以推导出来的，但我并不打算在这里讨论，因为实在太繁琐了。简单来说，其原理如下：因为IEEE的浮点数中，尾数M省略了最前面的1，所以实际的尾数是1+M。如果你在大学上数学课没有打瞌睡的话，那么当你看到(1+M)^(-1/2)这样的形式时，应该会马上联想的到它的泰勒级数展开，而该展开式的第一项就是常数。下面给出简单的推导过程：
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
对于实数R>0，假设其在IEEE的浮点表示中，
指数为E，尾数为M，则：
R^(-1/2)
= (1+M)^(-1/2) * 2^(-E/2)
将(1+M)^(-1/2)按泰勒级数展开，取第一项，得：
原式
= (1-M/2) * 2^(-E/2)
= 2^(-E/2) - (M/2) * 2^(-E/2)
如果不考虑指数的符号的话，
(M/2)*2^(E/2)正是(R>>1)，
而在IEEE表示中，指数的符号只需简单地加上一个偏移即可，
而式子的前半部分刚好是个常数，所以原式可以转化为：
原式 = C - (M/2)*2^(E/2) = C - (R>>1)，其中C为常数
所以只需要解方程：
R^(-1/2)
= (1+M)^(-1/2) * 2^(-E/2)
= C - (R>>1)
求出令到相对误差最小的C值就可以了
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
上面的推导过程只是我个人的理解，并未得到证实。而Chris Lomont则在他的论文中详细讨论了最后那个方程的解法，并尝试在实际的机器上寻找最佳的常数C。有兴趣的朋友可以在文末找到他的论文的链接。
所以，所谓的Magic Number，并不是从N元宇宙的某个星系由于时空扭曲而掉到地球上的，而是几百年前就有的数学理论。只要熟悉NR和泰勒级数，你我同样有能力作出类似的优化。
在GameDev.net 上有人做过测试，该函数的相对误差约为0.177585%，速度比C标准库的sqrt提高超过20%。如果增加一次迭代过程，相对误差可以降低到e- 004 的级数，但速度也会降到和sqrt差不多。据说在DOOM3中，Carmack通过查找表进一步优化了该算法，精度近乎完美，而且速度也比原版提高了一截（正在努力弄源码，谁有发我一份）。
值得注意的是，在Chris Lomont的演算中，理论上最优秀的常数（精度最高）是0x5f37642f，并且在实际测试中，如果只使用一次迭代的话，其效果也是最好的。但奇怪的是，经过两次NR后，在该常数下解的精度将降低得非常厉害（天知道是怎么回事！）。经过实际的测试，Chris Lomont认为，最优秀的常数是0x5f375a86。如果换成64位的double版本的话，算法还是一样的，而最优常数则为 0x5fe6ec85e7de30da（又一个令人冒汗的Magic Number - -b）。
这个算法依赖于浮点数的内部表示和字节顺序，所以是不具移植性的。如果放到Mac上跑就会挂掉。如果想具备可移植性，还是乖乖用sqrt好了。但算法思想是通用的。大家可以尝试推算一下相应的平方根算法。
下面给出Carmack在QUAKE3中使用的平方根算法。Carmack已经将QUAKE3的所有源代码捐给开源了，所以大家可以放心使用，不用担心会受到律师信。
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
//
// Carmack在QUAKE3中使用的计算平方根的函数
//
float CarmSqrt(float x){
union{
int intPart;
float floatPart;
} convertor;
union{
int intPart;
float floatPart;
} convertor2;
convertor.floatPart = x;
convertor2.floatPart = x;
convertor.intPart = 0x1FBCF800 + (convertor.intPart >> 1);
convertor2.intPart = 0x5f3759df - (convertor2.intPart >> 1);
return 0.5f*(convertor.floatPart + (x * convertor2.floatPart));
} what the bloody hell.... 我突然打算休学了。这东西不适合我…… 我以前一直跟别人说我不会编程
从今以后我也会一直这么说=。=
还要加上一句：我没学过高等数学和计算方法
妈的, 学数值分析时玩暗黑去了……伦家发誓一定要将那个
不就是方根倒数么?伦家要重翻书本了…… 看来3D图形编程确实是很需要数学知识的,
伦家对这编程又重新产生了兴趣口牙 看完这篇文章我终于明白一个道理，高等数学和C程序设计原来都是白学了=.=b 1+2是证明哥德巴赫猜想，和方根倒数求解不是是一个概念的 看过三遍了!
回复: 回复: 妈的, 学数值分析时玩暗黑去了……伦家发誓一
最初由 sbl 发表别忘了陈景润为之奉献毕生的1＋2
他那个东西不能叫数学……只能叫一个数字游戏 数学挂的人慢慢爬走 把泰勒级数忘得一干二净的人爬过…… 最初由 illusiome 发表
歌德巴克猜想就不是小问题.
1+2是简写,原式复杂得令人头痛.
……
回复: 你必须知道的10大算法
最初由 sbl 发表1 蒙特卡罗方法
2 单纯形法
3 KRYLOV子空间迭代法
4 矩阵分解法
5 fortran语言
6 QR算法（计算特征值）
7 快速排序（你们终于见到一个自己熟悉的算法了）
8 快速傅立叶变换
9 和10没听说过，放弃。。。。。。。。。。。...
9、整数关系确定算法（Integer Relation Detecting Algorithms）。1977: Helaman Ferguson and Rodney Forcade。一个曾让我辗转反测的算法。
10、快速多极算法(Fast Multipole Algorithms )。1987: Leslie Greengard and Vladimir Rokhlin。N体问题仿真的，不太清楚。
放狗把后两个补充上
Fortran语言为什么算到算法里了... 快排的时间复杂度是线性对数阶的(O(nlgn))
冒泡，选择是时间复杂度是平方阶的(O(n2))
我只能说这么多了... 虽然编了好几年的代码，可是从来没有好好研究过算法，一直是怎么简单怎么做……
随着机器性能提高，资源不是问题，更强调的是代码的可读性，所以现在很少有人在这方面动脑筋了～～ 最初由 好人卡 发表
快排的时间复杂度是线性对数阶的(O(nlgn))
冒泡，选择是时间复杂度是平方阶的(O(n2))
我只能说这么多了...
上学期考试还有这个。。。
感觉算法研究进去还是蛮有意思的，但就是人太懒了。。。 最初由 chunxiaohan 发表
看开发的方向了，写科学计算的程序的话还是得注意算法，手动
优化，比较接近系统底层的开发也对效率要求很高，可读性多少
要被牺牲一些。...
也就只有对算法和程序效率如此疯狂追求，才能造就id的神话
编程也好似分气宗和剑宗，id这种可算是前者中登峰造极了
不过我们这些人大概只算镳师捕快，凑合能出招搞定小喽喽而已。
--编辑---
稍微解释下误解
我这里是做工程分析的地方，这里编程不需要你知道算法，也不太关心哪个算法计算效率更高，但是必须清楚哪些问题必须分析，你的程序工程必须实现哪些功能才能运行后交出让上面人满意的报告或者学术上有说服力。就比如说有人下命令要用程序测试某参数，于是下面大家开始卖力建模设初始值，但下令的人自己肯定得清楚，什么活必须干，什么软件可以干，而懂这种的人就是那些单干都可以从招揽到完成项目全部包办的牛人。软件专家很多，编程苦力更不记其数，但只有少数人同时能成为这种工程专家，在这里干得多了，我也认为这种类型的牛人（比如带我的博士）完全应得到编程界的尊重，本来就如大家公识，这也代表着编程人才的另一种发展方向。
另，拿一个公司和一个人对比，好像没什么意义。
页:
[1]
2