【李菊福的v4.0版】【向统计局致敬】以S1和豆瓣的评分差异

月珥

囧与otz同在 妹子教训的是，我决定把这楼里不必要的东西都砍掉了，只留几个主要结论= =

为了防止后来的读者误会，楼主要指出，这贴在刚发出来的时候有95%的内容都和现在不同……

另外还有个重要内容在3楼。

更新了主楼中每组的概貌，基本上是楼主对照了原始数据后产生的大致印象，不保证恰当，也并无粉或黑的意味，说好说坏都不代表楼主本人意见，万望诸位谅解。

因为看到有人说看不懂，所以就增加一个直观说明好了……

@外语太次郎 我怎么就这么傻呢，直接把各组的均值和方差拿出来瞬间就有理有据了。另外根据新的数据，小组的描述也更新了
顺便16组的成员笑死我了哈哈哈哈哈
==================
在这贴：

http://bbs.saraba1st.com/2b/read ... amp;page=5#19976159

看到了eph大大放出的原始数据，一时手痒，就索性做了个聚类分析，傻瓜式操作也不怎么费工夫。因为结果比较多，所以另开一个主题帖。

直观地来介绍一下聚类算法：

首先假设我们现在看到了这一张图片，也就是统计局发在那一楼里的原图：

现在如果要求你在这图上画一条直线或者曲线，把这些作品分成两大类，你会怎么办？当然每个人都会有自己的看法，比如可以从左上到右下画一条线分开高评价作品和低评价作品；又或者可以从左下到右上画一条线分开男性向和女性向作品。但如果实际操作起来，这条线到底该画在哪里、画成什么形状，我相信一千个人会有一千种标准，谁也说不服谁。

那么能否找到一种比较合理的原则，以其作指导来画这一条线呢？比方说我们可以事先确立这样一种规则，要求划成两类之后，每一类内部的作品距离最小，也就是内部成员相似度最大化；而不同类别的作品之间的距离最大，也就是不同类成员的相异度最大化。如果这个原则是合理的，我们就能够用计算机自动去把这两类成员分开，也就是聚类算法。

下图是自动划成两类之后的结果（看起来和eph大大的原图不同是因为他的图里去掉了极端值，而我的图里没有去）：

大家可以看到，很明显，一个作品的质量好坏是影响作品评分的主导因素，而性向则只是次要因素，所以图上的点在一三象限方向拉的很长，二四象限方向是扁的，所以计算机就以总体评价高低为分类依据，把这条线划成了左上到右下的方向。

进一步，如果要把这些作品分成四类，会怎么样呢？

结果很有趣，并不是最直观的用两条交叉直线来划分，而是先分出最好的和最烂的作品，对于中等评分作品，则进一步再来区分男女性向。
所以，在以上例子里，最终就体现了一条原则：好片对谁都是好片，烂片对谁都是烂片， 只有那些水平不上不下的作品，大家再来按照性向划分阵营。

接下来我们根据S1和豆瓣两地评分高低以及投票数目这四个变量，把所有动画划分成2^4=16组，看看结果会如何。



========================


如果按照S1和豆瓣审美情趣的不同，用聚类算法来把动画自动划分成16类，有以下结果，当然，根据使用的参数不同也可能会有一定的变化。因为信息量有限所以自然不会非常准确，不过很多小组还是挺有特色的。

提示一下，原始数据里仅仅包含S1投票区有评分的作品。投票区没有EVA的评分所以这里自然就不会有EVA咯。

先放上每组的统计情况：

    

	S1评分均值	S1评分方差	S1票数均值	S1票数方差	豆瓣评分均值	豆瓣评分方差	豆瓣票数均值	豆瓣票数方差
1	7.695834	0.326933	114.2143	1613.243	7.04	0.183594	1541.729	1642858
2	5.28191	1.812686	586.3333	1364.333	7.266667	0.253333	6623.333	1464500
3	9.018072	NA	332	NA	9.1	NA	44082	NA
4	8.757858	0.262688	72	1778.167	8.114286	0.276667	1309.551	1142697
5	4.238087	1.127582	32.80435	733.1831	5.445652	0.43187	613.4783	604510.3
6	7.462804	0.397133	28.02632	457.1615	6.378947	0.217923	643.8421	943749.6
7	5.954018	0.225054	63.43662	1544.735	5.926761	0.195416	778.7606	813118
8	6.074494	0.64558	50.79365	1119.554	7.301587	0.231449	2526.349	7241435
9	8.605352	0.363088	786.5	10512.5	8.6	0.08	13403	30498050
10	8.899376	0.205112	247.7143	2805.471	7.835714	0.346085	2783.714	6110058
11	7.443514	2.272506	100.1111	1716.861	7.911111	1.466111	28829	38226005
12	8.608954	0.852891	403.15	5678.239	8.615	0.198184	12837.45	41224083
13	8.979408	0.184167	170.3333	36620.33	8.633333	0.023333	105027	3.66E+08
14	8.034442	0.595984	92.08108	2941.41	8.532432	0.249474	8957.243	20738815
15	6.026418	12.18859	39	2862.5	0	0	0	0
16	6.612739	0.830558	237.8824	1833.985	7.482353	0.302794	5177.412	6944644

1-似乎是典型的宅向作品，所以豆瓣宅女兴趣缺缺。
铁腕巴迪    魔剑美神REVOLUTION    毁灭世界的六人    强袭魔女    白虎    钢铁新娘    白色相簿    南家三姐妹~欢迎回来    秀逗魔导士EVOLUTION-R    Nyoron～小鹤屋学姐    战国BASARA    女王之刃流浪的战士    夏之岚    初恋限定    飞篮扣杀    潘多拉之心    Phantom ～Requiem for the Phantom～    大正棒球少女    加奈日记    浪漫追星社    狼与香辛料2    旋风管家第二季    女王之刃 王位的继承者    猫愿三角恋    白色相册 第二季    轻声密语    战斗司书    空之音    B型H系    世纪末超自然学院    强袭魔女2    圣诞之吻SS    天降之物f    缘之空    出包王女 第二季    侦探歌剧 少女福尔摩斯    刀语    尸鬼    这货是僵尸？    神剃    只有神知道的世界2    电波女与青春男    玛利亚狂热 ALIVE    我们没有翅膀    神样DOLLS    GOSICK    丹特丽安的书架    超时空要塞 边境 剧场版1 虚空歌姬    超时空要塞 边境 剧场版2 恋离飞翼    机动战士高达OO剧场版 先驱者觉醒    便·当    钢之炼金术师 叹息之丘的神圣之星    灼眼的夏娜 第三季    女神异闻录4    轮回的拉格朗日 第一季    在盛夏等待    爱杀宝贝    High School D×D    圣诞之吻SS＋plus    妖狐×仆SS    创圣的大天使EVOL    天才麻将少女：阿知贺编    潜行吧！奈亚子（重复）    谜之彼女X    黄昏少女×失忆    散华礼弥    织田信奈的野望    穷神来了    加速世界    恋爱随意链接
2-看3楼就知道这组是怎么回事了wwww
超时空要塞 边境
Angel Beats!
罪恶王冠
3-如果说神作只能有一个，可能就是它了。S1大热大好评，豆瓣大热大好评。
夏目友人帐
4-相对小众的佳作，或者说是那种要么根本不会去看，但只要看过了都会说好的作品
向阳素描×365    夜之曲    悠远之翼    波菲拉斯的漫长旅程    再造人卡辛    超智游戏    道子与哈金    圣母在上 第4季    铁腕巴迪 DECODE:02    天堂餐馆    Candy boy    第一神拳 新挑战者    真魔神 冲击!Z篇    豹头王传说    青花    忏·再见绝望老师    GA艺术科美术设计班    夏娃的时间    空中秋千    兽之奏者艾琳    你好安妮    夏之岚春夏冬中    四叶游戏    天体战士 第二季    向阳素描X三星    花丸幼稚园    王牌投手振臂高挥~夏季大会篇~    逆转监督    超元气三姐妹    超元气三姐妹 增量中    笨蛋测验召唤兽·贰    火球 魅力之章    超时空甩尾    新?大雄与铁人兵团    壳中少女：压缩    迷糊餐厅2    爆漫王 第二季    侦探歌剧 少女福尔摩斯 第二季    UN-GO episode:0 因果论    鲁邦三世 名为峰不二子的女人    复仇者：世上最强英雄组合 第2季    降世神通：科拉传说 第一季    非公认战队 秋叶原连者    壳中少女：燃烧    女子落语    摇曳百合 第二季    超译百人一首 歌之恋    写给桃子的信    强袭魔女剧场版
5-冷门烂片
幻影少年    致命紫罗兰044    新安琪莉可 深淵 第二季    空罐少女    空を見上げる少女の瞳に映る世界    神曲奏界 深红    游魂    黑神    阿拉德战记    真恋姬无双    乃木坂春香的秘密Purezza    11 Eyes~罪与罚与救赎的少女    奇迹列车-欢迎来到大江户线    天使特警2    青春CUP    大神隐    元素猎人    一骑当千 XTREME XECUTOR    无法逃离的背叛    祝福的钟声    喵丸侦探基鲁敏    咎狗之血    理欧 彩虹之门    龙之界点    金刚狼    绯弹的亚里亚    架向星空之桥    神的记事本    BLOOD-C    R-15    天魔黑兔    刀锋战士    星座彼氏    变身!偶像公主    快盗天使Twin Angel    魔具少女！    零之使魔 第四季    光明之心 幸福的面包    绯色的欠片 第一季    机动战士高达AGE    其中一个是妹妹！    薄樱鬼 黎明录    魔力家族    美少女死神 还我H之魂！    柴犬子    旋风管家剧场版
6-冷门但是没有那么烂的片
RD潜脑调查室    高地人 复仇之旅    哆啦A梦 大雄和绿巨人传    魔法学园MA    伯爵与妖精    全力兔子    毒蛇信条    小双侠    死刑判决    玛丽与伽利    天国少女    守护甜心    真·恋姫↑无双～乙女大乱～    A频道    如果杜拉    七合圣石战记    猫神八百万    30岁的保健体育    Dororon炎魔君熊熊燃烧    迷糊软网社    潜行吧！奈亚子    宝石宠物 Tinkle    无口的森田小姐    JJ萌艺社(传统艺继承部)    纯白交响曲    佛陀：美丽的红色沙漠    夏色奇迹    枪械少女    希望宅邸    Ozuma    AKB0048 第一季    大雄与奇迹之岛    DOG DAYS 第二季    战国大乱斗    Phi·Brain 神之谜题 第二季    学园救援团    希望宅邸Plus    翡翠森林狼与羊TV版
7-乏善可陈却也无处可黑，看的人不多也不少的平庸片。难怪集中了好几部肉片。
电波少女 第二季 Mission-E    恋姬无双    鹡鸰女神    艾莉森与莉莉亚    乃木坂春香的秘密    出包王女    风云决    尸姬 赫    CHAOS;HEAD    美肌一族    十字架与吸血鬼 CAPU2    夜樱四重奏    超能力少女 兰(心灵感应少女)    茜色坡道    深渊传说    武装机甲    明日的与一    机巧魔神    穿越宇宙的少女    钢壳都市雷吉欧斯    战场的女武神    香格里.拉    花冠之泪    海物语～有你陪伴～    魔力充电娘    公主恋人    简单易懂的现代魔法    肯普法    圣剑锻造师    大小姐×执事!    守护猫娘绯鞠    吸血鬼同盟    最后大魔王    闪光的夜袭    圣痕炼金士    迷途猫OVER RUNMayoi Neko Overrun    英雄    玩伴猫耳娘    MM一族    百花缭乱 武士少女    心灵侦探八云    FORTUNE ARTERIAL赤之约束    SD高达三国传 Brave Battle Warriors    食梦者玛丽    零度战姬    腹黑妹妹控兄记    分形    DOG DAYS    圣痕炼金士Ⅱ    亚斯塔露蒂的玩具    迷茫管家与懦弱的我    萝球社    歌之☆王子殿下    X战警    战国少女 桃色Paradox    吸血猫    魔乳秘剑帖    C?魔方少女    请认真的和我恋爱!    黑岩射手    战姬绝唱Symphogear    竖笛与双肩书包 第一季    要听爸爸的话    真田十勇士    超魔人    最强会长黑神 第一季    女皇之刃 叛乱    无赖勇者的鬼畜美学    弑神者！    足球骑士    恋爱与选举与巧克力
8-豆瓣（或者说宅女？）的主流口味，出现拉格朗日2纯粹是因为原数据这里对应出错了
驱魔少年    秘密～トップシークレット～    魔法使的条件～夏之空    西洋古董洋果子店 Antique    恶作剧之吻    藥師寺涼子的怪奇事件簿    二十面相少女    零之使魔 三美姬的輪舞    S?A 特优生    隐王    死神剧场版2 钻石星尘的反叛!另一个冰轮丸    今天的5年2班    无限之住人    北斗神拳 拉奥外传 激斗之章    黑冢    铁达尼亚    源氏物语千年纪 Genji    尸姬 玄    地狱少女 三鼎    棒球大联盟 第5季    神幻拍档    苍天航路    机巧魔神 第二季    信蜂    小鸠    薄樱鬼    亲吻姐姐    棒球大联盟 第6季    黑执事Ⅱ    大神与七位伙伴们    鹡鸰女神 第二季    学园默示录    战国BASARA 2    传说中勇者的传说    滑头鬼之孙    钢铁侠    薄樱鬼第二季 碧血录    梦色蛋糕师    半妖少女绮丽谭 少女妖怪柘榴    只有神知道的世界    超级机器人大战OG -The inspector-    信蜂 REVERSE    とある魔術の禁書目録II    青之驱魔师    昭和物语    异国迷宫的十字路口    未来都市No.6    死囚乐园    变态研讨会    侵略!?乌贼娘 第二季    玉响～hitotose～    世界第一初恋 第二季    Fate/stay night - UNLIMITED BLADE WORKS    最终流放~银翼之法姆~    军火女王 第一季    这个是僵尸吗 第二季    一起一起这里那里    轮回的拉格朗日 第二季    黑子的篮球    萌菌物语 Returns    夏雪密会    新的世界 未来篇    交响诗篇AO
9-分别是宅女和宅男界的话题作之王？
反逆的鲁路修R2
魔法少女小圆
10-大概可以算是每年的一线作品吧，或者说佳作，而且投票数高于第4组。但也仅限于此了
BLASSREITER    我家有个狐仙大人    魍魉之匣    天体战士    玛丽亚狂热    亡念的扎姆德    小凉宫的忧郁    天才麻将少女    天降之物    迷糊餐厅    妄想学生会    吊带袜天使    侵略！乌贼娘    女仆咖啡厅    驭星者    放浪男孩    化物语    摇曳百合    星游记 第一季    境界线上的地平线 第一季    偶像大师    因果日记    幻想嘉年华    伪物语    暴力宇宙海贼    人类衰退之后    境界线上的地平线 第二季    TARI TARI
11-豆瓣超火的作品，但是火度比不上13组。而且也有好片有烂片，质量参差不齐，但总之很受豆瓣宅界欢迎就是了。
名侦探柯南 战栗的乐谱    河童之夏    黑执事    续 夏目友人帐    好想告诉你    银魂    名侦探柯南 沉默的15分钟    追逐繁星的孩子    来自虞美人之坡
12-如果我说这组作品可以作为近年来日本动画的代表作（魁拔不算）你们别喷我>  <
福音战士新剧场版:序    食灵    龙与虎    CLANNAD ～AFTER STORY～    轻音    东之伊甸    四叠半神话大系    无头骑士异闻录 DuRaRaRa!!    钢之炼金术师FA    福音战士新剧场版: 破    魁拔之十万火急    彼日花未名    命运石之门    日常    白兔糖    回转企鹅罐    Fate/Zero 第一季    歌牌情缘    Fate/Zero 第二季    冰果
13-豆瓣最火，一定要注意这个最字。观众恐怕远远不限于宅圈。不过平均分依然战不过夏目友人帐。
秒速5厘米
你好像很美味啊
借东西的小人阿莉埃蒂
14-豆瓣向佳作。和第8组的唯一区别就是豆瓣群众们的评价更高些
交响情人梦 巴黎篇    吸血鬼骑士    噬魂师    华丽的挑战    空中杀手    东京里氏 8.0    青色文学系列    胡子小鸡    犬夜叉 完结篇    交响情人梦 最终乐章    江户盗贼团 五叶    会长是女仆大人    荒川爆笑团第二季    海月姫    爆漫王    好想告诉你2    灵异E接触    纯情罗曼史2    异邦人 无皇刃谭    荒川爆笑团    基友英雄传    夏目友人帐 参    赌博破戒录    恶魔阿萨谢尔在召唤你    世界第一初恋    意外的幸运签    少年同盟    滑头鬼之孙2 千年魔京    凉宫春日的消失    银魂 第二季    男子高中生的日常    夏目友人帐 肆    未来日记    坂道上的阿波罗    钓球    少年同盟2    轻音少女剧场版
15-这么冷门的作品我们豆瓣根本从来都没有听说过啦，萨斯噶S1
楚楚可憐超能少女組
背骑少女
ライブオン CARDLIVER 翔
Phi·Brain 神之谜题
恋爱研究会
16-又一群在S1黑子众多的作品，还好没有像第2组那样悲催。仔细看看，这组里的作品真是可怕极了！
魔法禁书目录    机动战士高达00 第二季    龙之塔 第2季    凉宫春日的忧郁2009    CANAAN    学生会的一己之见    海猫鸣泣之时    DARKER THAN BLACK 流星之双子    科学的超电磁炮    笨蛋 测验 召唤兽    轻音 第二季    我的妹妹不可能那么可爱    IS＜Infinite Stratos＞    花开物语    金錢掌控    我的朋友很少    Another

月珥

本来一二三四楼有四幅

分辨率7680*4800的

图片和若干超长的列表，是一些比较详细的细节，现在全被我砍掉了。全放在压缩文件里好了，楼主建议绝大部分观众直接跳过。

月珥

最后有一张图，这图先留着吧。其实我还有一张

分辨率也是7680*4800的

瞎眼版……

横坐标是用S1分数对豆瓣分数回归的残差，纵坐标是用S1评分数对豆瓣评分数回归的残差。一个点越偏右说明S1评分越比豆瓣高，越偏上说明S1评分数越比豆瓣多。最极端的几个点：
最靠上的265 （魔法少女小圆）——S1热度异常（远远甩开了第二名21反逆的鲁路修R2）

最靠右的62 （楚楚可憐超能少女組）——S1好评异常（另有86背骑少女；392Phi·Brain 神之谜题接近，这三个把其他的都甩在后边）

最靠左的325 （变身!偶像公主）——豆瓣好评异常（远远甩开了第二名369最终流放~银翼之法姆~）

最靠下的342（借东西的小人阿莉埃蒂）——豆瓣热度异常（和第二名338你好像很美味啊接近，这两个组成第一集团把其他片甩得——也不算远）

另外有个奇葩片368罪恶王冠，非常靠近左上角——也就是说这是S1众最热衷于黑的片子……其次是192 Angel Beats!，不愧是主楼第2组里的好基友……

再就是点的分布明显上下不对称，也就是说有不少S1热豆瓣冷的片子，反过来豆瓣热S1冷的片子却很少。也许这说明了S1众看动画的数量确实比豆瓣众多多了？
===========
另，仔细看过原始数据之后发现eph大大对0票的作品都是直接计0分的，其实很多极端点就是这么出现的。我觉得改记中间分5.5分可能会好一点，不过我画图的时候没注意这点，所以就先这样吧。

雨中曲

啥烂货，上当

静雄

你们还真是对豆瓣爱的深沉，我能说这个帖子卡出翔了么…

lnnl698453

不懂统计学, 谁来解释一下这些图标该怎么看?

多多天下

你需要一个好的可视化工具

月珥

引用第10楼lnnl698453于2012-12-13 02:15发表的  :
不懂统计学, 谁来解释一下这些图标该怎么看?

前面几张图，距离越近的，说明越相似。

月珥

引用第11楼多多天下于2012-12-13 02:25发表的 Re:【客串统计局】S1与豆瓣动画评分情况的聚类分析 :
你需要一个好的可视化工具

嗯，没错，数据量有点大，静态图实在是没办法弄，要是能做成互动的flash就很直观了。

心之渊

用聚类做是个好想法

主要是取的样本太多，点太分散
标成序号不直观啊大大，一个一个对太累了

想法搞成文字吧

luoyianwu

不直观 求改善

月珥

引用第15楼心之渊于2012-12-13 02:37发表的  :
用聚类做是个好想法

主要是取的样本太多，点太分散
标成序号不直观啊大大，一个一个对太累了

.......

我也不想用序号啊，不过貌似我用的工具对中文支持不够好，挨个改成英文又要好久……所以就只好先这样了……
改天有空的话我再想想有没有什么解决办法……

大魔法师

好多……OTL

囧与otz同在

统计局之所以是统计局，是因为他足够喜闻乐见地高明……
不够喜闻乐见地高明是没有用的……

我就是那

没搞懂这帖子干嘛的....

囧与otz同在

引用第20楼我就是那条龙于2012-12-13 03:12发表的  :
没搞懂这帖子干嘛的....

……怎么说呢……
那种，搞科研的人的心态……害怕听的人听不懂，于是把所有数据都列出来让他们看
但是其实一般人只是希望听个显浅易懂的结论……

無想の風

技术内涵帖马克

doublewings

[color=#ff0000 ]3-
夏目友人帐
11 [color=#ff0000 ]续 夏目友人帐
14 夏目友人帐 参 夏目友人帐 肆
为什么这位散得这么开？

月珥

引用第16楼囧与otz同在于2012-12-13 03:14发表的  :

……怎么说呢……
那种，搞科研的人的心态……害怕听的人听不懂，于是把所有数据都列出来让他们看
但是其实一般人只是希望听个显浅易懂的结论……

所以老师教育我们写论文一定要反复修改……
现在感觉好多了……

midearth

如果当年我有混S1，我就会好好听课了

我就是那

嗯.........12345每类代表神马呢?

囧与otz同在

引用第21楼我就是那条龙于2012-12-13 03:57发表的  :
嗯.........12345每类代表神马呢?

做完统计之后，就是自由欢快[strike]扯蛋[/strike]的论证时间啦！撒~请自由地解释这堆数据吧~然后再弄lecture review吧

vleev

バーテンダー，Bartender，调酒师，各种关键字，我觉得这片子豆瓣应该是很高好评的，为什么没有？

月珥

引用第23楼vleev于2012-12-13 04:30发表的  :
バーテンダー，Bartender，调酒师，各种关键字，我觉得这片子豆瓣应该是很高好评的，为什么没有？

那是因为eph大的原始数据里好像也没有……
http://bbs.saraba1st.com/2b/read ... amp;page=5#19976159

月珥

引用第25楼Archlich于2012-12-13 05:21发表的  :
那张图比较直观，顶楼没了任何说明反而看不懂。

@Archlich
已更新。现在应该能看懂了。

thez

主楼第二部分的解释说明应该放开头比较好吧

airlandon

你好像很美味啊 这片长期在豆瓣是日本动画类第一
实在是想不通…… 这片在豆瓣为啥这么火
S1好像没有一些热门欧美动画的评分？没看到无敌破坏王

thez

你好像很美味啊这片子很王道很正统，同时也拍得很好看，我自己是很喜欢

VALKIRA

我从头到尾就在找背骑少女，这枪果然中的好狠。。。

eaglet_loki

S1的样本比较小……

eph

这个分析有几个问题。

首先，聚类分析主要用于呈现数学上难以表示的高维分布，但是从我那两张图可以看出，这批数据接近于多元正态分布，只有一个聚集中心，所以无论你用什么聚类方法，都不会得到很好的结果。

其次，数据之间的关联性，对于实现标题的目的并不都有帮助。虽然“S1评分高豆瓣评分低”这样的类别是有意思的，但是如果你得到一个“S1投票人数20左右，豆瓣评分6左右”的类别，你会怎么解释呢——很可能这只是噪音而已。所以我觉得还不如就用那两张图各四个象限来分类更有说服力，刚好也是16类。

最后，聚类分析假设特征相似的条目属于同一类，但投票人数相近的片子未必有什么共同点——也可能只是一个热门新片和一个冷门老片。

虽然“聚类”这个词听起来很时髦，但现实中你几乎都不会得到你想要的条理清晰让人恍然大悟的归类，而仅仅是概率之神的恶作剧罢了。

roadcross

背骑少女这么个主线失衡的东西为何这么受瞩目

lain.faye

你好像很美味挺好看的啊

airlandon

好看是一回事，这个我也承认，但是单单这片在豆瓣火的不正常，这个现象有点奇怪啊
难道是因为日本人做的动物主角动画太少了？

子戏星斋

你们不要忘了个别脑残布教的情况啊

lycolis

没有虫师吗？