关于漫画自动翻译的machine learning

cmlf · 发表于 2021-1-9 22:09

本帖最后由 cmlf 于 2021-1-9 22:11 编辑

Towards Fully Automated Manga Translation

好吧我也不是计算机方面的，只是刚好看到这个paper觉得很有趣便搜集了下相关信息，不知道有没有更懂的大佬想来介绍一下。
首先上paper: Towards Fully Automated Manga Translation
https://arxiv.org/pdf/2012.14271.pdf
这几个东大的家伙大概就是设计了套流程提取漫画信息并训练了个（能结合语境）的NMT(Neural Machine Translation)，翻译的具体过程如下

1. 识别格子
2. 在每一格中以从右到左，从上到下的顺序提取文字信息并排序。
3. 对整个格子进行图像识别来帮助完善语境，简单来说就是通过图像识别给每个格子打tag。

4.在获取完所需信息后便是翻译。翻译以格子为基本单位，并根据整个格子的所有文字信息作为语境来完成。在需要的时候会使用tag的信息来完善翻译（比如根据tag boy/girl翻译他/她）。
翻译的具体NMT(Neural Machine Translation)模型说实话并不懂。从文中来看建立模型的难点是在组装学习样本上（将对应的原文和外文翻译进行匹配）。

5.删原文上翻译

建立完后的模型按照作者给图大概效果如此。感官还行（作者选的图，废话）

最后是模型的评估，又是一个不懂的领域，并不是很多少数值的提升才能有质变或者达到实用范围，等个大佬指点。

然后我就去搜了搜这些家伙的成品，找到了他们公司的网址如下。
https://mantra.co.jp/index_en.html

此外他们还搞了个自动翻译的平台，(据说)可以上传漫画获取多国翻译。然而我现在并登录不进去。感觉要么锁了海外ip要么因为版权压力直接gg了，有兴趣的可以试一下
https://mantracomics.com/

他们的github
https://github.com/mantra-inc/open-mantra-dataset

好的广告打完了（不是）。其实还是有点期待成熟的自动漫画翻译软件/package的出现的，这也许是能make colddoor_manga great again的瑰宝。
当然版权问题是真的有点无解，期待叔叔下场怕不是死路一条（指大量冷门b漫改成自动翻译但依然原价收费）只能寄希望于哪群用爱发电的人能做个类似的东西给松鼠党爽爽了。

アーシェス · 发表于 2021-1-9 22:26

本帖最后由アーシェス于 2021-1-9 22:28 编辑

之前各个环节都有一些零零碎碎的工具，
识别气泡用 OpenCV 就足够了，然后再用各种 OCR 去定位并提取气泡内文本；
之前传播比较广的韩国人搞的漫画翻译工具，主要是增强了背景去字方面的能力；
此外也见过国人开发的嵌字工具（针对文本框）

cnwind042 · 发表于 2021-1-9 22:27

遇上画女硬说男的岂不是难为了电脑

BarryAllen · 发表于 2021-1-9 22:50

本帖最后由 BarryAllen 于 2021-1-9 22:55 编辑

之前好像有见过东大一个 manga109 的项目, 看了下通讯作者好像也在其中, 正文也引用了
粗略浏览了下, 几个难点
1. 没这么规律的漫画格子(要看标注效果
2. 1 前提下不同角色及其语境问题（看文章好像有标注, 图 10 还做了修正, 不过看后面加入角色信息效果还变差了
3. 无框字背景字好像没提
结果评估是人工给 214 页漫画打分, 目前日翻英分数近似 3/5 (正确理解并翻出的信息近似 60%, 感觉可以作初翻用, 至少把翻译工作减轻至校对了(
猜测没测日翻中大概因为中文不好. 另外他们还测了一下构建的数据对效果, 感觉目前还是可以改进的

aji47 · 发表于 2021-1-9 22:56

提示: 作者被禁止或删除内容自动屏蔽

cmlf · 发表于 2021-1-9 23:44

BarryAllen 发表于 2021-1-9 22:50
之前好像有见过东大一个 manga109 的项目, 看了下通讯作者好像也在其中, 正文也引用了
粗略浏览了下, 几个 ...

现在tag集就500多个项目，应该只能做到对图像内容的粗提取。如果能把图像识别做的再完善点为翻译模型添加更多的信息量我感觉还是未来可期的。

Tuxr · 发表于 2021-1-10 00:01

这bleu score有点儿低啊

还有onomatopoeia就不管了吗？

LilMemo · 发表于 2021-1-10 04:37

https://mp.weixin.qq.com/s/TcjaK7dzU44_EA6Hp1oc0g这篇论文相关的一篇解读

FishHawk · 发表于 2021-1-10 04:49

BarryAllen 发表于 2021-01-09 22:50:13
之前好像有见过东大一个 manga109 的项目, 看了下通讯作者好像也在其中, 正文也引用了
粗略浏览了下, 几 ...

请问无框字这种汉化组一般是怎么处理的？是手动补背景吗？

-- 来自能看大图的 Stage1官方 Android客户端

冰原狼 · 发表于 2021-1-10 04:59

FishHawk 发表于 2021-1-10 04:49
请问无框字这种汉化组一般是怎么处理的？是手动补背景吗？

-- 来自能看大图的 Stage1官方 Android客户 ...

手动
纯网点上的字可以用PS自动补，涉及到复杂背景就没辙了

FishHawk · 发表于 2021-1-10 14:01

冰原狼发表于 2021-01-10 04:59:13
手动
纯网点上的字可以用PS自动补，涉及到复杂背景就没辙了

谢谢，这工作量有点大啊，难为嵌字了。

-- 来自有消息提醒的 Stage1官方 Android客户端

被子十三 · 发表于 2021-1-10 16:07

喷了，这种项目也能拿到funding吗

		自动登录	找回密码
密码			立即注册

[讨论] 关于漫画自动翻译的machine learning

本帖子中包含更多资源

浏览过的版块

aji47 aji47 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2015-5-12 头像被屏蔽	发表于 2021-1-9 22:56 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报