500个G的json文件怎么做到查询

我不想拆穿你 · 发表于 2024-12-25 23:04

提示: 作者被禁止或删除内容自动屏蔽

Auhah · 发表于 2024-12-25 23:18

一个 json 对象 500g 吗

mono · 发表于 2024-12-25 23:30

流式处理
或者拆了导入搜索用的数据库如ElasticSearch

糊弄吃吃 · 发表于 2024-12-26 00:12

提示: 作者被禁止或删除内容自动屏蔽

abcxiawei · 发表于 2024-12-26 00:23

500个G的json？
首先问一下，这个json的内容是一个Object，还是若干个数组，如果是后者的话，可以流式读取，挨个处理每个数组。

但是要是一个单独的object，那就很不好搞了，我很难相信什么object能搞到这么大

dodolee · 发表于 2024-12-26 00:26

lixianfyss · 发表于 2024-12-26 03:05

解铃还须系铃人啊

KH2841 · 发表于 2024-12-26 04:26

500g的json多半是偷的数据库，你要先把它导入库里

ltycomputer · 发表于 2024-12-26 05:47

json塞PostgreSQL里查询吧

紧那罗 · 发表于 2024-12-26 07:41

典型的数据库该干的活，导进es或者MongoDB呗

—— 来自鹅球 v3.0.86-alpha

烟萝 · 发表于 2024-12-26 07:44

你确定这个东西不是先应该导入哪个管理软件吗

coyove · 发表于 2024-12-26 08:35

朋友从哪里拖的库

mimighost · 发表于 2024-12-26 12:09

流式处理，问llm

精钢魔像 · 发表于 2024-12-26 12:49

试试内存映射，python封装是mmap

如果不行可能要按行读然后手动分割了

=w= · 发表于 2024-12-26 13:05

他真的，我哭死，还好心转成json不是直接txt

小野賢章 · 发表于 2024-12-26 13:40

jq 是可以查询的，不过每次都要全部解析一遍。如果需要多次查询，还是导入数据库比较好。

ambivalence · 发表于 2024-12-26 14:42

应该是拖的数据库吧这玩意

泰坦失足 · 发表于 2024-12-26 16:30

正好最近都在折腾一个几十G文件的读取，检索，修改，保存。最后发现什么乱七八糟的专门为图设计的xx工具/库/格式都不如读写为sqlite文件

yorktown · 发表于 2024-12-26 16:52

泰坦失足发表于 2024-12-26 16:30
正好最近都在折腾一个几十G文件的读取，检索，修改，保存。最后发现什么乱七八糟的专门为图设计的xx工具/库 ...

sqlite确实好用啊

		自动登录	找回密码
密码			立即注册

[其他] 500个G的json文件怎么做到查询

我不想拆穿你我不想拆穿你当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2024-5-9 头像被屏蔽	发表于 2024-12-25 23:04 \| 显示全部楼层 \|阅读模式提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

糊弄吃吃糊弄吃吃当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2024-10-10 头像被屏蔽	发表于 2024-12-26 00:12 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报