我不想拆穿你 发表于 2024-12-25 23:04

Auhah 发表于 2024-12-25 23:18

一个 json 对象 500g 吗

论坛助手,iPhone

mono 发表于 2024-12-25 23:30

流式处理
或者拆了导入搜索用的数据库 如ElasticSearch

糊弄吃吃 发表于 2024-12-26 00:12

abcxiawei 发表于 2024-12-26 00:23

500个G的json？
首先问一下，这个json的内容是一个Object，还是若干个数组，如果是后者的话，可以流式读取，挨个处理每个数组。

但是要是一个单独的object，那就很不好搞了，我很难相信什么object能搞到这么大

dodolee 发表于 2024-12-26 00:26

https://www.mongodb.com/zh-cn

lixianfyss 发表于 2024-12-26 03:05

解铃还须系铃人啊

KH2841 发表于 2024-12-26 04:26

500g的json多半是偷的数据库，你要先把它导入库里

ltycomputer 发表于 2024-12-26 05:47

json塞PostgreSQL里查询吧

紧那罗 发表于 2024-12-26 07:41

典型的数据库该干的活，导进es或者MongoDB呗

—— 来自 鹅球 v3.0.86-alpha

烟萝 发表于 2024-12-26 07:44

你确定这个东西不是先应该导入哪个管理软件吗

coyove 发表于 2024-12-26 08:35

朋友从哪里拖的库

mimighost 发表于 2024-12-26 12:09

流式处理，问llm

精钢魔像 发表于 2024-12-26 12:49

试试内存映射，python封装是mmap

如果不行可能要按行读然后手动分割了

=w= 发表于 2024-12-26 13:05

他真的，我哭死，还好心转成json不是直接txt

小野賢章 发表于 2024-12-26 13:40

jq 是可以查询的，不过每次都要全部解析一遍。如果需要多次查询，还是导入数据库比较好。

ambivalence 发表于 2024-12-26 14:42

应该是拖的数据库吧这玩意

泰坦失足 发表于 2024-12-26 16:30

正好最近都在折腾一个几十G文件的读取，检索，修改，保存。最后发现什么乱七八糟的专门为图设计的xx工具/库/格式都不如读写为sqlite文件

yorktown 发表于 2024-12-26 16:52

泰坦失足 发表于 2024-12-26 16:30
正好最近都在折腾一个几十G文件的读取，检索，修改，保存。最后发现什么乱七八糟的专门为图设计的xx工具/库 ...

sqlite确实好用啊
页: [1]
查看完整版本: 500个G的json文件怎么做到查询