你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

对应原来的军事天地,显然不完全是讨论军事。

版主: Softfist

xiaoju
论坛精英
论坛精英
帖子: 8352
注册时间: 9月 5, 2023, 8:18 pm
昵称(选填): 可爱的龙猫

#61 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 xiaoju »

你个傻逼不学无术还满地打滚
fangkuuaih 写了: 3月 28, 2024, 8:41 pm 小菊太君,尼玛别东拉西扯了。
cache文件,尼玛又创造新名词。
头像
hci
论坛精英
论坛精英
帖子: 6557
注册时间: 7月 22, 2022, 3:29 pm
昵称(选填): 海螺子

#62 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 hci »

db想听什么?
fangkuuaih 写了: 3月 28, 2024, 8:47 pm 叔知道。你们继续说db。
xiaoju
论坛精英
论坛精英
帖子: 8352
注册时间: 9月 5, 2023, 8:18 pm
昵称(选填): 可爱的龙猫

#63 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 xiaoju »

直接访问磁盘是可以的,直接访问fs不经过cache,这个我不确定
rtscts 写了: 3月 28, 2024, 8:47 pm 应该所有的OS都提供direct I/O
rtscts
论坛点评
论坛点评
帖子: 2598
注册时间: 9月 10, 2023, 3:11 pm

#64 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 rtscts »

page cache有两种,一种是file backed, 一种叫做anon data, 就是你应用程序里面产生的数据,比如hashmap里面的数据。

flush down到disk上那是不同的两个地方。

paging和swapping的区别。
fangkuuaih
论坛支柱
论坛支柱
帖子: 13377
注册时间: 7月 22, 2022, 9:19 am

#65 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 fangkuuaih »

hci 写了: 3月 28, 2024, 8:49 pmdb想听什么?
随便,你们说到哪里就听到哪里。db里有没有多级cache的做法。
头像
hci
论坛精英
论坛精英
帖子: 6557
注册时间: 7月 22, 2022, 3:29 pm
昵称(选填): 海螺子

#66 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 hci »

-般都有。BDB有多级cache。

我写的Datalevin 也有几种不同的cache。
fangkuuaih 写了: 3月 28, 2024, 8:59 pm 随便,你们说到哪里就听到哪里。db里有没有多级cache的做法。
Ifloating楼主
职业作家
职业作家
帖子: 787
注册时间: 7月 22, 2022, 11:46 am

#67 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 Ifloating楼主 »

hci 写了: 3月 28, 2024, 8:23 pm 这是这个傻逼不会用。用LMDB 缺省设定,等于每个commit都要flush,当然慢了。如果只想写得快,把LMDB设成masync 就行了。在Linux下,不会有比这更快的了。因为这是个noop ,等于是跟kernel说,"这些页我写了,请尽快写在盘上",完全交给kernel。
你如果不能保证基本的数据库ACID功能 单机数据库都不能保证durability 还不commit 你还算是数据库?
你真的知道你在说什么?
你可能就是一个什么都搞不懂的搞不精的半桶油在晃!
labi
论坛支柱
论坛支柱
帖子: 12782
注册时间: 8月 3, 2022, 11:08 am

#68 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 labi »

hci 写了: 3月 28, 2024, 4:34 pm 这个文被批驳过多次了。这儿是LMDB作者写的,我同意:

https://www.symas.com/post/are-you-sure ... -your-dbms

主要观点是这个:这帮搞数据库的,就想抢搞操作系统的生意,但这是徒劳的。一个机器不可能只运行一个数据库软件,操作系统才能把内存管理得更好。使用mmap的数据库系统,把管理内存的工作交给操作系统,是正确的做法。
现在都docker,k8s,操作系统没啥用了吧。
头像
hci
论坛精英
论坛精英
帖子: 6557
注册时间: 7月 22, 2022, 3:29 pm
昵称(选填): 海螺子

#69 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 hci »

所以Lmdb缺省是flush every commit呀。Flush on every commit的话,用不用mmap都一样慢。这就是为什么大多数Db有wal

但是,很多场合,不需要flush,比如要bulk load 的时候,load完了自己call flush。这就是那个傻逼应该干的。

所以,要知道自己在干什么,不同场合用不同的工具。而不是像个傻逼一样,别人说什么就当成个宝。
Ifloating 写了: 3月 28, 2024, 9:52 pm 你如果不能保证基本的数据库ACID功能 单机数据库都不能保证durability 还不commit 你还算是数据库?
你真的知道你在说什么?
你可能就是一个什么都搞不懂的搞不精的半桶油在晃!
头像
hci
论坛精英
论坛精英
帖子: 6557
注册时间: 7月 22, 2022, 3:29 pm
昵称(选填): 海螺子

#70 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 hci »

啥?

这些不过是虚拟化硬件,os在他们之上。

os更重要了,因为下面的硬件都是假的,让DB自己管理内存更成为狗屁主意。只有os知道下面是什么东西。
labi 写了: 3月 28, 2024, 10:10 pm 现在都docker,k8s,操作系统没啥用了吧。
回复

回到 “军事天地(Military)”