你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

对应原来的军事天地,显然不完全是讨论军事。

版主: Softfist

头像
hci
论坛精英
论坛精英
帖子: 6550
注册时间: 7月 22, 2022, 3:29 pm
昵称(选填): 海螺子

#21 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 hci »

你需要好好学习。ready only 的mmap不是说数据库是ready only
Ifloating 写了: 3月 28, 2024, 6:46 pm readonly 的数据库有什么用?
不能更新 和一堆死肉有什么区别
Ifloating楼主
职业作家
职业作家
帖子: 787
注册时间: 7月 22, 2022, 11:46 am

#22 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 Ifloating楼主 »

hci 写了: 3月 28, 2024, 6:51 pm 你需要好好学习。ready only 的mmap不是说数据库是ready only
那你来解释一下怎么更新数据库
hulooo
论坛点评
论坛点评
帖子: 2096
注册时间: 11月 14, 2022, 2:45 pm
昵称(选填): hulooo

#23 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 hulooo »

Ifloating 写了: 3月 28, 2024, 6:48 pm 那就是说让人类停止了发展和操逼了?
肯定另有write path了。
Ifloating楼主
职业作家
职业作家
帖子: 787
注册时间: 7月 22, 2022, 11:46 am

#24 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 Ifloating楼主 »

hulooo 写了: 3月 28, 2024, 6:52 pm 肯定另有write path了。
那样的数据库会失去durability and consistency
垃圾了
hulooo
论坛点评
论坛点评
帖子: 2096
注册时间: 11月 14, 2022, 2:45 pm
昵称(选填): hulooo

#25 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 hulooo »

Ifloating 写了: 3月 28, 2024, 6:54 pm 那样的数据库会失去durability and consistency
垃圾了
不懂。也懒得看detail了。俺不碰底层的东西有10年了。
头像
hci
论坛精英
论坛精英
帖子: 6550
注册时间: 7月 22, 2022, 3:29 pm
昵称(选填): 海螺子

#26 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 hci »

是的,用file system来写。read only的mmap是LMDB的缺省设定,是最安全的设定。

https://stackoverflow.com/questions/630 ... -only-mmap

很多用户用writable mmap的设定,速度要快一些,但更危险。我的数据库就是缺省这样,因为我是从JVM来访问,不太可能乱写到LMDB的mmap里面去了。
hulooo 写了: 3月 28, 2024, 6:52 pm 肯定另有write path了。
上次由 hci 在 3月 28, 2024, 7:02 pm,总共编辑 1 次。
头像
hci
论坛精英
论坛精英
帖子: 6550
注册时间: 7月 22, 2022, 3:29 pm
昵称(选填): 海螺子

#27 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 hci »

no
Ifloating 写了: 3月 28, 2024, 6:54 pm 那样的数据库会失去durability and consistency
垃圾了
Ifloating楼主
职业作家
职业作家
帖子: 787
注册时间: 7月 22, 2022, 11:46 am

#28 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 Ifloating楼主 »

hci 写了: 3月 28, 2024, 7:01 pmno
你是傻逼 还在犟
头像
hci
论坛精英
论坛精英
帖子: 6550
注册时间: 7月 22, 2022, 3:29 pm
昵称(选填): 海螺子

#29 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 hci »

哈哈。屁都不懂的,还在这儿扯,上面的链接里代码都给你看了,你老老实实研究就行了。
Ifloating 写了: 3月 28, 2024, 7:04 pm 你是傻逼 还在犟
头像
hci
论坛精英
论坛精英
帖子: 6550
注册时间: 7月 22, 2022, 3:29 pm
昵称(选填): 海螺子

#30 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 hci »

hacker news 讨论这个题目很多次了。

https://news.ycombinator.com/item?id=39321038
Ifloating楼主
职业作家
职业作家
帖子: 787
注册时间: 7月 22, 2022, 11:46 am

#31 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 Ifloating楼主 »

hci 写了: 3月 28, 2024, 7:06 pm 哈哈。屁都不懂的,还在这儿扯,上面的链接里代码都给你看了,你老老实实研究就行了。
傻逼 牺牲速度而为了用mmap 就是脑子抽了净屎了
脱裤子放屁
头像
hci
论坛精英
论坛精英
帖子: 6550
注册时间: 7月 22, 2022, 3:29 pm
昵称(选填): 海螺子

#32 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 hci »

你搞反了吧?用mmap不是为了速度,而是为了与OS更好配合,合理使用资源。明明是OS kernel在干的事,应用程序不需要自己去搞一套。

这些学术界搞DB研究的人,没有屁事干,搞turf war,想从OS里抢活来干,才写了这个屁文,被批得体无完肤。

就这么点事。

你看大家的评论,都说用read-only mmap是个更好的设计。
Ifloating 写了: 3月 28, 2024, 7:09 pm 傻逼 牺牲速度而为了用mmap 就是脑子抽了净屎了
脱裤子放屁
xiaoju
论坛精英
论坛精英
帖子: 8352
注册时间: 9月 5, 2023, 8:18 pm
昵称(选填): 可爱的龙猫

#33 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 xiaoju »

OS的cache有个问题是不知道什么东西不用cache,而现实中的某些数据不需要cache。掌握的先验知识越多,cache命中率越高。

DB比OS算法复杂的多,甚至可以在DB文件上禁掉OS cache节省内存。

不过很多的DB实际上是被当key/value表用,这是另一回事。
hci 写了: 3月 28, 2024, 7:15 pm 你搞反了吧?用mmap不是为了速度,而是为了与OS更好配合,合理使用资源。明明是OS kernel在干的事,应用程序不需要自己去搞一套。

这些学术界搞DB研究的人,没有屁事干,搞turf war,想从OS里抢活来干,才写了这个屁文,被批得体无完肤。

就这么点事。

你看大家的评论,都说用read-only mmap是个更好的设计。
fangkuuaih
论坛支柱
论坛支柱
帖子: 13372
注册时间: 7月 22, 2022, 9:19 am

#34 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 fangkuuaih »

xiaoju 写了: 3月 28, 2024, 7:23 pm OS的cache有个问题是不知道什么东西不用cache,而现实中的某些数据不需要cache。掌握的先验知识越多,cache命中率越高。

DB比OS算法复杂的多,甚至可以在DB文件上禁掉OS cache节省内存。

不过很多的DB实际上是被当key/value表用,这是另一回事。
Os 有什么cache,是CPU cache。
cache命中率是CPU的事,OS没法操作。
xiaoju
论坛精英
论坛精英
帖子: 8352
注册时间: 9月 5, 2023, 8:18 pm
昵称(选填): 可爱的龙猫

#35 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 xiaoju »

OS访问磁盘高度依赖内存cache,否则速度慢死,硬盘没几天就挂了。
fangkuuaih 写了: 3月 28, 2024, 7:27 pm Os 有什么cache,是CPU cache。
cache命中率是CPU的事,OS没法操作。
头像
hci
论坛精英
论坛精英
帖子: 6550
注册时间: 7月 22, 2022, 3:29 pm
昵称(选填): 海螺子

#36 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 hci »

这个论点没有什么意义,只是个空洞的说法。

上层应用当然知道自己的逻辑更多,当问题是,上层应用并没有整个机器的运行状况的全局图景,你知道自己的多也没有屁用。kernel不知道你上面在搞什么,但它对整个机器运行状况是清楚的,可以统筹调度。

所以上层应用需要做的,是把自己的需求告诉kernel,而不是去自己搞一套。搞也没有用,kernel还是自己想干啥就干啥,你一个应用层的进程,又干不过,何必费劲呢。用MMap的数据库系统,就是这样的,与OS配合,用OS给你的工具,而不是自己搞一套。
xiaoju 写了: 3月 28, 2024, 7:23 pm OS的cache有个问题是不知道什么东西不用cache,而现实中的某些数据不需要cache。掌握的先验知识越多,cache命中率越高。

DB比OS算法复杂的多,甚至可以在DB文件上禁掉OS cache节省内存。

不过很多的DB实际上是被当key/value表用,这是另一回事。
xiaoju
论坛精英
论坛精英
帖子: 8352
注册时间: 9月 5, 2023, 8:18 pm
昵称(选填): 可爱的龙猫

#37 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 xiaoju »

过去很多DB是独占整个机器或者集群资源的,这种情况下当然不希望OS添乱,和docker跑个nosql大不一样。

现在那些深度学习的集群,OS也只是旁观者。
hci 写了: 3月 28, 2024, 7:32 pm 这个论点没有什么意义,只是个空洞的说法。

上层应用当然知道自己的逻辑更多,当问题是,上层应用并没有整个机器的运行状况的全局图景,你知道自己的多也没有屁用。kernel不知道你上面在搞什么,但它对整个机器运行状况是清楚的,可以统筹调度。

所以上层应用需要做的,是把自己的需求告诉kernel,而不是去自己搞一套。搞也没有用,kernel还是自己想干啥就干啥,你一个应用层的进程,又干不过,何必费劲呢。用MMap的数据库系统,就是这样的,与OS配合,用OS给你的工具,而不是自己搞一套。
头像
hci
论坛精英
论坛精英
帖子: 6550
注册时间: 7月 22, 2022, 3:29 pm
昵称(选填): 海螺子

#38 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 hci »

操,连OS有cache都不知道。太夸张了,现在的同学们都不学OS了么?
fangkuuaih 写了: 3月 28, 2024, 7:27 pm Os 有什么cache,是CPU cache。
cache命中率是CPU的事,OS没法操作。
fangkuuaih
论坛支柱
论坛支柱
帖子: 13372
注册时间: 7月 22, 2022, 9:19 am

#39 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 fangkuuaih »

xiaoju 写了: 3月 28, 2024, 7:29 pm OS访问磁盘高度依赖内存cache,否则速度慢死,硬盘没几天就挂了。
你把两个cache的概念搞混了。
cache的本意是CPU的缓存,由mmu管理,有cache命中,invalidate。这种cache os 管不上。

另一种是从软件角度讲的cache,就是划出一块内存。你说的硬盘访问所谓的cache就是dma。
头像
hci
论坛精英
论坛精英
帖子: 6550
注册时间: 7月 22, 2022, 3:29 pm
昵称(选填): 海螺子

#40 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 hci »

希望不希望都没有卵用,OS还是想干啥就干啥,想把哪个页给换出去就换了,应用程序没有任何办法,只能干瞪眼。

所以DB研究者们在搞自己的OS。等他们搞出来再看吧。

扯这些都没有用。
xiaoju 写了: 3月 28, 2024, 7:35 pm 过去很多DB是独占整个机器或者集群资源的,这种情况下当然不希望OS添乱,和docker跑个nosql大不一样。

现在那些深度学习的集群,OS也只是旁观者。
回复

回到 “军事天地(Military)”