你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

对应原来的军事天地,显然不完全是讨论军事。

版主: Softfist

fangkuuaih
论坛支柱
论坛支柱
帖子: 13372
注册时间: 7月 22, 2022, 9:19 am

#41 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 fangkuuaih »

hci 写了: 3月 28, 2024, 7:36 pm 操,连OS有cache都不知道。太夸张了,现在的同学们都不学OS了么?
你说的是真的CPU内的SRAM cache,还是应用层用DRAM 做cache。
叔没听说过OS cache的概念。
头像
hci
论坛精英
论坛精英
帖子: 6554
注册时间: 7月 22, 2022, 3:29 pm
昵称(选填): 海螺子

#42 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 hci »

我们说的cache, 是FS cache, page cache, mmap, whatever, it's the same thing.
fangkuuaih 写了: 3月 28, 2024, 7:38 pm 你把两个cache的概念搞混了。
cache的本意是CPU的缓存,由mmu管理,有cache命中,invalidate。这种cache os 管不上。

另一种是从软件角度讲的cache,就是划出一块内存。你说的硬盘访问所谓的cache就是dma。
上次由 hci 在 3月 28, 2024, 7:53 pm,总共编辑 1 次。
xiaoju
论坛精英
论坛精英
帖子: 8352
注册时间: 9月 5, 2023, 8:18 pm
昵称(选填): 可爱的龙猫

#43 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 xiaoju »

本意你个头

计算机工程一半的精力都在研究从上到下,从物理到逻辑的各种cache。
fangkuuaih 写了: 3月 28, 2024, 7:38 pm 你把两个cache的概念搞混了。
cache的本意是CPU的缓存,由mmu管理,有cache命中,invalidate。这种cache os 管不上。

另一种是从软件角度讲的cache,就是划出一块内存。你说的硬盘访问所谓的cache就是dma。
xiaoju
论坛精英
论坛精英
帖子: 8352
注册时间: 9月 5, 2023, 8:18 pm
昵称(选填): 可爱的龙猫

#44 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 xiaoju »

我不是搞DB的,但貌似某些OS允许跳过cache直接访问磁盘。
hci 写了: 3月 28, 2024, 7:39 pm 希望不希望都没有卵用,OS还是想干啥就干啥,想把哪个页给换出去就换了,应用程序没有任何办法,只能干瞪眼。

所以DB研究者们在搞自己的OS。等他们搞出来再看吧。

扯这些都没有用。
头像
hci
论坛精英
论坛精英
帖子: 6554
注册时间: 7月 22, 2022, 3:29 pm
昵称(选填): 海螺子

#45 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 hci »

OS cache means the File system cache, which is what mmap is. mmap is the page cache. This cache is managed by the kernel.
fangkuuaih 写了: 3月 28, 2024, 7:40 pm 你说的是真的CPU内的SRAM cache,还是应用层用DRAM 做cache。
叔没听说过OS cache的概念。
上次由 hci 在 3月 28, 2024, 7:52 pm,总共编辑 3 次。
xiaoju
论坛精英
论坛精英
帖子: 8352
注册时间: 9月 5, 2023, 8:18 pm
昵称(选填): 可爱的龙猫

#46 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 xiaoju »

说明你不懂CS
In computing, a cache (/kæʃ/ ⓘ KASH)[1] is a hardware or software component that stores data so that future requests for that data can be served faster; the data stored in a cache might be the result of an earlier computation or a copy of data stored elsewhere.
fangkuuaih 写了: 3月 28, 2024, 7:40 pm 你说的是真的CPU内的SRAM cache,还是应用层用DRAM 做cache。
叔没听说过OS cache的概念。
Ifloating楼主
职业作家
职业作家
帖子: 787
注册时间: 7月 22, 2022, 11:46 am

#47 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 Ifloating楼主 »

hci 写了: 3月 28, 2024, 7:15 pm 你搞反了吧?用mmap不是为了速度,而是为了与OS更好配合,合理使用资源。明明是OS kernel在干的事,应用程序不需要自己去搞一套。

这些学术界搞DB研究的人,没有屁事干,搞turf war,想从OS里抢活来干,才写了这个屁文,被批得体无完肤。

就这么点事。

你看大家的评论,都说用read-only mmap是个更好的设计。
你果然是傻逼一路走到黑
你用readonly 都带什么好处了
就是为了用二用 真是二逼
xiaoju
论坛精英
论坛精英
帖子: 8352
注册时间: 9月 5, 2023, 8:18 pm
昵称(选填): 可爱的龙猫

#48 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 xiaoju »

是啊,mmap出来的内存和普通的应用内存没有本质区别。应用内存是pagefile-backed。所以用户态没有真正的内存不足错误,所谓的内存不足实质上是pagefile不够用了。
hci 写了: 3月 28, 2024, 7:44 pm OS cache means the File system cache, which is what mmap is. mmap is the page cache. This cache is managed by the kernel.
头像
hci
论坛精英
论坛精英
帖子: 6554
注册时间: 7月 22, 2022, 3:29 pm
昵称(选填): 海螺子

#49 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 hci »

被标记为readonly 的页面,kernel可以直接和自由地把它们换进换出,因为他们都是干净的,不是脏的,这就没有上面那个文章说到的会引起性能问题的冲突。

那个文章没有想到还可以这么玩,所以被LMDB的作者骂得体无完肤。

就这。

看评论,大家都承认,这是个很好的设计。
Ifloating 写了: 3月 28, 2024, 7:53 pm 你果然是傻逼一路走到黑
你用readonly 都带什么好处了
就是为了用二用 真是二逼
Ifloating楼主
职业作家
职业作家
帖子: 787
注册时间: 7月 22, 2022, 11:46 am

#50 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 Ifloating楼主 »

hci 写了: 3月 28, 2024, 7:57 pm 被标记为readonly 的页面,kernel可以直接和自由地把它们换进换出,因为他们都是干净的,不是脏的,这就没有上面那个文章说到的会引起性能问题的冲突。

那个文章没有想到还可以这么玩,所以被LMDB的作者骂得体无完肤。

就这。

看评论,大家都承认,这是个很好的设计。
没有用 LMDB significantly 影响写的速度
所以真是傻逼为了用mmap二用
属于东施效颦 傻逼二逼
Ifloating楼主
职业作家
职业作家
帖子: 787
注册时间: 7月 22, 2022, 11:46 am

#51 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 Ifloating楼主 »

hci 写了: 3月 28, 2024, 7:57 pm 被标记为readonly 的页面,kernel可以直接和自由地把它们换进换出,因为他们都是干净的,不是脏的,这就没有上面那个文章说到的会引起性能问题的冲突。

那个文章没有想到还可以这么玩,所以被LMDB的作者骂得体无完肤。

就这。

看评论,大家都承认,这是个很好的设计。
https://github.com/jnwatson/py-lmdb/issues/162

看来你真是二逼
fangkuuaih
论坛支柱
论坛支柱
帖子: 13372
注册时间: 7月 22, 2022, 9:19 am

#52 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 fangkuuaih »

xiaoju 写了: 3月 28, 2024, 7:45 pm 说明你不懂CS
In computing, a cache (/kæʃ/ ⓘ KASH)[1] is a hardware or software component that stores data so that future requests for that data can be served faster; the data stored in a cache might be the result of an earlier computation or a copy of data stored elsewhere.
别扯淡了。 你给叔找出一条 os cache 的维基词条。

前一种CPU cache OS根本管不上。
OS只负责应要求分配回收内存资源,你拿去做应用角度的cache也好,做程序存储也好,OS 根本不care。

拿内存做cache是应用角度来说的。

OS cache就是一种你们的layman的说法,一点都不严格。
xiaoju
论坛精英
论坛精英
帖子: 8352
注册时间: 9月 5, 2023, 8:18 pm
昵称(选填): 可爱的龙猫

#53 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 xiaoju »

为什么叫OS cache,因为OS体系结构的架构图上有个子系统就叫Cache,这个学过的都知道。


OS内核必须cache文件读写,否则速度慢到无法接受。
fangkuuaih 写了: 3月 28, 2024, 8:13 pm 别扯淡了。 你给叔找出一条 os cache 的维基词条。

前一种CPU cache OS根本管不上。
OS只负责应要求分配回收内存资源,你拿去做应用角度的cache也好,做程序存储也好,OS 根本不care。

拿内存做cache是应用角度来说的。

OS cache就是一种你们的layman的说法,一点都不严格。
头像
hci
论坛精英
论坛精英
帖子: 6554
注册时间: 7月 22, 2022, 3:29 pm
昵称(选填): 海螺子

#54 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 hci »

这是这个傻逼不会用。用LMDB 缺省设定,等于每个commit都要flush,当然慢了。如果只想写得快,把LMDB设成masync 就行了。在Linux下,不会有比这更快的了。因为这是个noop ,等于是跟kernel说,"这些页我写了,请尽快写在盘上",完全交给kernel。

Ifloating 写了: 3月 28, 2024, 8:09 pm https://github.com/jnwatson/py-lmdb/issues/162

看来你真是二逼
头像
newIdRobot
论坛精英
论坛精英
帖子: 8211
注册时间: 7月 21, 2022, 9:29 pm
昵称(选填): 新器人

#55 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 newIdRobot »

amrk
fangkuuaih
论坛支柱
论坛支柱
帖子: 13372
注册时间: 7月 22, 2022, 9:19 am

#56 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 fangkuuaih »

xiaoju 写了: 3月 28, 2024, 8:19 pm 为什么叫OS cache,因为OS体系结构的架构图上有个子系统就叫Cache,这个学过的都知道。


OS内核必须cache文件读写,否则速度慢到无法接受。
小菊太君,尼玛别东拉西扯了。
cache文件,尼玛又创造新名词。
头像
hci
论坛精英
论坛精英
帖子: 6554
注册时间: 7月 22, 2022, 3:29 pm
昵称(选填): 海螺子

#57 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 hci »

LMDB的作者是华人,说话比较冲,白人就不乐意了,想办法整他,罵他,举报他,好像弄得他被twitter ban了。
头像
hci
论坛精英
论坛精英
帖子: 6554
注册时间: 7月 22, 2022, 3:29 pm
昵称(选填): 海螺子

#58 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 hci »

Os里面说到cache,就这个,并没有歧異,就是文件緩存。
fangkuuaih 写了: 3月 28, 2024, 8:41 pm 小菊太君,尼玛别东拉西扯了。
cache文件,尼玛又创造新名词。
fangkuuaih
论坛支柱
论坛支柱
帖子: 13372
注册时间: 7月 22, 2022, 9:19 am

#59 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 fangkuuaih »

hci 写了: 3月 28, 2024, 8:45 pm Os里面说到cache,就这个,并没有歧異,就是文件緩存。
叔知道。你们继续说db。
rtscts
论坛点评
论坛点评
帖子: 2597
注册时间: 9月 10, 2023, 3:11 pm

#60 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 rtscts »

xiaoju 写了: 3月 28, 2024, 7:44 pm 我不是搞DB的,但貌似某些OS允许跳过cache直接访问磁盘。
应该所有的OS都提供direct I/O
回复

回到 “军事天地(Military)”