你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

对应原来的军事天地,显然不完全是讨论军事。

版主: Softfist

Ifloating楼主
职业作家
职业作家
帖子: 787
注册时间: 7月 22, 2022, 11:46 am

#1 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 Ifloating楼主 »

你的程序用了mmap后速度快了多少?
一秒可以处理几十万个requests?
没有就是在装逼耍嘴炮!
Ifloating楼主
职业作家
职业作家
帖子: 787
注册时间: 7月 22, 2022, 11:46 am

#2 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 Ifloating楼主 »

mongoDB 用了mmap 开始是速度快了
结果一堆内存出错问题 它们不能解决
最后傻逼了
Ifloating楼主
职业作家
职业作家
帖子: 787
注册时间: 7月 22, 2022, 11:46 am

#3 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 Ifloating楼主 »

Ifloating楼主
职业作家
职业作家
帖子: 787
注册时间: 7月 22, 2022, 11:46 am

#4 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 Ifloating楼主 »

hulooo
论坛点评
论坛点评
帖子: 2096
注册时间: 11月 14, 2022, 2:45 pm
昵称(选填): hulooo

#5 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 hulooo »

mmap和database一块用是有问题。问题的根源是Linux/Unix不是为database设计的。现在有人做database OS。
rihai
论坛支柱
论坛支柱
帖子: 11302
注册时间: 8月 16, 2022, 12:45 am
昵称(选填): temp

#6 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 rihai »

“mmap和database一块用是有问题”
还有此事?
hulooo 写了: 3月 28, 2024, 3:43 pm mmap和database一块用是有问题。问题的根源是Linux/Unix不是为database设计的。现在有人做database OS。
头像
hci
论坛精英
论坛精英
帖子: 6550
注册时间: 7月 22, 2022, 3:29 pm
昵称(选填): 海螺子

#7 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 hci »

这个文被批驳过多次了。这儿是LMDB作者写的,我同意:

https://www.symas.com/post/are-you-sure ... -your-dbms

主要观点是这个:这帮搞数据库的,就想抢搞操作系统的生意,但这是徒劳的。一个机器不可能只运行一个数据库软件,操作系统才能把内存管理得更好。使用mmap的数据库系统,把管理内存的工作交给操作系统,是正确的做法。
Ifloating 写了: 3月 28, 2024, 3:37 pm https://db.cs.cmu.edu/mmap-cidr2022/
上次由 hci 在 3月 28, 2024, 4:38 pm,总共编辑 1 次。
Sususu
知名作家
知名作家
帖子: 849
注册时间: 7月 26, 2022, 7:53 pm

#8 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 Sususu »

hci 写了: 3月 28, 2024, 4:34 pm 这个文被批驳过多次了。

主要观点是这个:这帮搞数据库的,就想抢搞操作系统的生意,但这是徒劳的。一个机器不可能只运行一个数据库软件,操作系统才能把内存管理得更好。使用mmap的数据库系统,把管理内存的工作交给操作系统,是正确的做法。
呵呵,为什么不能只跑数据库?
头像
hci
论坛精英
论坛精英
帖子: 6550
注册时间: 7月 22, 2022, 3:29 pm
昵称(选填): 海螺子

#9 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 hci »

因为大部分服务器软件现在都跑在云上。一个机器上,鬼知道跑了些什么东西,有所谓noisy neighbors的问题。

搞数据库的那帮人的确是在搞数据库OS的研究,但那还是研究。等他们研究出来,能不能实用,是另外回事。

总之,现在,目前,数据库不可能裸跑在机器上,总有一个操作系统在下面,想要抢OS的生意,是不现实的。
Sususu 写了: 3月 28, 2024, 4:37 pm 呵呵,为什么不能只跑数据库?
Ifloating楼主
职业作家
职业作家
帖子: 787
注册时间: 7月 22, 2022, 11:46 am

#10 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 Ifloating楼主 »

hci 写了: 3月 28, 2024, 4:39 pm 因为大部分服务器软件现在都跑在云上。一个机器上,鬼知道跑了些什么东西,有所谓noisy neighbors的问题。

搞数据库的那帮人的确是在搞数据库OS的研究,但那还是研究。等他们研究出来,能不能实用,是另外回事。

总之,现在,目前,数据库不可能裸跑在机器上,总有一个操作系统在下面,想要抢OS的生意,是不现实的。
很多傻逼喜欢好高骛远啊
mongodb 现在根本没有什么市场
hulooo
论坛点评
论坛点评
帖子: 2096
注册时间: 11月 14, 2022, 2:45 pm
昵称(选填): hulooo

#11 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 hulooo »

rihai 写了: 3月 28, 2024, 4:22 pm “mmap和database一块用是有问题”
还有此事?
好像和kernel的memory management 特别是caching 有冲突,还不如用buffer pool。
xiaoju
论坛精英
论坛精英
帖子: 8352
注册时间: 9月 5, 2023, 8:18 pm
昵称(选填): 可爱的龙猫

#12 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 xiaoju »

mmap的本质就是OS内置的cache系统。

用mmap大多数情况下比自己手撸的粗陋cache效率更高,但是显然不如高度优化后的DB cache。
Ifloating 写了: 3月 28, 2024, 3:30 pm 你的程序用了mmap后速度快了多少?
一秒可以处理几十万个requests?
没有就是在装逼耍嘴炮!
xiaoju
论坛精英
论坛精英
帖子: 8352
注册时间: 9月 5, 2023, 8:18 pm
昵称(选填): 可爱的龙猫

#13 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 xiaoju »

读一个固定长度的数据块,不管用不用mmap速度都是一样的,文件IO的底层也是mmap的cache系统。

但是这个世界上大部分的软件是无专业知识的临时工写的,这些人根本不知道OS还有cache这个东西。
hci 写了: 3月 28, 2024, 4:34 pm 这个文被批驳过多次了。这儿是LMDB作者写的,我同意:

https://www.symas.com/post/are-you-sure ... -your-dbms

主要观点是这个:这帮搞数据库的,就想抢搞操作系统的生意,但这是徒劳的。一个机器不可能只运行一个数据库软件,操作系统才能把内存管理得更好。使用mmap的数据库系统,把管理内存的工作交给操作系统,是正确的做法。
hulooo
论坛点评
论坛点评
帖子: 2096
注册时间: 11月 14, 2022, 2:45 pm
昵称(选填): hulooo

#14 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 hulooo »

现在micro service体系,基本上一个micro service必有一个后端database。这个就是dedicated的应用,这种情况下用database optimised OS是有case的。
头像
hci
论坛精英
论坛精英
帖子: 6550
注册时间: 7月 22, 2022, 3:29 pm
昵称(选填): 海螺子

#15 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 hci »

胡说八道。

用mmap 的数据库,是把管理内存的功能交给os kernel 去处理。这个有什么冲突?什么与什么冲突?

自己有buffer pool的数据库,才会有冲突,因为本质上是在os kernel 外自己搞一套。

hulooo 写了: 3月 28, 2024, 6:19 pm 好像和kernel的memory management 特别是caching 有冲突,还不如用buffer pool。
头像
hci
论坛精英
论坛精英
帖子: 6550
注册时间: 7月 22, 2022, 3:29 pm
昵称(选填): 海螺子

#16 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 hci »

吹牛谁都会。他stonebroker搞出个能用的db os再说。
hulooo 写了: 3月 28, 2024, 6:35 pm 现在micro service体系,基本上一个micro service必有一个后端database。这个就是dedicated的应用,这种情况下用database optimised OS是有case的。
hulooo
论坛点评
论坛点评
帖子: 2096
注册时间: 11月 14, 2022, 2:45 pm
昵称(选填): hulooo

#17 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 hulooo »

hci 写了: 3月 28, 2024, 6:37 pm 胡说八道。

用mmap 的数据库,是把管理内存的功能交给os kernel 去处理。这个有什么冲突?什么与什么冲突?

自己有buffer pool的数据库,才会有冲突,因为本质上是在os kernel 外自己搞一套。
LMDB把mmap搞成read only,可能是条路子。
Ifloating楼主
职业作家
职业作家
帖子: 787
注册时间: 7月 22, 2022, 11:46 am

#18 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 Ifloating楼主 »

hulooo 写了: 3月 28, 2024, 6:42 pm LMDB把mmap搞成read only,可能是条路子。
readonly 的数据库有什么用?
不能更新 和一堆死肉有什么区别
hulooo
论坛点评
论坛点评
帖子: 2096
注册时间: 11月 14, 2022, 2:45 pm
昵称(选填): hulooo

#19 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 hulooo »

Ifloating 写了: 3月 28, 2024, 6:46 pm readonly 的数据库有什么用?
不能更新 和一堆死肉有什么区别
readonly 就避免了底层的cache eviction了。
Ifloating楼主
职业作家
职业作家
帖子: 787
注册时间: 7月 22, 2022, 11:46 am

#20 Re: 你麻痹 既然讨论到了Mmap 你来说说 你在实际工作中用到的哪个情形?

帖子 Ifloating楼主 »

hulooo 写了: 3月 28, 2024, 6:47 pm readonly 就避免了底层的cache eviction了。
那就是说让人类停止了发展和操逼了?
回复

回到 “军事天地(Military)”