首页 » 技术SOS » 通信技术 » 其他 » hdfs里的 ?edits和 ?fsimage作用?

hdfs里的 ?edits和 ?fsimage作用?

菜鸟
2022-10-31 11:30:04

hdfs里的 ?edits和 ?fsimage作用?


分享
关键词: edits, fsimage  
高工
2022-11-01 22:05:30
1楼

1)、fsimage文件其实是Hadoop文件系统元数据的一个永久性的检查点,其中包含Hadoop文件系统中的所有目录和文件idnode的序列化信息;


2)、edits文件存放的是Hadoop文件系统的所有更新操作的路径,文件系统客户端执行的所以写操作首先会被记录到edits文件中。


  


fsimage和edits文件都是经过序列化的,在NameNode启动的时候,它会将fsimage文件中的内容加载到内存中,之后再执行edits文件中的各项操作,使得内存中的元数据和实际的同步,存在内存中的元数据支持客户端的读操作。


 


NameNode起来之后,HDFS中的更新操作会重新写到edits文件中,因为fsimage文件一般都很大(GB级别的很常见),如果所有的更新操作都往fsimage文件中添加,这样会导致系统运行的十分缓慢,但是如果往edits文件里面写就不会这样,每次执行写操作之后,且在向客户端发送成功代码之前,edits文件都需要同步更新。如果一个文件比较大,使得写操作需要向多台机器进行操作,只有当所有的写操作都执行完成之后,写操作才会返回成功,这样的好处是任何的操作都不会因为机器的故障而导致元数据的不同步。

————————————————

版权声明:本文为CSDN博主「谦卑t」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。

原文链接:https://blog.csdn.net/qq_42246689/article/details/84639072


专家
2022-11-01 22:16:52
2楼

看看

专家
2022-11-05 20:39:45
3楼

这个很多答案啊

专家
2022-11-11 06:50:19
4楼

看下

高工
2022-11-29 13:54:21
5楼

看下

专家
2023-09-11 21:51:56
6楼

还是没有看懂