Linux c/c++文件虚拟内存映射

简介: 这篇文章介绍了在Linux环境下,如何使用虚拟内存映射技术来提高文件读写的速度,并通过C/C++代码示例展示了文件映射的整个流程。
  1. 使用虚拟内存映射操作文件可以大大提高向文件之中写入数据的速率
  2. 文件映射虚拟内存编程模型

文件写入模型

  1. 打开文件 open()
  2. 修改文件大小 ftruncate()
  3. 挂载映射 mmap()
  4. 使用虚拟内存 指针方式
  5. 卸载映射 munmap()
  6. 关闭文件 close()
#include <stdio.h>
#include <unistd.h>
#include <fcntl.h>
#include <stdlib.h>
#include <string.h>
#include <sys/mman.h>

struct student{
    int id;
    char name[20];
    int age;
    double score;
};

int main(){
    //1.打开文件
    int fd = open("stu.dat",O_CREAT | O_RDWR);
    if(-1 == fd)
        printf("文件打开失败!\n"),exit(-1);
    else
        printf("文件打开成功!\n");
    //2.修改文件大小
    ftruncate(fd, 3*sizeof(struct student));
    //3.挂载映射
    struct student* p = mmap(NULL,3*sizeof(struct student),PROT_WRITE|PROT_READ,
        MAP_SHARED,fd,0);
    if((void*)-1 == p)
        printf("映射虚拟内存失败:%m\n"),close(fd),exit(-1);
    printf("映射虚拟内存成功!\n");
    //4.使用虚拟内存
    struct student* pp = p;
    pp->id = 1;
    strcpy(pp->name,"张三");
    pp->age = 33;
    pp->score = 1.33;
    pp++;

    pp->id = 2;
    strcpy(pp->name,"李四");
    pp->age = 44;
    pp->score = 1.44;
    pp++;

    pp->id = 3;
    strcpy(pp->name,"王二");
    pp->age = 22;
    pp->score = 1.22;

    printf("数据写入完成!\n");
    //5.卸载映射
    int ret = munmap(p,3*sizeof(struct student));
    if(ret){
        printf("卸载失败\n"),exit(-1);
    }else{
        printf("卸载成功\n");
    }
    //6.关闭文件
    close(fd);

    return 0;
}

文件读取模型

  1. 打开文件 open()
  2. 挂载映射 mmap()
  3. 使用虚拟内存 指针方式
  4. 卸载映射 munmap()
  5. 关闭文件 close()
#include <stdio.h>
#include <unistd.h>
#include <fcntl.h>
#include <stdlib.h>
#include <sys/mman.h>

struct student{
    int id;
    char name[20];
    int age;
    double score;
};

int main(){
    //打开文件
    int fd = open("stu.dat",O_RDONLY);
    if(-1 == fd)
        printf("文件打开失败:\n"),exit(-1);
    printf("文件打开成功:\n");
    //挂载映射
    struct student* p = mmap(NULL,3*sizeof(struct student),PROT_READ,
        MAP_SHARED,fd,0);
    //读取数据
    struct student* pp = p;
    for(int i = 0;i < 3; i++){
        printf("%d:%s:%d:%g\n",pp->id,pp->name,pp->age,pp->score);
        pp++;
    }
    //卸载映射
    munmap(p,3*sizeof(struct student));
    //关闭文件
    close(fd);

    return 0;
}

void* mmap(void *start, size_t length, int prot, int flags, int fd, off_t offset);

参数1: 映射区的开始地址,设置为0(NULL)时由系统决定映射开始地址

参数2: 映射区的长度

参数3: 期望的内存保护方式,不能与文件的打开模式冲突,它的值可以是下面值的组合

PROT_EXEC     //映射页内容可被执行
PROT_WRITE    //映射页可被写入
PROT_READ     //映射页可被读取
PROT_NONE     //映射页不可访问

参数4: 指定映射对象的类型,映射选项和映射页是否可以共享,它的值可以是下面值的组合

MAP_FIXED //使用指定的映射起始地址,如果由start和len参数指定的内存区重叠于现存的映射空间,重叠部分将会被丢弃。如果指定的起始地址不可用,操作将会失败。并且起始地址必须落在页的边界上。

MAP_SHARED //与其它所有映射这个对象的进程共享映射空间。对共享区的写入,相当于输出到文件。直到msync()或者munmap()被调用,文件实际上不会被更新。

MAP_PRIVATE //建立一个写入时拷贝的私有映射。内存区域的写入不会影响到原文件。这个标志和以上标志是互斥的,只能使用其中一个。

MAP_DENYWRITE //这个标志被忽略。

MAP_EXECUTABLE //这个标志被忽略。

MAP_NORESERVE //不要为这个映射保留交换空间。当交换空间被保留,对映射区修改的可能会得到保证。当交换空间不被保留,同时内存不足,对映射区的修改会引起段违例信号。

MAP_LOCKED //锁定映射区的页面,从而防止页面被交换出内存。

MAP_GROWSDOWN //用于堆栈,告诉内核VM系统,映射区可以向下扩展。

MAP_ANONYMOUS //匿名映射,映射区不与任何文件关联。

MAP_ANON //MAP_ANONYMOUS的别称,不再被使用。

MAP_FILE //兼容标志,被忽略。

MAP_32BIT //将映射区放在进程地址空间的低2GB,MAP_FIXED指定时会被忽略。当前这个标志只在x86-64平台上得到支持。

MAP_POPULATE //为文件映射通过预读的方式准备好页表。随后对映射区的访问不会被页违例阻塞。

MAP_NONBLOCK //仅和MAP_POPULATE一起使用时才有意义。不执行预读,只为已存在于内存中的页面建立页表入口。

参数5: 文件描述符fd

参数6: 被映射文件的起始映射位置(即文件的偏移量)

int munmap(void *start, size_t length);

参数1: mmap()函数返回的地址

参数2: 映射虚拟内存的长度

函数返回值:

成功时: mmap函数返回被映射区的指针, munmap()返回0

失败时: mmap函数返回MAP_FAILED(void*)-1,munmap函数返回-1

相关文章
|
22天前
|
缓存 Linux
linux 手动释放内存
在 Linux 系统中,内存管理通常自动处理,但业务繁忙时缓存占用过多可能导致内存不足,影响性能。此时可在业务闲时手动释放内存。
81 17
|
24天前
|
消息中间件 Linux
Linux:进程间通信(共享内存详细讲解以及小项目使用和相关指令、消息队列、信号量)
通过上述讲解和代码示例,您可以理解和实现Linux系统中的进程间通信机制,包括共享内存、消息队列和信号量。这些机制在实际开发中非常重要,能够提高系统的并发处理能力和数据通信效率。希望本文能为您的学习和开发提供实用的指导和帮助。
91 20
|
29天前
|
存储 算法 安全
基于哈希表的文件共享平台 C++ 算法实现与分析
在数字化时代,文件共享平台不可或缺。本文探讨哈希表在文件共享中的应用,包括原理、优势及C++实现。哈希表通过键值对快速访问文件元数据(如文件名、大小、位置等),查找时间复杂度为O(1),显著提升查找速度和用户体验。代码示例展示了文件上传和搜索功能,实际应用中需解决哈希冲突、动态扩容和线程安全等问题,以优化性能。
|
3月前
|
缓存 Java Linux
如何解决 Linux 系统中内存使用量耗尽的问题?
如何解决 Linux 系统中内存使用量耗尽的问题?
243 48
|
2月前
|
算法 Linux
深入探索Linux内核的内存管理机制
本文旨在为读者提供对Linux操作系统内核中内存管理机制的深入理解。通过探讨Linux内核如何高效地分配、回收和优化内存资源,我们揭示了这一复杂系统背后的原理及其对系统性能的影响。不同于常规的摘要,本文将直接进入主题,不包含背景信息或研究目的等标准部分,而是专注于技术细节和实际操作。
|
3月前
|
传感器 人工智能 物联网
C 语言在计算机科学中尤其在硬件交互方面占据重要地位。本文探讨了 C 语言与硬件交互的主要方法,包括直接访问硬件寄存器、中断处理、I/O 端口操作、内存映射 I/O 和设备驱动程序开发
C 语言在计算机科学中尤其在硬件交互方面占据重要地位。本文探讨了 C 语言与硬件交互的主要方法,包括直接访问硬件寄存器、中断处理、I/O 端口操作、内存映射 I/O 和设备驱动程序开发,以及面临的挑战和未来趋势,旨在帮助读者深入了解并掌握这些关键技术。
82 6
|
3月前
|
缓存 Ubuntu Linux
Linux环境下测试服务器的DDR5内存性能
通过使用 `memtester`和 `sysbench`等工具,可以有效地测试Linux环境下服务器的DDR5内存性能。这些工具不仅可以评估内存的读写速度,还可以检测内存中的潜在问题,帮助确保系统的稳定性和性能。通过合理配置和使用这些工具,系统管理员可以深入了解服务器内存的性能状况,为系统优化提供数据支持。
82 4
|
3月前
|
Linux
如何在 Linux 系统中查看进程占用的内存?
如何在 Linux 系统中查看进程占用的内存?
|
3月前
|
缓存 Linux
如何检查 Linux 内存使用量是否耗尽?
何检查 Linux 内存使用量是否耗尽?
|
3月前
|
存储 算法 安全
深入理解Linux内核的内存管理机制
本文旨在深入探讨Linux操作系统内核的内存管理机制,包括其设计理念、实现方式以及优化策略。通过详细分析Linux内核如何处理物理内存和虚拟内存,揭示了其在高效利用系统资源方面的卓越性能。文章还讨论了内存管理中的关键概念如分页、交换空间和内存映射等,并解释了这些机制如何协同工作以提供稳定可靠的内存服务。此外,本文也探讨了最新的Linux版本中引入的一些内存管理改进,以及它们对系统性能的影响。