专业编程基础技术教程

网站首页 > 基础教程 正文

python3从零学习-5.8.4、mmap—内存映射文件支持

ccvgpt 2024-11-26 00:57:07 基础教程 2 ℃

mmap — 内存映射文件支持

内存映射(mmap)文件对象的行为既像 bytearray 又像 文件对象。 你可以在大部分接受 bytearray 的地方使用 mmap 对象;例如,你可以使用 re 模块来搜索一个内存映射文件。 你也可以通过执行 obj[index] = 97 来修改单个字节,或者通过对切片赋值来修改一个子序列: obj[i1:i2] = b'...'。 你还可以在文件的当前位置开始读取和写入数据,并使用 seek() 前往另一个位置。


python3从零学习-5.8.4、mmap—内存映射文件支持

内存映射文件是由 mmap 构造函数创建的,其在 Unix和 Windows上是不同的。 无论哪种情况,你都必须为一个打开的文件提供文件描述符以进行更新。 如果你希望映射一个已有的 Python 文件对象,请使用该对象的 fileno() 方法来获取 fileno 参数的正确值。 否则,你可以使用 os.open() 函数来打开这个文件,这会直接返回一个文件描述符(结束时仍然需要关闭该文件)。

注解:如果要为可写的缓冲文件创建内存映射,则应当首先 flush() 该文件。 这确保了对缓冲区的本地修改在内存映射中可用。


对于构造函数的Unix和Windows版本,可以将access指定为一个可选的关键字参数。access接受以下三个值中的一个:ACCESS_READ、ACCESS_WRITE或ACCESS_COPY,分别指定只读、写进或写时复制内存。access可以在Unix和Windows上使用。如果没有指定访问权限,Windows mmap将返回写通映射。所有三种访问类型的初始内存值都取自指定的文件。赋值给ACCESS_READ内存映射会引发类型错误异常。对ACCESS_WRITE内存映射的赋值同时影响内存和底层文件。赋值给ACCESS_COPY内存映射会影响内存,但不会更新底层文件。


要映射匿名内存,应将 -1 作为 fileno 和 length 一起传递。

class mmap.mmap(fileno, length, tagname=None, access=ACCESS_DEFAULT[, offset])

( Windows 版本) 映射被文件句柄 fileno 指定的文件的 length 个字节,并创建一个 mmap 对象。如果 length 大于当前文件大小,则文件将扩展为包含 length 个字节。如果 length 为 0,则映射的最大长度为当前文件大小。如果文件为空, Windows 会引发异常(你无法在Windows上创建空映射)。


如果 tagname 被指定且不是 None ,则是为映射提供标签名称的字符串。 Windows 允许你对同一文件拥有许多不同的映射。如果指定现有标签的名称,则会打开该标签,否则将创建该名称的新标签。如果省略此参数或设置为 None ,则创建的映射不带名称。避免使用 tag 参数将有助于使代码在Unix和Windows之间可移植。


offset 可以被指定为非负整数偏移量。 mmap 引用将相对于从文件开头的偏移。 offset 默认为0。 offeset 必须是 ALLOCATIONGRANULARITY 的倍数。


class mmap.mmap(fileno, length, flags=MAP_SHARED, prot=PROT_WRITE|PROT_READ, access=ACCESS_DEFAULT[, offset])

(Unix 版本) 映射文件描述符 fileno 指定的文件的 length 个字节,并返回一个 mmap 对象。如果 length 为 0 ,则当调用 mmap 时,映射的最大长度将为文件的当前大小。


flags指定映射的性质。MAP_PRIVATE创建一个私有的写时复制映射,因此对mmap对象内容的更改将是该进程的私有,MAP_SHARED创建一个映射,该映射与映射文件相同区域的所有其他进程共享。默认值是MAP_SHARED。


如果指定了prot,则提供所需的内存保护;两个最有用的值是PROT_READ和PROT_WRITE,它们指定可以读取或写入页面。prot默认为PROT_READ | PROT_WRITE。


access可以代替标志和prot指定为可选的关键字参数。同时指定标志、prot和访问权限是错误的。有关如何使用此参数的信息,请参阅上面的访问描述。


偏移量可以指定为非负整数偏移量。mmap引用将相对于从文件开始的偏移量。偏移量默认值为0。偏移量必须是分配粒度的倍数,这等于Unix系统上的PAGESIZE。


为了确保创建的内存映射的有效性,描述符fileno指定的文件在内部自动与Mac OS X和OpenVMS上的物理备份存储同步。


close()

关闭mmap。对该对象的其他方法的后续调用将导致引发ValueError异常。


closed

如果文件已关闭,则为真。


find(sub[, start[, end]])

返回子序列子序列所在对象的最低索引,使子序列包含在[start, end]范围内。可选参数start和end被解释为片表示法。如果失败,返回-1。


flush([offset[, size]])

将对内存中文件副本所做的更改刷新回磁盘。如果不使用此调用,就不能保证在销毁对象之前将更改写回。如果指定了偏移量和大小,只有对给定字节范围的更改将刷新到磁盘;否则,将刷新映射的整个范围。偏移量必须是页面大小或分配粒度的倍数。


(Windows版本)返回的非零值表示成功;零表示失败。


(Unix版本)返回零值以表示成功。当调用失败时将引发异常。


move(dest, src, count)

将从src偏移量开始的计数字节复制到目标索引dest。如果mmap是用ACCESS_READ创建的,那么调用move将会引发一个类型错误异常。


read([n])

返回一个从当前文件位置开始最多包含n个字节的字节。如果参数被省略、None或negative,则返回从当前文件位置到映射末尾的所有字节。文件位置被更新为指向返回的字节之后。


read_byte()

以整数形式返回当前文件位置的字节,并将文件位置向前推进1。


readline()

返回单行,从当前文件位置开始,一直到下一个换行。


resize(newsize)

调整映射和基础文件(如果有的话)的大小。如果mmap是用ACCESS_READ或ACCESS_COPY创建的,调整映射的大小将引发类型错误异常。


rfind(sub[, start[, end]])

返回子序列子索引所在对象的最高索引,使子索引包含在[start, end]范围内。可选参数start和end被解释为片表示法。如果失败,返回-1。


seek(pos[, whence])

设置文件的当前位置。该参数是可选的,并且是os的默认值。SEEK_SET或0(绝对文件定位);其他值是os。SEEK_CUR或1(相对于当前位置进行查找)和os。SEEK_END或2(相对于文件的末端进行查找)。


size()

返回文件的长度,该长度可以大于内存映射区域的大小。


tell()

返回文件指针的当前位置。


write(bytes)

将字节以字节的形式写入文件指针的当前位置的内存中,并返回写入的字节数(决不小于len(bytes),因为如果写入失败,将会产生一个ValueError)。文件位置被更新为指向写入的字节之后。如果mmap是用ACCESS_READ创建的,那么写入它将引发类型错误异常。


write_byte(byte)

在文件指针的当前位置将整数字节写入内存;文件位置向前进1。如果mmap是用ACCESS_READ创建的,那么写入它将引发类型错误异常。

Tags:

最近发表
标签列表