Golang

关注公众号 jb51net

关闭
首页 > 脚本专栏 > Golang > golang之文件读写/复制/断点续传

golang之文件读写/复制/断点续传实践

作者:知更鸟女孩

本文详细介绍了Go语言中文件操作的常用方法,包括使用os、bufio和ioutil进行文件读写,以及四种文件复制方式,重点讲解了如何利用临时文件实现断点续传,避免传输中断后重新开始,同时提到了遍历文件夹的技巧,帮助开发者高效处理文件任务

一、常用读取文件的三种方式

(1)利用os和file原生操作读文件

注意:以open打开的方式是只读的

(2)使用bufio读取文件

注意:默认缓冲区大小是4096,这里我们可以自定义缓冲区大小

(3)使用ioutil读取文件

注意:ioutil是一次性读取整个文件,不适用于大文件读写操作,可能发生内存泄漏

二、常用写文件的三种方式

(1)利用os和file原生操作写文件

OpenFile是一个更一般性的文件打开函数,大多数调用者都应用Open或Create代替本函数。它会使用指定的选项(如O_RDONLY等)、指定的模式(如0666等)打开指定名称的文件。

可指定选项【只读,只写,可读写,追加……】和模式【 ModePerm FileMode = 0777 // 覆盖所有Unix权限位】

下面列举了一些常用的 flag 文件处理参数:

(2)使用bufio写文件

注意:bufio是写在缓冲区里面,一定要Flush,否则文件中没有数据

(3)使用ioutil写文件

三、常用复制文件的四种方式

(1)利用os和file原生操作复制文件

(2)使用bufio读写操作来复制文件

(3)使用ioutil读写操作来复制文件

io.copy()来复制

四、其他操作

(1)指定断点位置读写文件

(2)***文件复制之断点续传***

如果在传输文件的过程中发生断电等情况,文件传输了一半后异常终止了,当恢复后不希望重新传输,而希望接着传输。

可创建一个临时文件用户保存当前已经传输的字节数,每次传输时先读取临时文件的记录。如传输完成则删除临时文件

//断点续传
func main() {
	srcFile := "D:/development/jetbrains/goland/workspace/src/Go-Player/hanru_package/a.jpg"
	distFile := "copy_"+srcFile[strings.LastIndex(srcFile, "/")+1:]
	tempFile := distFile + "temp.txt"

	file1, err := os.Open(srcFile)
	handelError(err)
	file2, err := os.OpenFile(distFile, os.O_CREATE|os.O_WRONLY, os.ModePerm)
	handelError(err)
	file3, err := os.OpenFile(tempFile, os.O_CREATE|os.O_RDWR, os.ModePerm) //可读可写
	handelError(err)

	defer file1.Close()
	defer file2.Close()
	defer file3.Close()

	//先读取临时文件中的数据,再seek
	file3.Seek(0, io.SeekStart)
	bs := make([]byte, 100, 100)
	n1, err := file3.Read(bs)
	//handelError(err)
	countStr := string(bs[:n1])
	count, err := strconv.ParseInt(countStr, 10, 64)
	//handelError(err)
	//fmt.Println(count)

	//设置读,写的位置
	file1.Seek(count, io.SeekStart)
	file2.Seek(count, io.SeekStart)
	data := make([]byte, 1024, 1024)
	n2 := -1            //读取的数据量
	n3 := -1            //写出的数据量
	total := int(count) //读取的总量

	//复制文件
	for {
		n2, err = file1.Read(data)
		if err == io.EOF || n2 == 0 {
			fmt.Println("文件复制完毕:", total)
			file3.Close()
			//一旦复制完,就删除临时文件
			os.Remove(tempFile)
			break
		}
		n3, err = file2.Write(data[:n2])
		total += n3

		//将赋值的总量存储到临时文件中
		file3.Seek(0, io.SeekStart)
		file3.WriteString(strconv.Itoa(total))

		fmt.Println("已经复制了", total, "字节数据")
		//模拟断电
		if total > 5000 {
			panic("断电啦")
		}
	}
}

func handelError(err error) {
	if err != nil {
		log.Fatal(err)
	}
}

第一次传输的时候,在其中模拟断电(panic),如下图所示,文件复制到  5120  字节时断电。后恢复,文件接着从5123字节开始复制,而不会从头开始复制~~

(3)遍历文件夹

五、总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

您可能感兴趣的文章:
阅读全文