GO语言并发实战详细过程梳理

在现在这个远程办公的这一个大的背景下，积累了大量重复的文件，因为很可能大家都不断的在不同的群里发相同的文件，发相同的这个报表，以及一些相同的视频等等这些需要学习的材料，那么怎么把这些文件都找出来，然后把这些相同文件都给删掉了，这实际上是并发课的一个实践的一个内容，因为这个创业型的这个方案的话，它的代码相对来说比较长。

如何使用GO语言清理PC机中的文件,详细代码及注释如下：

package main

import ( // "fmt" // fmt 包使用函数实现 I/O 格式化（类似于 C 的 printf 和 scanf 的函数）, 格式化参数源自C，但更简单 "io/ioutil" //"sync" //"time" )

func PrintRepreatFile(path string, fileNameSizeMap map[string]int64, exFileList []string) {

fs, _ := ioutil.ReadDir(path)
for _, file := range fs {
	if file.IsDir() {
		
		PrintRepreatFile(path+"/"+file.Name(), fileNameSizeMap, exFileList)//遍历整个文件系统，如果是目录则递归调用
	
	} else {

		if file.Size() > 1000000 {//设定文件清理阈值，如果大于一定大小再进行清理
			fileSize := fileNameSizeMap[file.Name()]//通过查哈希表的方式来确定，有无重名且大小相同的文件。

			if fileSize == file.Size() {
				fmt.Println(path + "/" + file.Name())//如果有则打印出来

				exFileList = append(exFileList, path+file.Name())//将结果记入切片当中
			} else {

				fileNameSizeMap[file.Name()] = file.Size()
			}
		}

	}

}

}

func main() { //方式一 fileNameSizeMap := make(map[string]int64, 10000) exFileList := make([]string, 100, 1000) PrintRepreatFile("E:/test", fileNameSizeMap, exFileList)

}

这个程序在GO语言的环境下可以直接运行使用，其中有几个知识点，也是咱们前文提到过的，首先是切片的大小一定要设定的相对合适一些，如果容量不够大造成频繁扩容非常浪费资源。二是哈希表也就是map没有并发安全的属于，在我们这个未引入并发的程序中可以使用，如果有并发操作，那么map不再适用了。 可能很多人被GO语言的在并发性能所吸引入坑的，GO语言之父也就是UNIX之父Ken Thompson明显给出了很多建议，根据笔者在操作系统方面的相关经验来看，GO语言设计中经常参考UNIX内核的设计思路。比如硬定时器的数量有限，无法满足系统实际运行需要，所以在内核代码中就会看到基于硬件定时器的软件定时器的方案，而软件定时器的数量可以比硬件定时器多几百倍。 这样的理念明显融合到了 goroutine之中，由于其它编程语言往往直接通过系统级别的线程来实现并发功能，但是这样的方式往往会是大马拉小车，造成系统资源的浪费。因此GO语言封装了所有的系统操作，实现了更加轻量级的协程-goroutine。只要使用关键字（go）就可以启动协程，对比C++、JAVA的多线程并发模型，GO的协程更简单明了。 当然协程之间的消息通信与并发控制也是非常重要的一环。在GO语言借鉴了Message Queue的消息队列机制替代共享内存的方式进行协程间通信，其中管道channel作为基本的数据类型，保证并发时的操作安全。而且管道的引入还带来很多实践中非常实用的功能，比如可以方便实现生产者、消费者等并发设计模式，而这些设计模式在其它使用共享存内存的并发模型中实现起相关功能来非常的繁锁。 在GO语言中在调用函数前加入go 关键字，就能启动一个协程，也就是一个并发，但是我们上面的程序如果把调用方式改为： go PrintRepreatFile("E:/test", fileNameSizeMap, exFileList) 你会发现程序会直接退出，什么都没做，所以GO语言的并发对于初学者来说还是有一定门槛的，比如上例中如果想设计成一个并行的程序，如何让多个协程共同来帮忙找出重复的文件其实还是要费一番周折的。