FTP 文件下载上传删除 shell 脚本

2019-09-01

最近需要写一个从 FTP 服务器下载文件和向 FTP 服务器上传文件的 shell 脚本，但是自己在写 shell 脚本方面的经验比较少，因此将最终完成的脚本源码记录在此，方便以后学习参考。

FTP 服务器可以自己在 Windows 系统中搭建一个，很简单，网上有很多教程。服务器搭建好以后就可以在 Linux 上用 FTP 客户端去连接和进行各种操作了。这里需要注意的是，有的 Linux 版本，比如 Redhat，自带的 FTP 客户端有两个，如下：

通过 which ftp 命令可以看到 Redhat 默认使用的 ftp 是 /usr/kerberos/bin/ftp，但是参考 centos、Ubuntu 后我发现使用 /usr/bin/ftp 的更为普遍，这两者是有差别的。因此出于兼容性方面的考虑，此 shell 脚本使用的也是 /usr/bin/ftp，在源码中我直接用的全路径来指定。（温馨提示：网上搜索 Linux 各个系统版本时，用「操作系统名 + “镜像”」更容易搜出想要的结果，例如：Ubuntu 镜像）

整个脚本完成的操作具体可分为三步。

第一步是从 FTP 服务器的一个文件夹中下载符合要求的文件（比如 xml 格式的文件），放到 Linux 本地对应的文件夹中，以备主程序做后续业务的处理。

第二步是将下载下来的这些文件再上传到 FTP 服务器的另外的与之前不同的文件夹下。

第三步将 FTP 服务器上最初的文件删除。

流程图如下：

shell 脚本源码如下：

#!/bin/bash
############################################################################
#--定时由FTP服务器指定文件夹下载文件 例如：/oldDirectory/files
#--定时将本地文件上传到FTP指定文件夹 例如: /newDirectory/files
#--本地文件保存路径  例如：/home/client/files
#--文件类型以xml为主
#--文件处理流程：
#      下载文件：定时连接FTP服务器，获取指定文件夹下文件名称、文件大小，
#                通过 get 获取到本地，查看本地文件大小；比较文件大小
#                来判定文件是否现在成功。
#      上传文件：连接FTP服务器，获取本地文件夹内文件、文件大小，通过 put
#                命令上传文件，查看服务器文件大小，比较文件大小来判定文件
#		 文件是否上传成功。
#      文件删除：连接FTP服务器，获取本地文件夹内文件名，通过 delete 命令
#		 删除FTP服务器上的文件，查看服务器是否还存在文件名来判断
#                文件是否删除成功
#--特别说明：定时任务执行过程中，如果出现错误，会自动生成“FileOperationFailed”
#            文件，此时需要人为进行干预，不用暂停自动任务，处理完错误后，手动
#            删除“FileOperationFiled”文件即可
##############################################################################

#--基本配置信息
#FTP的地址
ftp_ip="192.168.1.140"
#连接FTP的用户名,就是登录 Windows 的账户
user_name="guoguocai"
#连接FTP的密码
user_pwd="123456"

#下载文件，远程FTP服务器路径
ftp_dir_download="/oldDirectory/files"
#下载文件，本地文件路径
local_dir_download="/home/client/files"

#上传文件，FTP服务器路径
ftp_dir_upload="/newDirectory/files"
#上传文件，本地文件路径
local_dir_upload="/home/client/files"

#删除文件，远程FTP服务器路径
ftp_dir_delete="/oldDirectory/files"
#删除文件，本地文件路径
local_dir_delete="/home/client/files"

#log日志路径
log_dir=$local_dir_download/log

#用于判断读取的文件夹是否为空
result=$log_dir/res

#日志文件名，每天一个文件
log=$log_dir/$(date "+%Y%m%d").log

#下载文件的类型，052和053是“.xml”
fileType=".xml"

#文件操作标记，文件存在的时候，表示上传、下载、删除操作有错误，请手动处理错误，处理完删掉此文件
fileOperationFailed="FileOperationFailed"

#错误关键词,FTP出错时候，判断该词是否出现
errorWord='(Not connected|cannot)'

#文件错误的提示信息
fileOperationErrorMessage="file exist, Please deal with the errors first."
#--基本配置信息 结束

##########--脚本的正常运行运行--############
#获取FTP与本地路径
ftp_dir=$ftp_dir_download
local_dir=$local_dir_download

#判断日志文件夹是否存
if [ ! -d $log_dir ]
then
	mkdir -p $log_dir
fi

#获取文件上传下载删除操作的标记，如果有错误，fileFlag设置为1，不在运行脚本，需要人为参与修改
if [ -f $local_dir/$fileOperationFailed ]
then
	echo [ $(date "+%Y-%m-%d %H:%M:%S") error ] $local_dir/$fileOperationFailed $fileOperationErrorMessage >>$log
fi

#连接FTP，返回对应命令结果
ftp_cmd(){
	/usr/bin/ftp -i -n <<!
    	open $ftp_ip 
    	user $user_name $user_pwd 
    	binary
    	cd ${ftp_dir}
    	lcd ${local_dir}
    	$*
    	bye
!
}

#判断FTP连接是否可用
ftp_connect=$(ftp_cmd)
if [ `echo $ftp_connect|grep -E "$errorWord"|wc -l` -eq 1 ]
then
	echo [ $(date "+%Y-%m-%d %H:%M:%S") error ] $ftp_connect ...  >>$log
	exit
fi

#--下载文件
#判断文件操作是否有异常
if [ ! -f $local_dir/$fileOperationFailed ]
then
	echo [ $(date "+%Y-%m-%d %H:%M:%S") info ]" crontab begin download file ... " >>$log
	#获取远程服务器上文件名
	files=$(ftp_cmd ls)

	#解析文件名，下载到本地
	for myfile in `echo $files | sed 's/[ ]\{1,\}/\n/g' |grep $fileType 2>$result` 
	do
		#获取FTP服务器上文件信息
		filesAttributes=$(ftp_cmd ls $myfile)
		#获取FTP服务器文件大小
		ftpFileSize=$(echo $filesAttributes |awk '{print $7}')
		echo [ $(date "+%Y-%m-%d %H:%M:%S") info ]" begin download file: "$ftp_dir$myfile "file size: "$ftpFileSize >>$log

		#下载文件
		ftp_cmd get $myfile

		#获取本地文件大小
        	localFileSize=$(ls -l ${local_dir}'/'${myfile}|awk '{print $5}')
		echo [ $(date "+%Y-%m-%d %H:%M:%S") info ]" end download file: "$local_dir$myfile "file size: "$ftpFileSize >>$log
	
		#判断文件大小，记录日志，目前是停止运行。建议删除本地文件，再次下载
		if [ "${ftpFileSize}" -ne "${localFileSize}" ] 
 		then
			touch $local_dir/$fileOperationFailed
			echo [ $(date "+%Y-%m-%d %H:%M:%S") error ]"FTP: "$ftp_dir"/"$myfile" ftpfileSize: "$ftpFileSize >>$log
			echo [ $(date "+%Y-%m-%d %H:%M:%S") error ]"local: "$local_dir"/"$myfile" localFileSize: "$localFileSize >> $log
			#TODO 再次下载
		fi
	done
	
	#判断下载文件是否存在，输出日志
	if [ `cat $result|wc -l` -ne 0 ]
	then
		echo [ $(date "+%Y-%m-%d %H:%M:%S") info ]" The directory is empty! " >>$log
		rm -rf $result
	fi
	echo [ $(date "+%Y-%m-%d %H:%M:%S") info ]" crontab download file end . " >>$log
fi
#--文件下载结束

#--上传文件
#判断下载文件成功，准备上传文件
if [ ! -f $local_dir/$fileOperationFailed ]
then
	echo [ $(date "+%Y-%m-%d %H:%M:%S") info ]" crontab begin upload file ... " >>$log
	#远程FTP服务器路径
	ftp_dir=$ftp_dir_upload
        local_dir=$local_dir_upload

	#循环获取本地文件的文件名，准备上传文件
	for localFile in `ls $local_dir|grep $fileType 2>$result`
	do
		#获取本地文件的大小
		localFileSize=`ls -l $local_dir/$localFile|awk '{print $5}'`
		echo [ $(date "+%Y-%m-%d %H:%M:%S") info ]" begin upload file: "$local_dir/$localFile "file size: "$localFileSize >>$log

		#上传文件
		ftp_cmd put $localFile
		echo [ $(date "+%Y-%m-%d %H:%M:%S") info ]" end   upload file: "$ftp_dir/$localFile "file size: "$localFileSize >>$log
	
		#获取上传到FTP服务器的文件的大小
		files=$(ftp_cmd ls $localFile)
		#获取FTP服务器文件大小
		ftpFileSize=$(echo $files |awk '{print $7}')

		#比较文件大小，记录日志，建议再次上传
		if [ "${ftpFileSize}" -ne "${localFileSize}" ] 
 		then
			touch $local_dir/$fileOperationFailed
			echo [ $(date "+%Y-%m-%d %H:%M:%S") error ]"Upload File FTP:   "$ftp_dir"/"$localFile" ftpFileSize: "$ftpFileSize >>$log
			echo [ $(date "+%Y-%m-%d %H:%M:%S") error ]"Upload File local: "$local_dir"/"$localfile" localFileSize: "$localFileSize >> $log
			#TODO 再次上传
		fi
	done

	#判断是否有要上传文件，输出日志
	if [ `cat $result|wc -l` -ne 0 ]
	then
		echo [ $(date "+%Y-%m-%d %H:%M:%S") info ]" The directory is empty! " >>$log
		rm -rf $result
	fi
	echo [ $(date "+%Y-%m-%d %H:%M:%S") info ]" crontab upload file end. " >>$log
fi
#--上传文件结束

#--删除文件
#判断下载、上传操作是否有异常
if [ ! -f $local_dir/$fileOperationFailed ]
then
	echo [ $(date "+%Y-%m-%d %H:%M:%S") info ]" crontab delete file begin ... " >>$log
	#远程FTP服务器路径
	ftp_dir=$ftp_dir_delete
        local_dir=$local_dir_delete

	#获取本地文件名，按文件名删除
	for localFile in `ls $local_dir|grep $fileType 2>$result`
	do
		echo [ $(date "+%Y-%m-%d %H:%M:%S") info ]" begin delete file: "$local_dir/$localFile >>$log
		#删除文件
		ftp_cmd delete $localFile

		echo [ $(date "+%Y-%m-%d %H:%M:%S") info ]" end delete file: "$ftp_dir/$localFile >>$log
		
		#查看FTP上文件是否存在
		files=$(ftp_cmd ls $localFile)
		fileExistFlag=`echo $files|grep $localFile|wc -l`
		if [ $fileExistFlag -eq 1 ]
		then
			touch $local_dir/$fileOperationFailed
			echo [ $(date "+%Y-%m-%d %H:%M:%S") error ]"Delete File FTP:   "$ftp_dir"/"$localFile" >>$log
			echo [ $(date "+%Y-%m-%d %H:%M:%S") error ]"Delete File local: "$local_dir"/"$localfile" >> $log
			echo [ $(date "+%Y-%m-%d %H:%M:%S") error ]"Delete file failed, please manual processing !!" >>$log
			#TODO 再次删除
                fi
	done

	#判断是否有删除文件结果，输出日志
	if [ `cat $result|wc -l` -ne 0 ]
	then
		echo [ $(date "+%Y-%m-%d %H:%M:%S") info ]" The directory is empty! " >>$log
		rm -rf $result
	fi
	echo [ $(date "+%Y-%m-%d %H:%M:%S") info ]" crontab delete file end . " >>$log
fi
#--删除文件结束

将连接 FTP 服务器的操作单独抽出作为一个 ftp_cmd 函数的原因主要有两个：

1.代码复用；

2.shell 不识别 ftp 命令，需要用重定向（”<<”）把 ftp 命令传给 ftp。

（完）