Shell

shell

![图片标题](/api/file/getImage?fileId=5faab3ef6c94de000900007d)

去除注释和空行

# grep -v \# nginx.conf |sed '/^ *$/d'

____________________________________________________________
Expect脚本：

#!/usr/bin/expect
    
    set timeout 20
    set ip [lindex $argv 0]
    spawn ssh -p 10022 ser@$ip
    expect "(yes/no)?"
    send "yes\r"
    interact
    
    
    
    for i in {1..254}; do ./exp_yes.exp 192.168.0.$i; done

____________________________________________________________
遍历目录文件首尾相接

for i in `ls`; do echo -e "======[ "$i" ]======\n" >> yaml.txt; for e in `ls $i`; do cat $i/$e >> yaml.txt; done ; done

____________________________________________________________
获取 IP 地址最后一位

IPB=`ifconfig eth1 |grep -o '[0-9]\+\.[0-9]\+\.[0-9]\+\.[0-9]\+' |cut -d. -f4 |sed 2,3d`
    PORT=$IPB+1000 |bc

____________________________________________________________

linux shell 创建序列数组(list,array）方法

关于linux数组定义，以及生成方法，请看：linux shell 动态生成 数组系列 seq使用技巧 。这里我主要说的是高效生成list 字符串，还有数组方法。
 
一、seq方法生成：

[chengmo@centos5 shell]$ aNumList=$(seq 100);
    [chengmo@centos5 shell]$ echo $aNumList
    1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100

aNumList得到是字符串，不同之处以：空格分隔开。在linux里面，可以把它看作是list. 可以通过for…in  循环读取。

[chengmo@centos5 shell]$ for i in $aNumList;do echo $i;done;
    1
    2
    3
    4……

如果需要生成array只需要将$(seq 100) 再加个”()”即可。

[chengmo@centos5 ~]$ aNumList=($(seq 100));
    [chengmo@centos5 ~]$ echo $aNumList
    1
    [chengmo@centos5 ~]$ echo ${#aNumList[@]}
    100

长度是100的数组。
 
二、通过内部{begin..end}生成
这种方法生成seq非常方便。通过内部运算符完成。

[chengmo@centos5 ~]$ echo {1..10}
    1 2 3 4 5 6 7 8 9 10
    [chengmo@centos5 ~]$ for a in {1..10};do echo $a;done;  
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10

三、性能比较

[chengmo@centos5 ~]$ time echo {1..100}
    1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100
    real    0m0.000s
    user    0m0.001s
    sys     0m0.000s
     
    [chengmo@centos5 ~]$ time echo $(seq 100)
    1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100
    real    0m0.003s
    user    0m0.002s
    sys     0m0.001s

从上面可以看到，{begin..end}速度比seq调用快了不少了。 以后调用时候可以考虑通过内部操作符完成。

____________________________________________________________

**内容目录：**

find 文件查找
grep 文本搜索
xargs 命令行参数转换
sort 排序
uniq 消除重复行
用tr进行转换
cut 按列切分文本
paste 按列拼接文本
wc 统计行和字符的工具
sed 文本替换利器
awk 数据流处理工具
迭代文件中的行、单词和字符

本文将介绍Linux下使用Shell处理文本时最常用的工具：
find、grep、xargs、sort、uniq、tr、cut、paste、wc、sed、awk；
提供的例子和参数都是最常用和最为实用的；
我对shell脚本使用的原则是命令单行书写，尽量不要超过2行；
如果有更为复杂的任务需求，还是考虑python吧；

find 文件查找

查找txt和pdf文件

find . $ -name "*.txt" -o -name "*.pdf" $ -print

正则方式查找.txt和pdf

find . -regex  ".*$\.txt|\.pdf$$"

-iregex： 忽略大小写的正则

否定参数
查找所有非txt文本

find . ! -name "*.txt" -print

指定搜索深度
打印出当前目录的文件（深度为1）

find . -maxdepth 1 -type f

定制搜索

按类型搜索：

find . -type d -print  //只列出所有目录

-type f 文件 / l 符号链接

按时间搜索：
-atime 访问时间 (单位是天，分钟单位则是-amin，以下类似）
-mtime 修改时间 （内容被修改）
-ctime 变化时间 （元数据或权限变化）
最近7天被访问过的所有文件：

find . -atime 7 -type f -print

按大小搜索：
w字 k M G
寻找大于2k的文件

find . -type f -size +2k

按权限查找：

find . -type f -perm 644 -print //找具有可执行权限的所有文件

按用户查找：

find . -type f -user weber -print// 找用户weber所拥有的文件

找到后的后续动作

删除：
删除当前目录下所有的swp文件：

find . -type f -name "*.swp" -delete

执行动作（强大的exec）

find . -type f -user root -exec chown weber {} \; //将当前目录下的所有权变更为weber

注：{}是一个特殊的字符串，对于每一个匹配的文件，{}会被替换成相应的文件名；
eg：将找到的文件全都copy到另一个目录：

find . -type f -mtime +10 -name "*.txt" -exec cp {} OLD \;

结合多个命令
tips: 如果需要后续执行多个命令，可以将多个命令写成一个脚本。然后 -exec 调用时执行脚本即可；

-exec ./commands.sh {} \;

-print的定界符

默认使用'\n'作为文件的定界符；
-print0 使用'\0'作为文件的定界符，这样就可以搜索包含空格的文件；

grep 文本搜索

grep match_patten file // 默认访问匹配行

常用参数
-o 只输出匹配的文本行 VS -v 只输出没有匹配的文本行
-c 统计文件中包含文本的次数

grep -c "text" filename

-n 打印匹配的行号
-i 搜索时忽略大小写
-l 只打印文件名

在多级目录中对文本递归搜索(程序员搜代码的最爱）：

grep "class" . -R -n

匹配多个模式

grep -e "class" -e "vitural" file

grep输出以\0作为结尾符的文件名：（-z）

grep "test" file* -lZ| xargs -0 rm

xargs 命令行参数转换

xargs 能够将输入数据转化为特定命令的命令行参数；这样，可以配合很多命令来组合使用。比如grep，比如find；

将多行输出转化为单行输出

cat file.txt| xargs

\n 是多行文本间的定界符

将单行转化为多行输出

cat single.txt | xargs -n 3

-n：指定每行显示的字段数

xargs参数说明

-d 定义定界符 （默认为空格 多行的定界符为 \n）
-n 指定输出为多行
-I {} 指定替换字符串，这个字符串在xargs扩展时会被替换掉,用于待执行的命令需要多个参数时
eg：

cat file.txt | xargs -I {} ./command.sh -p {} -1

-0：指定\0为输入定界符
eg：统计程序行数

find source_dir/ -type f -name "*.cpp" -print0 |xargs -0 wc -l

sort 排序

字段说明：
-n 按数字进行排序 VS -d 按字典序进行排序
-r 逆序排序
-k N 指定按第N列排序
eg：

sort -nrk 1 data.txt
    sort -bd data // 忽略像空格之类的前导空白字符
    uniq 消除重复行

消除重复行

sort unsort.txt | uniq

统计各行在文件中出现的次数

sort unsort.txt | uniq -c

找出重复行

sort unsort.txt | uniq -d

可指定每行中需要比较的重复内容：-s 开始位置 -w 比较字符数
用tr进行转换

通用用法

echo 12345 | tr '0-9' '9876543210' //加解密转换，替换对应字符
      cat text| tr '\t' ' '  //制表符转空格

tr删除字符

cat file | tr -d '0-9' // 删除所有数字
    -c 求补集
    
      cat file | tr -c '0-9' //获取文件中所有数字
      cat file | tr -d -c '0-9 \n'  //删除非数字数据

tr压缩字符

tr -s 压缩文本中出现的重复字符；最常用于压缩多余的空格
    
      cat file | tr -s ' '

字符类
tr中可用各种字符类：
alnum：字母和数字
alpha：字母
digit：数字
space：空白字符
lower：小写
upper：大写
cntrl：控制（非可打印）字符
print：可打印字符
使用方法：tr [:class:] [:class:]

eg: tr '[:lower:]' '[:upper:]'

cut 按列切分文本

截取文件的第2列和第4列：
  cut -f2,4 filename
去文件除第3列的所有列：
  cut -f3 --complement filename
-d 指定定界符：
  cat -f2 -d";" filename
cut 取的范围
N- 第N个字段到结尾
-M 第1个字段为M
N-M N到M个字段
cut 取的单位
-b 以字节为单位
-c 以字符为单位
-f 以字段为单位（使用定界符）
eg:

cut -c1-5 file //打印第一到5个字符
      cut -c-2 file  //打印前2个字符

paste 按列拼接文本

将两个文本按列拼接到一起;

cat file1
    1
    2
    
    cat file2
    colin
    book
    
    paste file1 file2
    1 colin
    2 book

默认的定界符是制表符，可以用-d指明定界符

paste file1 file2 -d ","
    1,colin
    2,book

wc 统计行和字符的工具

wc -l file // 统计行数
    wc -w file // 统计单词数
    wc -c file // 统计字符数

sed 文本替换利器

首处替换

seg 's/text/replace_text/' file   //替换每一行的第一处匹配的text

全局替换

seg 's/text/replace_text/g' file

默认替换后，输出替换后的内容，如果需要直接替换原文件,使用-i：

seg -i 's/text/repalce_text/g' file

移除空白行：

sed '/^$/d' file

变量转换
已匹配的字符串通过标记&来引用.

echo this is en example | seg 's/\w+/[&]/g'
    $>[this]  [is] [en] [example]

子串匹配标记
第一个匹配的括号内容使用标记 \1 来引用

sed 's/hello$[0-9]$/\1/'

双引号求值
sed通常用单引号来引用；也可使用双引号，使用双引号后，双引号会对表达式求值：

sed 's/$var/HLLOE/'

当使用双引号时，我们可以在sed样式和替换字符串中指定变量；

eg:
    p=patten
    r=replaced
    echo "line con a patten" | sed "s/$p/$r/g"
    $>line con a replaced

其它示例
字符串插入字符：将文本中每行内容（PEKSHA） 转换为 PEK/SHA

sed 's/^.\{3\}/&\//g' file

awk 数据流处理工具

awk脚本结构

awk ' BEGIN{ statements } statements2 END{ statements } '

工作方式
1.执行begin中语句块；
2.从文件或stdin中读入一行，然后执行statements2，重复这个过程，直到文件全部被读取完毕；
3.执行end语句块；

print 打印当前行

使用不带参数的print时，会打印当前行;

echo -e "line1\nline2" | awk 'BEGIN{print "start"} {print } END{ print "End" }' 
    print 以逗号分割时，参数以空格定界;
    su
    echo | awk ' {var1 = "v1" ; var2 = "V2"; var3="v3"; \
    print var1, var2 , var3; }'
    $>v1 V2 v3
    使用-拼接符的方式（""作为拼接符）;
    echo | awk ' {var1 = "v1" ; var2 = "V2"; var3="v3"; \
    print var1"-"var2"-"var3; }'
    $>v1-V2-v3

特殊变量： NR NF $0 $1 $2

NR:表示记录数量，在执行过程中对应当前行号；
NF:表示字段数量，在执行过程总对应当前行的字段数；
$0:这个变量包含执行过程中当前行的文本内容；
$1:第一个字段的文本内容；
$2:第二个字段的文本内容；

echo -e "line1 f2 f3\n line2 \n line 3" | awk '{print NR":"$0"-"$1"-"$2}'

打印每一行的第二和第三个字段：

awk '{print $2, $3}' file

统计文件的行数：

awk ' END {print NR}' file

累加每一行的第一个字段：

echo -e "1\n 2\n 3\n 4\n" | awk 'BEGIN{num = 0 ;
      print "begin";} {sum += $1;} END {print "=="; print sum }'

传递外部变量

var=1000

echo | awk '{print vara}' vara=$var #  输入来自stdin
    awk '{print vara}' vara=$var file # 输入来自文件

用样式对awk处理的行进行过滤

awk 'NR < 5' #行号小于5
    awk 'NR==1,NR==4 {print}' file #行号等于1和4的打印出来
    awk '/linux/' #包含linux文本的行（可以用正则表达式来指定，超级强大）
    awk '!/linux/' #不包含linux文本的行

设置定界符

使用-F来设置定界符（默认为空格）

awk -F: '{print $NF}' /etc/passwd

读取命令输出

使用getline，将外部shell命令的输出读入到变量cmdout中；

echo | awk '{"grep root /etc/passwd" | getline cmdout; print cmdout }'

在awk中使用循环

for(i=0;i<10;i++){print $i;}
    for(i in array){print array[i];}

eg:
以逆序的形式打印行：(tac命令的实现）

seq 9| \
    awk '{lifo[NR] = $0; lno=NR} \
    END{ for(;lno>-1;lno--){print lifo[lno];}
    } '

awk实现head、tail命令

head:
    
      awk 'NR<=10{print}' filename
    tail:
    
      awk '{buffer[NR%10] = $0;} END{for(i=0;i<11;i++){ \
      print buffer[i %10]} } ' filename

打印指定列

awk方式实现：

ls -lrt | awk '{print $6}'

cut方式实现

ls -lrt | cut -f6

打印指定文本区域

确定行号
  s`eq 100| awk 'NR==4,NR==6{print}'`
确定文本
打印处于start_pattern 和end_pattern之间的文本；

awk '/start_pattern/, /end_pattern/' filename

eg:

seq 100 | awk '/13/,/15/'
    cat /etc/passwd| awk '/mai.*mail/,/news.*news/'

awk常用内建函数
index(string,search_string):返回search_string在string中出现的位置
sub(regex,replacement_str,string):将正则匹配到的第一处内容替换为replacement_str;
match(regex,string):检查正则表达式是否能够匹配字符串；
length(string)：返回字符串长度

echo | awk '{"grep root /etc/passwd" | getline cmdout; print length(cmdout) }'

printf 类似c语言中的printf，对输出进行格式化
eg：

seq 10 | awk '{printf "->%4s\n", $1}'

迭代文件中的行、单词和字符

1. 迭代文件中的每一行

while 循环法

while read line;

do
    echo $line;
    done < file.txt
    改成子shell:
    cat file.txt | (while read line;do echo $line;done)
    awk法：
    cat file.txt| awk '{print}'

2.迭代一行中的每一个单词

for word in $line;
    do 
    echo $word;
    done

3. 迭代每一个字符

${string:start_pos:num_of_chars}：从字符串中提取一个字符；(bash文本切片）
    ${#word}:返回变量word的长度
    
    for((i=0;i<${#word};i++))
    do
    echo ${word:i:1);
    done

____________________________________________________________

cp复制强制覆盖不提示

刚好碰到个同事要发布系统，问到说怎么复制一堆文件去覆盖另一个目录。自然想到cp了，但是却加上-f都还是提示确认是否覆盖，那1万个文件岂不是要确认1万遍啊。

网上搜得结果，都试了下，都是可以的。

原因是因为系统cp已经设置了别名，可以执行命令alias查看当前系统一些命令的真实内容。可以看出cp的真实执行的命令是cp -i，-i这参数意思就是说在覆盖前提示。所以无论你加什么参数都是没用的。

有以下三种方法可以解决：

1、取消别名，执行命令 ualias cp 即可，这时的cp就真的是cp了。

2、执行\cp，这时的cp也就是cp了。

3、通过管道自动确认yes，执行命令 yes|cp xxx /zzz

个人觉得最方便肯定属于第二种了。

晚上没睡好，文笔不大好，纯粹作为笔记。

____________________________________________________________

linux shell if 参数
———————————————————————————————
linux shell if 参数

shell 编程中使用到得if语句内判断参数

–b 当file存在并且是块文件时返回真

-c 当file存在并且是字符文件时返回真

-d 当pathname存在并且是一个目录时返回真

-e 当pathname指定的文件或目录存在时返回真

-f 当file存在并且是正规文件时返回真

-g 当由pathname指定的文件或目录存在并且设置了SGID位时返回为真

-h 当file存在并且是符号链接文件时返回真，该选项在一些老系统上无效

-k 当由pathname指定的文件或目录存在并且设置了“粘滞”位时返回真

-p 当file存在并且是命令管道时返回为真

-r 当由pathname指定的文件或目录存在并且可读时返回为真

-s 当file存在文件大小大于0时返回真

-u 当由pathname指定的文件或目录存在并且设置了SUID位时返回真

-w 当由pathname指定的文件或目录存在并且可执行时返回真。一个目录为了它的内容被访问必然是可执行的。

-o 当由pathname指定的文件或目录存在并且被子当前进程的有效用户ID所指定的用户拥有时返回真。

UNIX Shell 里面比较字符写法：

-eq   等于

-ne    不等于

-gt    大于

-lt    小于

-le    小于等于

-ge   大于等于

-z    空串

=    两个字符相等

!=    两个字符不等

-n    非空串

------------------------------------------------------------

更为详细的说明：

运算符                     描述                          示例

文件比较运算符

-e filename     如果 filename 存在，则为真            [ -e /var/log/syslog ]

-d filename     如果 filename 为目录，则为真          [ -d /tmp/mydir ]

-f filename     如果 filename 为常规文件，则为真      [ -f /usr/bin/grep ]

-L filename     如果 filename 为符号链接，则为真      [ -L /usr/bin/grep ]

-r filename     如果 filename 可读，则为真            [ -r /var/log/syslog ]

-w filename     如果 filename 可写，则为真            [ -w /var/mytmp.txt ]

-x filename     如果 filename 可执行，则为真          [ -L /usr/bin/grep ]

filename1 -nt filename2 如果 filename1 比 filename2 新，则为真 [ /tmp/install/etc/services -nt /etc/services ]

filename1 -ot filename2   如果 filename1 比 filename2 旧，则为真  [ /boot/bzImage -ot arch/i386/boot/bzImage ]

字符串比较运算符 （请注意引号的使用，这是防止空格扰乱代码的好方法）

-z string               如果 string 长度为零，则为真               [ -z $myvar ]

-n string                      如果 string 长度非零，则为真        [ -n $myvar ]

string1 = string2         如果 string1 与 string2 相同，则为真     [ $myvar = one two three ]

string1 != string2        如果 string1 与 string2 不同，则为真     [ $myvar != one two three ]

算术比较运算符

num1 -eq num2              等于         [ 3 -eq $mynum ]

num1 -ne num2              不等于       [ 3 -ne $mynum ]

num1 -lt num2               小于        [ 3 -lt $mynum ]

num1 -le num2            小于或等于     [ 3 -le $mynum ]

num1 -gt num2             大于          [ 3 -gt $mynum ]

num1 -ge num2             大于或等于    [ 3 -ge $mynum ]

脚本示例：

#!/bin/bash
    
    　　# This script prints a message about your weight if you give it your
    
    　　# weight in kilos and hight in centimeters.
    
    　　if [ ! $# == 2 ]; then
    
    　　echo "Usage: $0 weight_in_kilos length_in_centimeters"
    
    　　exit
    
    　　fi
    
    　　weight="$1"
    
    　　height="$2"
    
    　　idealweight=$[$height - 110]
    
    　　if [ $weight -le $idealweight ] ; then
    
    　　echo "You should eat a bit more fat."
    
    　　else
    
    　　echo "You should eat a bit more fruit."
    
    　　fi
    
    　　# weight.sh 70 150
    
    　　You should eat a bit more fruit.
    
    　　# weight.sh 70 150 33
    
    　　Usage: ./weight.sh weight_in_kilos length_in_centimeters

位置参数 $1， $2,..., $N，$#代表了命令行的参数数量， $0代表了脚本的名字，

第一个参数代表$1，第二个参数代表$2，以此类推，参数数量的总数存在$#中，上面的例子显示了怎么改变脚本，如果参数少于或者多余2个来打印出一条消息。

执行，并查看情况。

# bash -x tijian.sh 60 170

+ weight=60

+ height=170

+ idealweight=60

+ '[' 60 -le 60 ']'

+ echo 'You should eat a bit more fat.'

You should eat a bit more fat.

其中-x用来检查脚本的执行情况。

—————————————————————————————————

you

XL39rgghA5kwS2bM0O