awk 명령

용도

파일에서 패턴이 일치하는 행을 찾아서 그러한 행에 지정한 조치를 수행합니다.

구문

awk [ -u ] [ -F Ere ] [ -v Assignment ] ... { -f ProgramFile | 'Program' } [ [ File ... | Assignment ... ] ] ...

설명

awk 명령은 사용자가 제공하는 명령어 세트를 사용하여 사용자가 제공한 확장 정규식과 파일 세트를 한 번에 한 행씩 비교합니다. 그런 다음, 확장 정규식과 일치하는 모든 행에서 조치를 실행합니다.

awk 명령의 패턴 검색은 grep 명령의 패턴 검색보다 더 일반적이고, 이 경우 사용자는 입력 텍스트 행에 대해 여러 가지 조치를 실행할 수 있습니다. awk 명령 프로그래밍 언어에는 컴파일이 필요하지 않으며, 사용자는 변수, 숫자 함수, 문자열 함수, 논리적 연산자를 사용할 수 있습니다.

awk 명령은 LANG, LC_ALL, LC_COLLATE, LC_CTYPE, LC_MESSAGES, LC_NUMERIC, NLSPATH, PATH 환경 변수의 영향을 받습니다.

이 문서에서는 다음 주제를 설명합니다.

• awk 명령에 대한 입력
• awk 명령에 대한 출력
• 레코드와 필드를 포함하는 파일 처리
• awk 명령 프로그래밍 언어
  • 패턴
  • 조치
  • 변수
  • 특수 변수
• 플래그
• 예제

awk 명령에 대한 입력

awk 명령은 두 종류의 입력, 입력 텍스트 파일과 프로그램 명령어를 사용합니다.

입력 텍스트 파일

검색과 조치는 입력 텍스트 파일에서 실행됩니다. 파일은 다음 방식으로 지정됩니다.

• 명령행에서 File 변수를 지정합니다.
• 특수 변수 ARGV 및 ARGC를 수정합니다.
• File 변수가 없으면 표준 입력을 제공합니다.

File 변수에 여러 파일이 지정된 경우 파일은 지정된 순서대로 처리됩니다.

프로그램 명령어

사용자가 제공하는 명령어는 awk 명령의 조치를 제어합니다. 이 명령어는 명령행의 `Program' 변수에서 가져오거나 ProgramFile 변수와 함께 사용된 -f 플래그로 지정한 파일에서 가져옵니다. 여러 프로그램 파일이 지정되면, 파일은 지정된 순서에 따라 병합되고 그 결과로 생성되는 명령어의 순서가 사용됩니다.

awk 명령에 대한 출력

awk 명령은 입력 텍스트 파일에 있는 데이터로부터 세 가지 종류의 결과를 출력합니다.

• 선택된 데이터는 입력 파일을 변경하지 않고 표준 출력으로 인쇄될 수 있습니다.
• 입력 파일 중 선택된 부분을 변경할 수 있습니다.
• 선택된 데이터는 입력 파일 컨텐츠 변경 여부와는 상관없이 변경되고 표준 출력으로 출력될 수 있습니다.

이러한 종류의 출력은 모두 같은 파일에서 수행될 수 있습니다. awk 명령이 인식하는 프로그래밍 언어를 통해 사용자는 출력 방향을 재지정할 수 있습니다.

레코드와 필드를 포함하는 파일 처리

파일은 다음과 같은 방법으로 처리됩니다.

1. awk 명령은 명령어를 스캔하고 입력 파일을 읽기 전에 나타나도록 지정된 조치를 실행합니다.

   awk 프로그래밍 언어의 BEGIN문을 사용하여, 첫 번째 레코드를 읽기 전에 실행해야 할 명령어 세트를 지정할 수 있습니다. 이 방법은 특수 변수를 초기화하는 데 특히 유용합니다.

2. 하나의 레코드를 입력 파일에서 읽습니다.

   레코드는 레코드 구분자로 구분된 데이터의 세트입니다. 레코드 구분자의 디폴트 값은 줄 바꾸기 문자입니다. 줄 바꾸기 문자는 파일의 각 행을 별개의 레코드로 구성합니다. 레코드 구분자는 RS 특수 변수를 설정하여 변경할 수 있습니다.

3. 레코드는 awk 명령의 명령어로 지정한 각 패턴과 비교합니다.

   명령의 명령어는 레코드 내의 특정 필드을 비교하도록 지정할 수 있습니다. 기본적으로, 필드는 공백 문자(공백 또는 탭)에 의해 구분됩니다. 각 필드는 필드 변수에 의해 참조됩니다. 레코드의 첫 번째 필드에는 $1 변수가 지정되고, 두 번째 필드에는 $2 변수가 지정되고, 나머지 필드도 마찬가지입니다. 전체 레코드가 $0 변수에 지정됩니다. 필드 구분자는 명령행에서 -F 플래그를 사용하거나 FS 특수 변수를 설정하여 변경할 수 있습니다. FS 특수 변수는 공백, 단일 문자 또는 확장 정규식의 값으로 설정할 수 있습니다.

4. 레코드가 패턴과 일치하면, 해당 패턴과 연관된 조치를 레코드에서 실행합니다.
5. 레코드를 각 패턴과 비교하고, 지정된 모든 조치를 수행한 후 입력으로부터 다음 레코드를 읽습니다. 입력 파일에서 모든 레코드를 읽을 때까지 프로세스를 반복합니다.
6. 여러 입력 파일이 지정된 경우 다음 파일을 열고 모든 입력 파일을 읽을 때까지 프로세스를 반복합니다.
7. 마지막 파일에서 마지막 레코드를 읽은 후 awk 명령은 입력 처리 후 나타나도록 지정된 모든 명령어를 실행합니다.

   awk 프로그래밍 언어의 END문을 사용하여 마지막 레코드를 읽은 후 수행할 조치를 지정할 수 있습니다. 특히 awk 명령으로 수행하는 작업에 대한 메시지를 전송할 때 유용합니다.

awk 명령 프로그래밍 언어

awk 명령 프로그래밍 언어는 다음과 같은 양식의 명령문으로 구성됩니다.

Pattern { Action }

레코드가 지정된 패턴과 일치하거나 패턴과 일치하는 필드를 포함하면 연관된 조치가 수행됩니다. 조치가 없는 패턴을 지정할 수도 있습니다. 이 경우 패턴을 포함하고 있는 전체 행이 표준 출력으로 작성됩니다. 패턴이 없이 지정된 조치는 모든 입력 레코드에서 실행됩니다.

패턴

awk 명령 언어 구문에서 사용되는 패턴으로는 네 가지 유형이 있습니다.

• 정규식
• 관계식
• 패턴의 조합
• BEGIN 및 END 패턴.

정규식

awk 명령에서 사용하는 확장 정규식은 grep 또는 egrep 명령에서 사용하는 정규식과 비슷합니다. 가장 간단한 양식의 확장 정규식은 슬래시 기호로 묶은 문자열입니다. 예를 들어, testfile이라는 이름의 파일에 다음 컨텐츠가 있다고 가정합니다.

smawley, andy
smiley, allen
smith, alan
smithern, harry
smithhern, anne
smitters, alexis

다음 명령행을 입력합니다.

awk '/smi/' testfile

그러면 문자열 smi의 발생을 포함하는 모든 레코드의 표준 출력으로 인쇄합니다. 이 예제에서, awk 명령에 대한 '/smi/' 프로그램은 조치가 없는 패턴입니다. 결과는 다음과 같습니다.

smiley, allen
smith, alan
smithern, harry
smithhern, anne
smitters, alexis

다음의 특수 문자는 확장 정규식을 구성하는 데 사용됩니다.

awk '/smith+ern/' testfile

smithern, harry
smithhern, anne

awk '/smith?/' testfile

smith, alan
smithern, harry
smithhern, anne
smitters, alexis

awk '/allen 
| 
alan /' testfile

smiley, allen
smith, alan

awk '/a(ll)?(nn)?e/' testfile

smiley, allen
smithhern, anne

awk '/l{2}/' testfile

smiley, allen

awk '/t{2,}/' testfile

smitters, alexis

awk '/er{1, 2}/' testfile

smithern, harry
smithern, anne
smitters, alexis

awk '/sm[a-h]/' testfile

smawley, andy

awk '/sm[^a-h]/' testfile

smiley, allen
smith, alan
smithern, harry
smithhern, anne
smitters, alexis

awk '$1 ~ /n/' testfile

smithern, harry
smithhern, anne

awk '$2 ~ /^h/' testfile

smithern, harry

awk '$2 ~ /y$/' testfile

smawley, andy
smithern, harry

awk '/a..e/' testfile

smawley, andy
smiley, allen
smithhern, anne

awk '/a.*e/' testfile

smawley, andy
smiley, allen
smithhern, anne
smitters, alexis

/a\/\//

인식되는 이스케이프 시퀀스

awk 명령은 C 언어 규칙에 사용되는 대부분의 이스케이프 시퀀스와 awk 명령에 의해 특수 문자로 사용되는 여러 이스케이프 시퀀스를 인식합니다. 이스케이프 시퀀스는 다음과 같습니다.

참고: gsub, match, split, sub 내장 함수를 제외하고, 확장 정규식 일치는 입력 레코드에 기반합니다. 레코드 구분자 문자(기본적으로, 줄 바꾸기 문자)는 표현식에 임베드될 수 없으며, 어떠한 표현식도 레코드 구분자 문자와 일치하지 않습니다. 레코드 구분자가 줄 바꾸기 문자가 아닌 경우, 줄 바꾸기 문자는 일치될 수 있습니다. 지정된 네 개의 내장 함수에서 일치는 텍스트 문자열에 기반하며, 패턴이 적절한 문자와 일치하도록 레코드 구분자를 포함한 임의의 문자를 패턴에 임베드할 수 있습니다. 그러나, awk 명령이 있는 모든 정규식 일치에서, 패턴에서의 하나 이상의 널(NULL) 문자의 사용은 정의되지 않은 결과를 생성합니다.

관계식

관계 연산자 <(보다 작음), >(보다 큼), <=(작거나 같음), >=(크거나 같음), = =(같음) 그리고 ! =(같지 않음)은 패턴을 만드는 데 사용할 수 있습니다. 예를 들어, 다음과 같습니다.

$1 < $4

이 패턴은 첫 번째 필드가 네 번째 필드보다 작은 레코드와 일치합니다. 관계 연산자는 문자열 값과도 사용할 수 있습니다. 예:

$1 =! "q"

이 패턴은 첫 번째 필드가 q가 아닌 모든 레코드와 일치합니다. 배열 값에서 문자열 값을 일치시킬 수도 있습니다. 예:

$1 >= "d"

이 패턴은 첫 번째 필드가 a, b, c 또는 d인 문자로 시작되는 모든 레코드와 일치합니다. 다른 정보를 제공하지 않은 경우 필드 변수는 문자열 값으로 비교됩니다.

패턴의 조합

세 가지 옵션을 사용해 패턴을 결합할 수 있습니다.

• 범위는 ,(쉼표)로 구분된 두 패턴으로 지정됩니다. 첫 번째 패턴과 일치하는 레코드로 시작하여 두 번째 패턴과 일치하는 레코드를 포함하여 계속되는 모든 레코드에서 조치가 수행됩니다. 예:

  /begin/,/end/

  이 패턴은 문자열 begin을 포함하는 레코드, 이 문자열과 문자열 end를 포함하는 레코드 사이의 모든 레코드(문자열 end를 포함하는 레코드 포함)와 일치합니다.
• 괄호( )는 패턴을 함께 그룹화합니다.
• 부울 연산자 ||(또는), &&(및), ! (부정)는 true로 평가되는 경우 일치하는 표현식에 패턴을 결합합니다. true가 아니면 이들은 일치하지 않습니다. 예를 들어, 다음과 같습니다.

  
  $1 == "al" && $2 == "123"

  이 패턴은 첫 번째 필드가 al이고 두 번째 필드가 123인 레코드와 일치합니다.

BEGIN 및 END 패턴

BEGIN 패턴으로 지정된 조치는 모든 입력을 읽기 전에 수행됩니다. END 패턴으로 지정된 조치는 모든 입력을 읽은 후에 수행됩니다. 여러 개의 BEGIN 및 END 패턴이 허용되고, 지정된 순서대로 처리됩니다. 프로그램 명령문에서 END 패턴이 BEGIN 패턴 앞에 올 수 있습니다. 프로그램이 BEGIN문만으로 구성된 경우, 조치가 수행되며 어떠한 입력도 읽지 않습니다. 프로그램이 END문만으로 구성된 경우, 모든 입력은 조치를 취하기 전에 읽습니다.

조치

여러 유형의 조치문이 있습니다.

• 조치문
• 내장 함수
• 사용자 정의 함수
• 조건문
• 출력 조치

조치문

조치문은 { }(중괄호)로 묶습니다. 패턴 없이 명령문이 지정되면, 조치는 모든 레코드에서 실행됩니다. 중괄호 안에 다중 조치를 지정할 수 있습니다. 그러나 각 조치는 줄 바꾸기 문자 또는 ;(세미콜론)으로 구분되어야 하고, 명령문은 나타나는 순서대로 처리됩니다. 조치문은 다음을 포함하고 있습니다.

내장 함수

awk 명령 언어는 산술 함수, 문자열 함수, 일반 함수를 사용합니다. 파일을 작성하고 이 파일을 나중에 같은 프로그램에서 읽으려면 close 서브루틴문이 있어야 합니다.

산술 함수

다음 산술 함수는 동일한 이름의 C 언어 서브루틴과 같은 기능을 수행합니다.

문자열 함수

문자열 함수는 다음과 같습니다.

일반 함수

일반 함수는 다음과 같습니다.

참고: 모든 양식의 getline 함수는 성공적인 입력에 대해서는 1, 파일 끝에 대해서는 0, 오류에 대해서는 -1을 리턴합니다.

사용자 정의 함수

사용자 정의 함수는 다음 양식으로 선언됩니다.

function Name (Parameter, Parameter,...)  { Statements }

함수는 awk 명령 프로그램의 아무 위치에서 참조 가능하고, 해당 사용법은 해당 정의 앞에 나올 수 있습니다. 함수의 유효범위는 글로벌입니다.

함수의 매개변수는 스칼라나 배열일 수 있습니다. 매개변수의 이름은 함수에 대해 로컬로 유효합니다. 다른 모든 변수 이름은 글로벌입니다. 다른 엔티니에 같은 이름을 사용해서는 안 됩니다. 예를 들어, 매개변수의 이름을 함수 이름이나 특수 변수로 중복 사용하면 안 됩니다. 글로벌 유효범위의 변수는 함수의 이름을 공유해서는 안 됩니다. 스칼라와 배열은 동일 유효범위에서 이름이 같아서는 안 됩니다.

함수 정의의 매개변수 수는 함수가 호출될 때 사용되는 매개변수의 수와 일치할 필요는 없습니다. 초과(excess) 형식 매개변수는 로컬 변수로 사용할 수 있습니다. 추가적인 스칼라 매개변수는 빈 문자열 및 숫자 값 0(영)과 동등한 문자열 값으로 초기화되며, 추가적인 배열 매개변수는 빈 배열로 초기화됩니다.

함수를 호출할 때, 함수 이름과 시작하는 괄호 사이에 공백 문자가 없어야 합니다. 함수 호출은 중첩될 수 있고 순환적일 수 있습니다. 중첩 또는 순환 함수 호출에서 리턴할 때, 참조에 의해 전달되는 배열 매개변수를 제외한 모든 호출 함수의 매개변수 값은 변경되지 않습니다. return문은 값을 리턴하는 데 사용할 수 있습니다.

함수 정의 내에서 줄 바꾸기 문자는 시작하는 중괄호 { 앞과 닫는 중괄호 } 뒤에서 선택적으로 배치할 수 있습니다.

다음은 함수 정의의 예제입니다.

function average ( g,n) 
  {
        for (i in g)
           sum=sum+g[i]
        avg=sum/n
        return avg
  } 

average 함수에서는 배열, g 및 변수, n(배열의 요소 수 포함)이 전달됩니다. 그러면 함수는 평균을 구하고 해당 값을 리턴합니다.

조건문

awk 명령 프로그래밍 언어에서 대부분의 조건문은 C 프로그래밍 언어의 조건문과 구문 및 기능이 동일합니다. 모든 조건문은 명령문을 그룹화하기 위해 { }(중괄호)의 사용을 허용합니다. 조건문의 표현식 부분과 명령문 부분 사이에 선택적으로 줄 바꾸기를 사용할 수 있으며, 줄 바꾸기 또는 ;(세미콜론)을 사용하여 { }(중괄호) 안에서 다중 명령문을 구분합니다. C 언어에는 다음과 같은 여섯 가지 조건문이 있습니다.

다음 C 언어 규칙을 준수하지 않는 awk 명령 프로그래밍 언어의 5개 조건문은 다음과 같습니다.

for (i in g)
   delete g[i];

출력문

awk 명령 프로그래밍 언어의 두 출력문은 다음과 같습니다.

참고: Expression 매개변수가 Redirection 매개변수에 대한 경로 이름을 지정하는 경우 Expression 매개변수는 이를 문자열로 처리하도록 이중 인용 부호로 묶어야 합니다.

변수

변수는 스칼라, 필드 변수, 배열 또는 특수 변수일 수 있습니다. 변수의 이름은 숫자로 시작해서는 안 됩니다.

변수는 참조를 통해서만 사용할 수 있습니다. 함수 매개변수인 경우를 제외하면, 변수는 명시적으로 선언되지 않습니다. 초기화되지 않은 스칼라 변수와 배열 요소는 숫자 값 0(영)과 문자열 값인 널(null) 문자열(" ") 모두를 사용합니다.

변수는 문맥에 따라 숫자 값이나 문자열 값을 사용합니다. 각 변수는 숫자 값, 문자열 값 또는 둘 다를 사용할 수 있습니다. 예를 들면 다음과 같습니다.

x = "4" + "8"

이 표현식은 12의 값을 x 변수에 지정합니다. 문자열 상수인 경우 표현식은 " "(이중 인용 부호) 표시로 묶어야 합니다.

숫자와 문자열 사이에 명시적인 변환은 없습니다. 표현식을 숫자로 강제 처리하려면, 0을 추가하십시오. 표현식을 문자열로 강제 처리하려면, 널(null) 문자열(" ")을 추가하십시오.

필드 변수

필드 변수는 $(달러 기호) 및 숫자 또는 숫자 표현식으로 지정됩니다. 레코드의 첫 번째 필드에는 $1 변수가 할당되고, 두 번째 필드에는 $2 변수가 할당되는 식입니다. $0 필드 변수는 전체 레코드에 지정됩니다. 새 필드 변수는 값을 지정하여 작성될 수 있습니다. 존재하지 않는 필드에 값을 지정하면(즉, $NF 필드 변수의 현재 값보다 큰 필드) 중간에 필드가 강제로 작성되고(널(null) 문자열로 설정됨), NF 특수 변수 값을 늘리며, $0 레코드 변수 값을 강제로 재계산합니다. 새 필드는 현재 필드 구분자(FS 특수 변수 값임)로 구분됩니다. 공백 및 탭은 디폴트 필드 구분자입니다. 필드 구분자를 변경하려면, -F 플래그를 사용하거나, FS 특수 변수를 awk 명령 프로그램의 다른 값으로 지정하십시오.

배열

배열은 처음에는 비어 있고, 해당 크기는 동적으로 변합니다. 배열은 [ ](대괄호) 안에 첨자가 있는 변수로 나타냅니다. 첨자 또는 요소 ID는 연관 배열 기능 유형을 제공하는 여러 문자열일 수 있습니다. 예를 들어, 다음과 같습니다.

/red/  { x["red"]++ }
/green/ { y["green"]++ }

이 프로그램은 red 카운터 및 green 카운터 모두에 대해 개수를 증분시킵니다.

몇몇 프로그래밍 언어의 다차원 배열처럼 배열은 둘 이상의 첨자로 색인화될 수 있습니다. awk 명령에 대한 프로그래밍 배열은 실제로는 1차원이기 때문에, 쉼표에 의해 구분된 첨자는 별개 표현식의 문자열 값을 병합하여 단일 문자열로 변환할 수 있습니다. 이때 각 표현식은 SUBSEP 환경 변수의 값으로 구분됩니다. 따라서, 다음의 두 색인 연산은 동등합니다.

x[expr1, expr2,...exprn]

및

x[expr1SUBSEPexpr2SUBSEP...SUBSEPexprn]

in 연산자를 사용할 때, 다차원 Index 값은 괄호로 묶어야 합니다. in 연산자의 경우를 제외하면, 존재하지 않은 배열 요소를 참조하면 자동으로 해당 요소가 작성됩니다.

특수 변수

다음 변수는 awk 명령에 대해 특별한 의미를 지니고 있습니다.

플래그

종료 상태

이 명령은 다음과 같은 종료값을 리턴합니다.

exit [ Expression ] 조건문을 사용하여 프로그램 내에서 종료 상태를 변경할 수 있습니다.

예제

1. 72자보다 긴 파일 행을 표시하려면 다음을 입력하십시오.

   awk  'length  >72'  chapter1

   이 명령은 chapter1 파일에서 72자보다 긴 각 행을 선택하여 이 행을 표준 출력으로 작성합니다. Action이 지정되지 않았기 때문입니다. 탭 문자는 1바이트로 계산됩니다.
2. 단어 start 및 stop 사이의 모든 행을 표시하려면( "start" 및 "stop" 포함) 다음을 입력하십시오.

   awk  '/start/,/stop/'  chapter1

3. chapter1 파일을 처리하는 awk 명령 프로그램, sum2.awk를 실행하려면 다음을 입력하십시오.

   awk  -f  sum2.awk  chapter1

   다음 프로그램, sum2.awk는 입력 파일, chapter1의 두 번째 열에서 숫자의 합계와 평균을 계산합니다.

       {
          sum += $2
       }
   END {
          print "Sum: ", sum;
          print "Average:", sum/NR;
       }

   첫 번째 조치는 각 행의 두 번째 필드 값을 변수 sum에 더합니다. 모든 변수는 처음 참조될 때 0(영) 숫자 값으로 초기화됩니다. 두 번째 조치 앞에 나오는 END 패턴으로 해당 조치는 입력 파일 모두를 읽은 후에 수행됩니다. 평균을 계산하기 위하여 사용되는 NR 특별 변수는 읽은 레코드의 수를 지정하는 특별 변수입니다.
4. 반대 순서로 처음 두 개 필드를 인쇄하려면 다음을 입력하십시오.

   awk '{ print $2, $1 }' chapter1

5. 다음의 awk 프로그램의 경우:

   awk -f sum3.awk chapter2

   쉼표 및/또는 공백과 탭으로 입력 파일을 구분하여 파일 chapter2의 처음 두 개 필드를 인쇄하고 첫 번째 열을 더하고 합계와 평균을 인쇄합니다.

   BEGIN  {FS = ",|[ \t]+"}
          {print $1, $2}
          {s += $1}
   END    {print "sum is",s,"average is", s/NR }