파케트 모듈식 암호화

필수 매개변수

암호화된 데이터를 기록하려면 다음 매개변수가 필요합니다:

• 암호화할 열 목록과 마스터 암호화 키:

  parameter name: "encryption.column.keys"
  parameter value: "<master key ID>:<column>,<column>;<master key ID>:<column>,.."
  

• 푸터 키:

  parameter name: "encryption.footer.key"
  parameter value: "<master key ID>"
  

  예를 들어,

  dataFrame.write
  .option("encryption.footer.key" , "k1")
  .option("encryption.column.keys" , "k2:SSN,Address;k3:CreditCard")
  .parquet("<path to encrypted files>")
  

  중요:

  encryption.column.keys 매개변수와 encryption.footer.key 매개변수를 모두 설정하지 않으면 파일이 암호화되지 않습니다. 이 매개변수 중 하나만 설정된 경우, 암호화된 파일에 대해 이 매개변수들이 필수 사항이므로 예외가 발생합니다.

선택적 매개변수

암호화된 데이터를 기록할 때 다음의 선택적 매개변수를 사용할 수 있습니다:

• 암호화 알고리즘 AES-GCM-CTR

  기본적으로 Parquet 모듈형 암호화는 Parquet 파일 내의 데이터 및 메타데이터가 변조되는 것을 완벽하게 방지하는 알고리즘을 AES-GCM 사용합니다. 그러나 Spark 2.3.0 는 Java 8 기반으로 실행되는데, Java 8은 CPU 하드웨어 수준의 AES 가속을 지원하지 않기 때문에(이 기능은 Java 9에서야 추가됨), 특정 상황에서는 데이터 무결성 검증에 따른 오버헤드가 워크로드 처리량에 영향을 미칠 수 있습니다.

  이를 보완하기 위해 데이터 무결성 검증 기능을 비활성화하고, 데이터 부분의 무결성은 검증하지 않고 메타데이터 부분의 무결성만 검증하며 기존 AES-GCM 알고리즘에 비해 처리량 오버헤드가 더 낮은 대체 알고리즘을 사용하여 암호화된 파일을 AES-GCM-CTR 기록할 수 있습니다.

  parameter name: "encryption.algorithm"
  parameter value: "AES_GCM_CTR_V1"
  

• 구형 리더기를 위한 일반 텍스트 바닥글 모드

  기본적으로 Parquet의 주요 메타데이터 모듈(파일 푸터)은 파일 스키마와 민감한 열 목록을 숨기기 위해 암호화됩니다. 하지만, (아직 Parquet 모듈형 암호화를 지원하지 않는) 다른 Spark 및 Parquet 리더가 암호화된 파일 내의 암호화되지 않은 열을 읽을 수 있도록 하기 위해 파일 푸터를 암호화하지 않기로 결정할 수도 있습니다. 푸터 암호화를 해제하려면 다음 매개변수를 설정하십시오:

  parameter name: "encryption.plaintext.footer"
  parameter value: "true"
  

  중요:

  일반 텍스트 바닥글 모드에서도 encryption.footer.key 매개변수를 지정해야 합니다. 푸터는 암호화되어 있지 않지만, 키를 사용하여 푸터 내용에 서명을 하므로, 새로운 독자들도 그 무결성을 확인할 수 있습니다. 기존 버전 사용자들은 바닥글 서명이 추가되어도 영향을 받지 않습니다.

사용 예제

Python 의 다음 샘플 코드 스니펫은 데이터 프레임을 작성하고 암호화된 parquet 파일에 기록하며 암호화된 parquet 파일에서 읽는 방법을 보여줍니다.

• Python : 암호화된 데이터 쓰기:

  from pyspark.sql import Row
  
  squaresDF = spark.createDataFrame(
      sc.parallelize(range(1, 6))
      .map(lambda i: Row(int_column=i, square_int_column=i ** 2)))
  
  sc._jsc.hadoopConfiguration().set("encryption.key.list",
      "key1: AAECAwQFBgcICQoLDA0ODw==, key2: AAECAAECAAECAAECAAECAA==")
  sc._jsc.hadoopConfiguration().set("encryption.column.keys",
      "key1:square_int_column")
  sc._jsc.hadoopConfiguration().set("encryption.footer.key", "key2")
  
  encryptedParquetPath = "squares.parquet.encrypted"
  squaresDF.write.parquet(encryptedParquetPath)
  

• Python : 암호화된 데이터 읽기:

  sc._jsc.hadoopConfiguration().set("encryption.key.list",
      "key1: AAECAwQFBgcICQoLDA0ODw==, key2: AAECAAECAAECAAECAAECAA==")
  
  encryptedParquetPath = "squares.parquet.encrypted"
  parquetFile = spark.read.parquet(encryptedParquetPath)
  parquetFile.show()
  

Parquet 모듈형 암호화를 사용하는 Spark 작업 제출 예시

다음 예제는 Parquet 모듈형 암호화를 사용하는 Spark 작업을 Spark 인스턴스에 제출하는 방법을 보여줍니다. 이 예에서는 기본 Spark 템플리트를 사용하여 InMemoryKMS.py파일에서 Python spark 작업을 제출합니다. 이 예시는 해당 파일이 루트 디렉터리에 있는 저장 zen::kms-volume 볼륨에 존재한다고 가정합니다.

{
    "application_details": {
        "application": "/kms-app/kms.py",
        "conf": {
          "ae.spark.executor.count": 2,
          "spark.driver.memory": "4G",
          "spark.executor.memory": "4G"
        }
    },
    "volumes": [
        {
            "name": "zen::kms-volume",
            "mount_path": "/kms-app"
        }
    ]
}

Python 작업 파일 InMemoryKMS.py 의 내용은 다음과 같습니다.

from pyspark.sql import SparkSession
from pyspark import SparkContext
from pyspark.sql import Row

if __name__ == "__main__":
    spark = SparkSession \
        .builder \
        .appName("InMemoryKMS") \
        .getOrCreate()
    sc = spark.sparkContext
    ##KMS operation
    print("Setup InMemoryKMS")
    hconf = sc._jsc.hadoopConfiguration()
    encryptedParquetFullName = "testparquet.encrypted"
    print("Write Encrypted Parquet file")
    hconf.set("encryption.key.list", "key1: AAECAwQFBgcICQoLDA0ODw==, key2: AAECAAECAAECAAECAAECAA==")
    btDF = spark.createDataFrame(sc.parallelize(range(1, 6)).map(lambda i: Row(ssn=i,  value=i ** 2)))
    btDF.write.mode("overwrite").option("encryption.column.keys", "key1:ssn").option("encryption.footer.key", "key2").parquet(encryptedParquetFullName)
    print("Read Encrypted Parquet file")
    encrDataDF = spark.read.parquet(encryptedParquetFullName)
    encrDataDF.createOrReplaceTempView("bloodtests")
    queryResult = spark.sql("SELECT ssn, value FROM bloodtests")
    queryResult.show(10)
    sc.stop()
    spark.stop()

암호화 키 처리의 내부 구조

Parquet 파일을 작성할 때, 각 암호화 열과 푸터에 대해 무작위 데이터 암호화 키(DEK)가 생성됩니다. 이 키들은 Parquet 파일 내의 데이터 및 메타데이터 모듈을 암호화하는 데 사용됩니다.

그런 다음 데이터 암호화 키는 각 마스터 키에 대해 Spark/Parquet 내부에서 생성된 키 암호화 키(KEK)를 사용하여 암호화됩니다. 암호화 키는 로컬에서 마스터 암호화 키(MEK)로 암호화됩니다.

암호화된 데이터의 암호화 키와 키 암호화 키는 마스터 키 식별자와 함께 Parquet 파일의 메타데이터에 저장됩니다. 각 암호화 키는 고유한 식별자(로컬에서 생성된 안전한 16바이트 임의 값)를 가지며, 이 식별자 또한 파일 메타데이터에 저장됩니다.

Parquet 파일을 읽을 때, 마스터 암호화 키(MEK)의 식별자와 해당 식별자가 포함된 암호화된 키 암호화 키(KEK), 그리고 암호화된 데이터 암호화 키(DEK)가 파일 메타데이터에서 추출됩니다.

암호화 키는 로컬에서 마스터 암호화 키를 사용하여 복호화됩니다. 그런 다음 키 암호화 키(KEK)를 사용하여 데이터 암호화 키(DEK)를 로컬에서 복호화합니다.

자세히 알아보기

• 파케트 모듈식 암호화