Python confluent kafka客戶端如何配置kerberos認證

Python confluent kafka客戶端如何配置kerberos認證？很多新手對此不是很清楚，為了幫助大家解決這個難題，下面小編將為大家詳細講解，有這方面需求的人可以來學習下，希望你能有所收獲。

kafka的認證方式一般有如下3種：

1.SASL/GSSAPI 從版本0.9.0.0開始支持

2.SASL/PLAIN 從版本0.10.0.0開始支持

3.SASL/SCRAM-SHA-256 以及 SASL/SCRAM-SHA-512 從版本0.10.2.0開始支持

其中第一種SASL/GSSAPI的認證就是kerberos認證，對于java來說有原生的支持，但是對于python來說配置稍微麻煩一些，下面說一下具體的配置過程，confluent kafka模塊底層依賴于librdkafka，這是使用c編寫的高性能的kafka客戶端庫，有好多語言的庫都是依賴于這個，所以GSSAPI接口的開啟也需要在librdkafka編譯的時候支持

librdkafka源碼：https://github.com/edenhill/librdkafka

編譯之前需要先安裝必要的開發包，否則相關的接口編譯不進去

首先是openssl庫，使用yum安裝為：yum -y install openssl openssl-devel，編譯openssl只能支持默認的PLAIN還有SCRAM這兩種機制，無法支持GSSAPI的機制，還需要編譯libsasl2依賴，yum安裝命令如下：

yum install cyrus-sasl-gssapi cyrus-sasl-devel

在ubuntu下使用命令：apt-get install libsasl2-modules-gssapi-mit libsasl2-dev安裝libsasl2開發包

然后確認一下是否有zlib庫，這個是方便對kafka消息壓縮使用的，一般都會存在，安裝命令：yum install zlib-devel，如果需要更高的性能可以手動編譯安裝zstd并且啟用壓縮，這里不再詳細敘述

上面的庫都安裝成功就可以開始編譯librdkafka源碼了，這里源碼包為：librdkafka-1.2.1.tar.gz，安裝命令如下：

# 解壓包
tar -xvzf librdkafka-1.2.1.tar.gz
cd librdkafka-1.2.1
# 編譯源碼
./configure
make
make install

上面注意一下在執行命令./configure之后，根據輸出確認libssl以及libsasl2是否被開啟，如下：

這里libssl以及libsasl2都顯示ok說明是可以的，現在SSL和SASL SCRAM以及SASL GSSAPI都已經支持了，執行configure階段沒指定prefix則默認安裝位置為/usr/local，動態庫位置就為：/usr/local/lib，需要將這個目錄添加到動態庫連接列表中，比如加到/etc/ld.so.conf，保存后執行ldconfig生效

最后可以編譯和安裝python的confluent kafka模塊，這里安裝的版本是1.2.0，安裝之后可以運行下面的代碼測試：

#!/usr/bin/env python3
# coding=utf-8
from confluent_kafka import Producer

def delivery_report(err, msg):
  """ Called once for each message produced to indicate delivery result.
    Triggered by poll() or flush(). """
  if err is not None:
    print('Message delivery failed: {}'.format(err))
  else:
    print('Message delivered to {} [{}]'.format(msg.topic(), msg.partition()))

if __name__ == '__main__':
  producer_conf = {
    "bootstrap.servers": '192.168.0.3:9092,192.168.0.4:9092,192.168.0.5:9092',
    "security.protocol": 'sasl_plaintext',
    'sasl.kerberos.service.name': 'kafka',
    'sasl.kerberos.keytab': '/opt/user.keytab',
    'sasl.kerberos.principal': 'kafkauser',
  }
  p = Producer(producer_conf)

  p.poll(0)
  p.produce('testTopic', 'confluent kafka test'.encode('utf-8'),
    callback=delivery_report)

  p.flush()
  print('done')

如果生產消息正常就配置成功了，使用GSSAPI只需要配置security.protocol以及keytab的路徑即可，其他的認證參數比如用戶名和密碼在不同的認證機制下配置

看完上述內容是否對您有幫助呢？如果還想對相關知識有進一步的了解或閱讀更多相關文章，請關注億速云行業資訊頻道，感謝您對億速云的支持。