亚洲激情专区-91九色丨porny丨老师-久久久久久久女国产乱让韩-国产精品午夜小视频观看

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

Spark2.4是否支持圖片格式數據源

發布時間:2021-12-16 21:04:19 來源:億速云 閱讀:157 作者:柒染 欄目:大數據

今天就跟大家聊聊有關Spark2.4是否支持圖片格式數據源,可能很多人都不太了解,為了讓大家更加了解,小編給大家總結了以下內容,希望大家根據這篇文章可以有所收獲。

Spark2.4開始支持內置的圖片數據源讀取器,可以直接讀取圖片的數據。

val df = spark.read.format("image").load("/opt/pic/")

目錄可以還可以是/path/to/dir/**和分區目錄。

Image Schema

讀取的數據會生成一個DF,該DF就一列列名字叫做 image。但是其實他是個嵌套數據結構,具體結構如下:

root|-- image: struct (nullable = true)|    |-- origin: string (nullable = true)|    |-- height: integer (nullable = true)|    |-- width: integer (nullable = true)|    |-- nChannels: integer (nullable = true)|    |-- mode: integer (nullable = true)|    |-- data: binary (nullable = true)

orgin:代表圖片的路徑。

nChannels:顏色通道的數量。對于灰度圖像,典型值為1,對于彩色圖像(例如,RGB),典型值為3,對于具有alpha通道的彩色圖像,典型值為4。

mode:整數標志,提供有關如何解釋數據字段的信息。它指定數據存儲的數據類型和通道順序。希望(但不強制)字段的值映射到下面顯示的OpenCV類型之一。OpenCV類型定義為1,2,3或4個通道,并為像素值定義了幾種數據類型。通道順序指定顏色的存儲順序。例如,如果有一個包含紅色,藍色和綠色組件的典型三通道圖像,則有六種可能的排序。大多數庫使用RGB或BGR。希望三(4)個通道OpenCV類型為BGR(A)順序。

OpenCV中的類型到數字的映射(數據類型x通道數)

Spark2.4是否支持圖片格式數據源

data:以二進制格式存儲的圖像數據。圖像數據表示為具有尺寸形狀(高度,寬度,n通道)和由schema字段指定的類型t的數組值的三維陣列。該數組以row-major順序存儲。

通道順序(channel order)

通道順序指定存儲顏色的順序。例如,如果您有一個包含紅色,藍色和綠色組件的典型三通道圖像,則有六種可能的排序。大多數庫使用RGB或BGR。預計三(4)個通道OpenCV類型為BGR(A)順序

案例

對于有監督學習,可以用label作為分區列,目前label僅僅支持數字類型。

Spark2.4是否支持圖片格式數據源

val spark = SparkSession  .builder()  .appName("Spark reads pics")  .master("local[2]")  .getOrCreate()
val df = spark.read.format("image").load("/opt/pic")
df.printSchema()df.select(col("label"),  col("image.origin"),  col("image.height"),  col("image.width"),  col("image.nChannels"),  col("image.mode")).show(1,false)
spark.stop()

Spark2.4是否支持圖片格式數據源

關于圖片處理,目前spark支持的算法并不是很多,希望后續版本繼續完善吧。

看完上述內容,你們對Spark2.4是否支持圖片格式數據源有進一步的了解嗎?如果還想了解更多知識或者相關內容,請關注億速云行業資訊頻道,感謝大家的支持。

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

金寨县| 绍兴市| 本溪市| 洱源县| 苗栗市| 洛隆县| 谷城县| 潜山县| 藁城市| 玉溪市| 巩义市| 海原县| 电白县| 泊头市| 万安县| 榕江县| 府谷县| 油尖旺区| 五大连池市| 芒康县| 会理县| 兰坪| 新源县| 阿尔山市| 石家庄市| 正蓝旗| 华亭县| 渭南市| 沾化县| 冷水江市| 高唐县| 龙井市| 新蔡县| 潍坊市| 新竹市| 金乡县| 公主岭市| 惠来县| 哈巴河县| 南雄市| 大安市|