高保真圖像放大？？超高清無損？滿滿的細節？ – StableSR…….
由於現有顯卡性能限制，想要在圖生圖裡重繪放大一張圖到4k以上的尺寸就得要借用各種分格繪圖再重拼接成大圖的方式，無法一次生成。之前試過大家很推崇的Ultimate SD upscale，但對於我要重繪放大的”真人寫實照片”類型的圖來說，一直出現各種問題(即使有Controlnet輔助，仍然是一下畫面還是有鬼影、一下死平塗抺感很重、一下又是格狀的邊緣痕跡明顯…..沒完沒了)。今天就再來測試另一個也是利用分格繪圖再拼接的重繪放大外掛工具- Tiled Diffusion and VAE。
關於Tile模型，在網路上普遍的教學說法就是它可以”增加畫面細節”、”高清修復放大”，有多神多好用，用了它會讓原圖畫面變更細緻/精緻….等等。但一開始看了很多Youtube上對於tile的教學，我整個印象就是沒能有一個貫通的邏輯性有很明確的指出Tile到底對SD起到的約束/影響是什麼，都叫ControlNet了，到底tile引導控制了什麼，所以才產生了在原圖上增加了比原本更多的細節……。
ControlNet的Inpaint主要功能和我們過去圖生圖裡的Inpaint局部重繪大致是一樣的作用，而其中一個預處理器(inpaint_only_lama)還可以產出不錯的背景填充延伸圖(Outpainting)。
ControlNet 官方的其它特殊效果主要有 Shuffle、Tile、Inpaint、IP2P、Reference，其中Tile和Inpaint會花比較多篇幅就之後另外再介紹，這篇就先來看Shuffle & IP2P & Reference這三種ControlNet成像效果。
語義分割(Semantic Segmentation)指的就是針對畫面中每個像素點進行辨別分類(山、河流、人、車、沙發….等)，並將同一類型的區域分塊標註成特定顏色。而ControlNet的控制約束裡就有這一項功能。
ControlNet的OpenPose是一開始最主要引起大家關注的一項約束類型。透過提取出原圖中人物的動作姿勢骨架圖，讓我們可以更精準地做到對成像人物姿勢的掌控，即使是一些光靠文字描述也形容不出的動作姿勢，也能輕易實現。
ControlNet的Depth可以提取出畫面中人物/物體的前後關系/前景後景的分別，而Normal(法線)則可以紀錄出畫面中物體的凹凸面訊息。透過這兩種ControlNet約束類型，就可以幫助我們對成像的空間深度關係與物體的凹凸立體感/亮面暗面的光影效果進行約束控制。
ControlNet裡，目前針對邊緣檢測進行線條約束的類型分別有Cannny、Lineart、SoftEdge、Scribble以及MLSD。