高画質、高品質の映像や画像が、標準化している昨今。古いデジタルカメラの写真データなどを開いたときに、あまりにも画質が悪すぎてがっかりしたことはありませんか？ 今回は、waifu2xというプログラムを使って、画像変換ならぬ画質変換を行う方法について、ご紹介します。
waifu2xとは？
waifu2xを開発し、提供をはじめたnagadomiさんの運営するサイトによると、waifu2xとは“深層畳み込みニューラルネットワークによる二次元画像のための超解像システム”とあります。もっと簡単に紹介するならば、「低画質の画像を高画質化できるプログラム」となります。
開発の元となったのは、Super-Resolution Convolutional Network（以下、SRCNN）という名称のAIアルゴリズムです。Super-Resolutionとは、超解像のことで、解像度の低い画像に含まれる高周波成分の情報を復元する技術のことです。
waifu2xは、SRCNNを元に作られたオープンソースのプログラムですが、パソコンに直接インストールして使用するものではありません。開発者である、nagadomiさんが提供しているGitHub内のプログラム本体以外は、オンラインコンバーターとしてサーバー上で稼働利用されているのが現状です。
waifu2xのwaifuとは、ネットスラングで「2次元における俺の嫁」を指します。2xは、2倍という意味です。この呼び名がもとになっているかは定かではありませんが、waifu2xは、アニメなどの2次元画像を鮮明・高画質化するプログラムとして知られています。
waifu2xをオンラインで使用する
waifu2xはプログラムの名称なので、ソフトウェアなどへの組み込みが必要となります。プログラムを動かせる環境が整えられてはじめて利用できるものなので、単体、では稼働させることができません。この問題を解決してくれるのが、オンラインサービスです。
入力フォームで対象となる画像や映像ファイルを指定し、決定すべきパラメータを設定したら、サーバー上でプログラムを動かし、結果として生成されたファイルを、ダウンロード・保存できるのが、オンラインサービスの概要です。現在も無料で利用できるサイトを、ご紹介します。
・waifu2x
waifu2x開発者でもあるnagadomiさんが、運営しているサイトです。拡大は1.6倍と2倍のみ、サイズは5MBまで、拡大前画像サイズは1500×1500pxという制限があります。
・waifu2x image resizer
シンプルなデザインで使いやすいサイトですが、拡大は、等倍と2倍しか選択できません。写真に対しては、うまく対応できないとの注意書きがあります。
・waifu2x-multi
https://waifu2x.me/index.ja.html
先にパラメータを設定したうえで、対象となる画像ファイルなどをアップロードするページレイアウトとなっています。アップロードできるファイルは、10MBまで、拡大後サイズは2560×2560pxまでです。無料で利用できますが、専用サーバーを利用できる有料版もあります。インスタンスGPUによっても異なりますが、1分あたり0.05ドルから0.6ドルかかります。一方で、画像の拡大は16倍まで、一度に処理できるファイルサイズは1GBまで、と、複数のファイル処理を同時に行いたい場合に重宝する機能が追加されています。バッチ処理（一括処理）に関しては、無料版の上限は5枚ですが、有料版は無制限となっています。
・Upscale Anime Free Online with VanceAI Anime Upscaler
https://vanceai.com/anime-upscaler/
最大サイズは、2.8Mpx、ファイルは5MBまでという制限があります。アップロード後のファイルは、24時間後に自動的に削除されます。
［Upload Image］をクリックすると、ワークスペースウインドウが表示されます。右メニューにある［Select Mode（モードを選択）］より、「waifu2x-cunet（2、4、8、16倍／ノイズ処理機能有り）」「waifh2x-upconv_7_anime_style_art_rgb（2、4、8、16倍／ノイズ処理機能有り）」「real-esrgan（2、4、6、8倍／ノイズ処理機能なし）」から選択できます。
Windows用waifu2x-caffeソフト、Mac用アプリwaifu2xを使用する
lltcggie氏によって開発された、「waifu2x-caffe」というWindows用のソフトがあります。
「Caffe」というディープラーニングのフレームワークを使用して、パソコンのシステム上でwaifu2xを動かせるようにしたソフトです。ソフトの最終更新日は、2020年9月4日となっており、対応OSは64bit版のWindows Vista以降となっています。
waifu2x-caffeの配布元にアクセスして、ソフトが含まれる圧縮ファイルをダウンロードします。
https://forest.watch.impress.co.jp/library/software/waifu2xcaffe/
https://www.gigafree.net/tool/resize/waifu2x-caffe.html
waifu2x-caffe.zipをダウンロードしたら、展開します。「waif2x-caffe.exe」と「waif2x-caffe-cui.exe」がありますが、単体で使用する場合は「waif2x-caffe」を選択しましょう。
他のツールなどと連携させたい場合や、一度に多くの処理を行いたい場合は、CUI版を使用します。双方ともに「.exe」ファイルですが、インストーラーではなく、実行ファイルとなります。よって、アイコンをダブルクリックして起動させるだけで、すぐに利用することができます。
ソフトを利用するにあたって、必要なパソコンのスペックを紹介します。
OS：Windows Vista以降 64bit版 ※32bit版には非対応
メモリ：空きメモリ1GB以上を推奨
GPU：Compute Capability 3.5 以上のNVIDIA製GPU(CPUで変換する場合は不要)
その他：Microsoft Visual C++ 2015 再頒布可能パッケージ Update 3(x64版)がインストールされていることが、稼働条件となります。
Visual C++再頒布可能パッケージは、Microsoftの公式サイトよりダウンロードが可能です。アドレスが変更となる場合がありますので、公式サイトにアクセスの上、「Visual C++再頒布可能」と検索してください。なお、Visual Studio2015、2017，2019、2022パッケージに対応するバージョンは一つのみです。提供されているパッケージは、ARM（タブレット・スマートフォン版）、X86（32bit版）、X64（64bit版）の3種類です。お使いのパソコンのCPU（システムの種類）は、PCのプロパティにてご確認ください。
パッケージのダウンロードとインストールは、クリックのみで完了します。再起動が求められるので、必ずパソコンを再起動してください。
再起動後に改めて、waifu2x-caffe.exeを起動し、対象ファイルの処理を進めます。テストとして、まずはデフォルトの設定のまま進めてみましょう。［実行］ボタンをクリックして、しばらく待つと、出力フォルダにファイルが書き出されます。プレビューのためのソフトを使って、出力されたファイルを確認してください。waifu2x-caffeの操作に関する説明は、以上となります。
Mac App Storeでは、無料のアプリ（App内課金あり）が配布されています。
・waifu2x
https://apps.apple.com/jp/app/waifu2x/id1286485858
こちらは現在もバージョンアップが続けられており、スマートフォン上においては、パソコン環境で処理をするよりも高速だというレビューもあります。また、複数のサービスで課題となっているスケールモードに関しては、128倍に対応しているという記述があります。
対応OSは、iOS15以降、macOS12.0以降です。
waifu2xに類似しているツールについて
waif2xが属するDeep convolutional neural networks（深い畳み込みニューラルネットワーク）には、類似するツールが存在しています。
・VanceAI画像拡大
https://vanceai.com/ja/image-enlarger/
使用しているAIアルゴリズムに関する解説がありませんが、高画質画像拡大という目的は一緒です。ブラウザ上で操作が完結するので、使いやすいツールです。無料版と有料版があります。
・Imglarger
SRCNNを使用しています。Imglargerは、写真に特化したツールといえます。最大で、800％の拡大が可能です。一部有料です。
・Neural Enhance
https://github.com/alexjc/neural-enhance
コマンドプロンプトやUbuntuといったオペレーティングシステムに、コマンドを入力して使用します。解説ページはありますが、システムに詳しい中・上級者向けかもしれません。
まとめ
「超解像＋畳み込みニューラルネットワーク」というAIアルゴリズムの登場は、デジタルデータを扱う業界にとって、革新的な出来事だったそうです。ディープラーニングが含まれる機械学習の分野は、今後もどんどん発展していくことと思います。
