TALPKEYBOARD BLOG

TALPKEYBOARDは、2017年に開業したメカニカルキーボードパーツ専門ショップです。 このブログでは、パーツレビュー・製品比較・技術考察などを中心に、キーボードを楽しむための情報を発信しています。 一部の記事にはアフィリエイトリンクが含まれます。

TALPKEYBOARD

TALPKEYBOARD BLOG

キーボード、キースイッチ、トラックボール、AI入力デバイス、 マクロパッド、自作ハードウェアなど、 TALPKEYBOARDが気になった製品と技術を紹介しています。

カテゴリから探す

新着記事

すべての記事 →

AIが「PCの外」に出てきた─画面を見てキーボードとマウスを操作する「Violoop」

https://violoop.ai/


※本記事は、2026年9月17日にFabSceneが掲載した記事「パソコンの画面を読んでキーボードを操作するAI『Violoop』」をきっかけに、Violoopの情報も参照しながら、その仕組みと入力デバイスとしての意味を考察したものです。以下の引用部分はFabSceneの記事から引用しています。

「ソフトウェアを入れる必要はなく、WindowsでもmacOSでもLinuxでも同じように動く。」

— FabScene「パソコンの画面を読んでキーボードを操作するAI『Violoop』」より引用

一見すると、小型PCやAIアクセラレーターの新製品にも見える「Violoop」。

しかし、この製品の面白いところはAIの性能そのものよりも、AIがパソコンを操作する方法にあります。

Violoopはパソコンから出力された画面をHDMIで受け取り、その画面をAIが読み取ります。そして、USB経由で接続先のパソコンに対してキーボードやマウスとして操作を返します。

つまり、

画面を見る → 状況を判断する → キーボードやマウスを操作する

という、人間が普段行っているパソコン操作を、そのまま外部のハードウェアに置き換えています。


HDMIで「見る」、USB HIDで「操作する」

仕組みはかなり明快です。

Violoopをパソコンとディスプレイの間に接続し、HDMI経由で画面情報を取得します。

一方、パソコン側にはUSBで接続されます。

ここで重要なのは、Violoopが特殊なAI用デバイスとしてではなく、標準的なキーボード/マウス、つまりUSB HIDとしてパソコンを操作する点です。

公式サイトでも、HDMI 2.0による4K/30Hzの画面取り込みと、USB HIDによるキーボード・マウス操作を掲げています。OSはWindows、macOS、Linuxに対応し、専用ドライバーを必要としない構成です。

構造を単純化すると、

パソコン
   ↓ HDMI
Violoop
   ↓ USB HID
パソコン

となります。

少し妙な図ですが、ここがこの製品の肝です。

Violoopは、パソコンの「外側」からパソコンを見て、操作しています。


中身はRK3576+AIモデル

メインプロセッサにはRockchip RK3576を搭載。

8コアCPUと最大26 TOPSのAIアクセラレーターを備え、ローカルではQwen 8Bの4bit量子化モデルを動作させるとしています。

メーカー公称値では、Qwen 8B Q4の生成速度は最大53 token/s。比較対象としてMac mini M4の20 token/sを掲げています。

画面を読み取って次の操作を考える程度であれば、必ずしも巨大なクラウドモデルを毎回呼び出す必要はありません。

Violoopでは基本的な画面認識や処理をローカルで行い、より大きなモデルが必要な場合には、画面そのものではなく関連情報を整理したテキストを外部AIへ送る仕組みを説明しています。

Claude、OpenAI、GeminiなどのAPIキーをユーザー自身が設定するBYOKにも対応しています。


AIとキーボード操作を別のチップに分離

さらに興味深いのが、安全機構です。

AI処理を行うRK3576とは別に、USB HID操作や物理確認ボタンを担当するSTM32H563を搭載しています。

つまり、

RK3576
画面を見る
↓
AIが操作を考える
↓
STM32H563
操作を許可する
↓
USB HID
↓
パソコン

という分業です。

Violoopでは重要な操作を実行する前に、本体の物理ボタンによる承認を要求します。

公式説明では、このボタンはAI側ではなくセキュリティ用チップへ直接接続されており、ホストPCやAI側のソフトウェアからボタン操作そのものを発生させられない構成としています。

AIエージェントにパソコンを直接操作させる以上、「止める仕組み」をソフトウェアだけに任せず物理層まで分離したのは、かなり重要な設計でしょう。


APIがなくても使える

そしてVioloopの最大の特徴は、対象となるアプリケーション側にAI用APIがなくても構わないことです。

通常、AIエージェントに何かをさせようとすると、

  • API
  • プラグイン
  • ブラウザ拡張
  • 専用アプリ
  • アクセシビリティAPI
  • RPA用の設定

など、対象となるソフトウェア側との何らかの接続手段が必要になります。

Violoopは、その前提をかなり乱暴に飛び越えます。

人間が画面を見て操作できるのであれば、AIにも画面を見せて、キーボードとマウスを渡せばいい。

公式も「No APIs. No plugins.」を特徴として掲げ、ブラウザ、ドキュメント、表計算、メールなど200以上のアプリケーションを対象としていると説明しています。視覚処理については、1万以上の実際のソフトウェア画面でテストしているとしています。

これはある意味、非常に力技です。

しかし、コンピューターのユーザーインターフェースというものが、そもそも人間が画面を見てキーボードとマウスで操作するために作られている以上、かなり汎用性の高い方法でもあります。

https://violoop.ai/


古い業務ソフトほど面白いかもしれない

この仕組みが特に面白そうなのは、最新のWebサービスよりも、むしろAPIなど存在しない古いシステムです。

たとえば、

  • 古いWindows業務ソフト
  • 社内専用システム
  • 在庫管理ソフト
  • POS
  • 製造設備の管理端末
  • 独自GUIを持つ機器
  • リモートデスクトップ上のアプリケーション

など。

人間には操作できるけれど、自動化しようとすると非常に面倒。

こうしたシステムは世の中に大量に残っています。

従来のRPAでは「この座標をクリックする」「このUI要素を探す」といったルールをあらかじめ作る必要がありました。

Violoopが目指しているのは、そのさらに上の、

画面の意味を理解して、次に何をするかをAI自身が考えるRPA

と言えるかもしれません。


これは「AI入力デバイス」なのか?

AI専用キー、音声入力デバイス、AIを呼び出すためのコントローラーなど、多くは

人間 → 入力デバイス → AI

という方向です。

Violoopは、それをひっくり返します。

従来

人間
 ↓
キーボード
 ↓
PC / AI

だったものが、

Violoop

AI
 ↓
キーボード・マウス相当のHID
 ↓
PC

になります。

つまりこれは、人間がAIへ入力するためのデバイスではなく、AIがコンピューターへ入力するためのデバイスです。

キーボードというものを「人間が文字を入力する板」と考えるとVioloopはキーボードではありません。

しかし、「コンピューターへ命令を伝えるHID」と考えると、Violoopはかなり入力デバイスに近い存在です。


「AIユーザー」がPCの前に座る

さらに抽象化すると、Violoopが作ろうとしているものは新しいキーボードというより、

AIユーザー

なのかもしれません。

人間は、

  1. 画面を見る
  2. 状況を理解する
  3. 次の操作を考える
  4. キーボードやマウスを操作する

というループでPCを使っています。

Violoopは、このループそのものをハードウェア化します。

AIエージェントというと、これまではパソコンの中で動くソフトウェアというイメージが強くありました。

Violoopでは、そのAIがパソコンの外へ出て、HDMIから画面を覗き込み、USBからキーボードを叩いています。

かなり奇妙な構造です。

しかし、人間と同じインターフェースをAIに与えるという意味では、むしろ非常に素直な構造でもあります。


クラウドファンディング段階の製品

Violoopは現在Kickstarterでクラウドファンディングを実施しています。公式サイトでも2026年9月17日時点でキャンペーン公開中となっています。

FabSceneによると、最も安い早期割引価格は3,128香港ドル、約6万2,000円。出荷予定は2026年11月です。また、Bvio Techにとって今回が初めてのKickstarterでの資金調達とされています。

そのため、実製品がメーカーの説明通りの速度や認識精度、安定性を実現できるかについては、製品出荷後の検証を待つ必要があります。

特に画面を理解して自由にGUIを操作するAIエージェントでは、デモ映像でうまく動くことと、日常のさまざまなソフトウェアで安定して動くことには大きな差があります。

現段階では、その点を踏まえて見る必要があるでしょう。


まとめ──入力デバイスの向きが逆になった

Violoopで興味深いのは、26 TOPSのAI性能でも、Qwen 8Bが動くことでもありません。

AIに「画面」と「キーボードとマウス」を渡したことです。

これまで入力デバイスは、人間からコンピューターへ情報を渡すための道具でした。

しかしAIエージェントが実際にコンピューターを操作するようになると、

AIからコンピューターへ情報を入力するデバイス

という、逆向きの入力デバイスも必要になります。

Violoopがそのまま普及するかどうかはまだ分かりません。

ただ、

HDMIで見る。 AIで考える。 USB HIDで操作する。

という構成は非常に分かりやすく、他の製品にも応用できる考え方です。

「AIを呼び出すためのキー」を付ける段階から、AIそのものがキーボードを操作する段階へ。

入力デバイスとAIの関係は、思ったより早く次の段階へ進み始めているのかもしれません。


参考

* FabScene編集部「パソコンの画面を読んでキーボードを操作するAI『Violoop』」(2026年9月17日) * Violoop Kickstarterページ