投稿

Needleとは何か: Gemini 3.1を26Mパラメータに蒸留したシンプルアテンションネットワーク

**# Needle: Gemini 3.1を26Mパラメータに蒸留したシンプルアテンションネットワーク** ## 概要 **Needle**は、Cactus Computeが2026年にリリースした**26百万(26M)パラメータ**の小型言語モデルです。Googleの**Gemini 3.1**からツール呼び出し(function calling / tool use)能力を蒸留し、**Simple Attention Networks**という独自アーキテクチャを採用しています。 最大の特徴は、**Mac/PCでローカルに微調整(fine-tuning)可能**である点と、**Cactus**という推論エンジン上で**6000 tok/s prefill**、**1200 tok/s decode**という極めて高速な動作を実現することです。スマートフォン、スマートウォッチ、眼鏡などのエッジデバイス向けに設計された、シングルショット機能呼び出しに特化したモデルです。 MITライセンスで完全にオープンソース。WeightsはHugging Face(Cactus-Compute/needle)で公開されています。 ## 技術的背景とアーキテクチャ 従来のTransformerでは、パラメータの多く(約2/3)が**FFN(Feed-Forward Network / MLP)**に費やされます。しかしNeedleは**「FFNを完全に排除」**した**Simple Attention Networks**を採用しています。 ### 主な特徴 - **Encoder-Decoder構造**:Encoder 12層 + Decoder 8層 - **d_model=512**、**8H/4KV (GQA)**、**RoPE**、**vocab=8192 (BPE)** - **ZCRMSNorm**(Zero-Centered RMSNorm)と**Gated Residual**を活用 - **Cross-Attention中心**:ツール定義とのアライメントに特化 - **Contrastive Tool Selection Head**(CLIP-style):大量のツールから関連ツールを事前選択 **なぜFFNを捨てたか**(公式ドキュメントより): - ツ...

出版可能な論文の書き方:再現研究(レプリケーション)から始める学術出版の極意 #論文執筆 #オープンサイエンス #アカデミア生存戦略 #五14 #1958ゲイリー・キングのリサーチ・デザイン_平成社会学ざっくり解説

巨人の肩への登り方:再現研究(レプリケーション)から始める学術出版の極意 #論文執筆 #オープンサイエンス #アカデミア生存戦略 ハーバード大学ゲイリー・キング教授の教えに基づき、白紙の恐怖をデータで制する革新的ライティング術 目次 イントロダクション:白紙の恐怖を「巨人の肩」で克服する 本書の目的と構成 要約:最短・最速でトップジャーナルへ至る道 主要登場人物紹介 本書のキークエスチョン 第1部:再現(レプリケーション)というパラダイム 第1章:なぜ今、再現なのか 第2章:再現研究の戦略的メリット 歴史的位置づけ 日本への影響 用語索引(アルファベット順) 脚注 イントロダクション:白紙の恐怖を「巨人の肩」で克服する 大学の自習室、あるいは深夜の書斎で、あなたは点滅するカーソルを眺めながら途方に暮れていませんか?「何か独創的なことを書かなければならない」「世界を驚かせる新しい発見をしなければならない」という強迫観念が、あなたの筆を止めてしまっているのなら、本書はまさにあなたのための福音となります。 学術界において、ゼロから何かを積み上げることは、エベレストに裸足で登るような無謀な挑戦に近いものです。しかし、 「巨人の肩に乗る」 ことができれば、話は別です。ハーバード大学のゲイリー・キング教授(Gary King)が提唱する手法は、驚くほどシンプルで、かつ強力です。それは、 「既存の論文を再現(レプリケーション)することから始める」 という戦略です。 本書では、なぜ再現という「一見地味な作業」が、トップジャーナル(一流の学術雑誌)への最短距離となるのか、その論理的な背景と具体的なステップを、初学者の方にもわかりやすく解説していきます。これは単なる執筆テクニックではなく、科学者として...