Qwen 3.8 27B available on Cerebras at 1500 tokens/s
inference-docs.cerebras.ai ·
Cerebrasの公開エンドポイントで利用可能なモデルの一覧が紹介されています。Qwen 3.8 27Bが1500トークン/秒という高速な推論速度で提供され、無料トライアルと従量課金の両方で利用できます。モデルの圧縮状態やREAPプルーニングなどの透明性も説明されています。
Understanding ChatGPT Work
simonwillison.net ·
ChatGPT Workの新機能について、コード実行環境がインターネットにアクセスできることや、ヘッドレスChrome、永続ファイルシステム、サブエージェントの実行などが解説されています。モデル選択やサブスクリプションの扱いについても詳細が述べられています。
WebLLM: high-performance in-browser LLM inference engine
github.com ·
WebGPUを利用してブラウザ内でLLM推論を実行できるWebLLMの概要です。OpenAI APIと互換性があり、ストリーミングやJSONモード、カスタムモデルの統合などがサポートされています。Web WorkerやChrome拡張機能への対応も特徴です。
The efficient frontier of LLM inference
baseten.co ·
LLM推論における効率的フロンティアの概念を解説し、レイテンシとスループット、品質とスピードのトレードオフを管理する技術と、フロンティア全体を押し広げる技術を紹介しています。バッチサイズやKVキャッシュ再利用などの実用的な手法が議論されています。
Nvidia and Cerebras are selling performance their customers will (probably) never see
theregister.com ·
HOT Chipsで発表されたNvidiaとCerebrasのベンチマーク性能が実際の運用では達成されない可能性を指摘しています。SRAM主体のアーキテクチャは低遅延だがスケーラビリティに問題があり、実際にはGPUと組み合わせたデコードアクセラレータとして使われるべきだと論じています。
Intel’s David Zinsner Says 14A Improving Fastest Since 2012 Node, Betting Foundry’s Future On TSMC Fight
wccftech.com ·
IntelのCFO、デビッド・ジンスナー氏は14Aプロセスノードの改善が2012年の22nm以来最速であると述べています。Deutsche Bankのカンファレンスで欠陥密度の改善が強調され、Intelのファウンドリ事業の将来がTSMCとの競争に依存していると語られています。
AMD Says A Hybrid-Bonded 3D DRAM Is 17x More Energy Efficient Than An HBM Stack That Relies On Microbumps, But Thermal Hurdles Block Commercialization
wccftech.com ·
AMDの研究によれば、ハイブリッドボンディングによる3D DRAMは従来のHBMスタックと比較して17倍エネルギー効率が高いとされていますが、熱管理の問題が商業化の障壁となっています。業界ではHBMの限界を補う新しいメモリ技術の探索が進んでいます。
Maybe We Shouldn't Be Reviewing All This Code
martinfowler.com ·
コードレビューの代わりにペアプログラミングやデザインセッション、自動化された品質チェックなどフィードバックを早期に移す方法が提案されています。重要な変更のみ人間によるレビューを行い、例外ベースのレビューアプローチが議論されています。
The safest job from AI may be writing
muratbuffalo.blogspot.com ·
LLMがコード生成では優れているものの、散文の品質は低いままだと論じています。文章作成は「悪質な問題」であり、AIが最終的な20%を克服するのは難しいという観察に基づき、人間のライターはAIに取って代わられないだろうと予測しています。
How software engineering is changing: an essay challenge
blog.pragmaticengineer.com ·
ソフトウェアエンジニアリングの変化をテーマにしたエッセイコンテストの開催が発表されています。優勝賞金は1万ドルで、エンジニア自身の実体験に基づく文章が求められ、AIによる執筆は禁止されています。変化を捉えるためのコミュニティ参加型の取り組みです。