最近の投稿
gemma-2-9b-it-GGUF を試す
Google Gemma 2 Google の OPEN LLM です。 今回は 90億（9B）と270億（27B）の２つが公開されました。 27Bの方は、量子化してもサイズが大きすぎて私の手持ちのマシンでは動かないよう...
GPT-4o mini を試す
オムニのミニがでました。 https://openai.com/index/gpt-4o-mini-advancing-cost-efficient-intelligence OpenAI Playground で試しま...
Llama-3-ELYZA-JP-70B を試す
気軽に試したいので、今回も Llamafile で起動しました。 対話してみる 質問してみる...
llama3 70B Q4 By llamafile
llamafile を使用すれば、VRAMが足りない分をメモリで代替して、とりあえず動作してくれる。 手元の windows11 マシンがメモリを多めに積めそうなので、メモリを買い替えて 64GB にし、llama3 7...
Meta-Llama-3-8B-Instruct.Q4_K_M を試す
Llmafile で Meta-Llama-3-8B-Instruct.Q4_K_M を試します。 対話 コーディングテスト コーディングもさせてみましょう。 あれれ、、、書いてくれません。 英語でお願いし直してみましょ...
Phi-3-mini-4k-instruct-q4 を試す
LLamafile v0.8.1 が Phi-3-mini-4k-instruct-q4 に対応したので試しました。 https://github.com/Mozilla-Ocho/llamafile/releases/...
llamafile を試す
llamafile v0.7 が、早くてなんかすごいらしいので、試したいと思います。 私の視点では、ローカルで高速で動くことを目指してチューニングされた Llama2 です。 動作環境の構築が極めて容易なのも特徴です。と...
Raspberry pi 5 で LLM
いよいよ Raspberry pi 5 が日本でも発売されました。 今回はスイッチ・サイエンスから メモリ8G バージョンを購入しました。 https://geekworm.com/ セットアップ Raspberry p...
text-generation-webui を試す
https://github.com/oobabooga/text-generation-webui インストールと起動 実に簡単です。 起動オプションをつけて起動 外部からのアクセスを許可し、USER/PW 認証を入れ...
stable-code-3b を試す
Stable Diffusion でファンになってしまった stability ai の Coding 支援LLMというわけですから、試さざるを得ません！ https://ja.stability.ai/blog/sta...
LangChain + wandb + ELYZA-japanese-Llama-2-7bを試す
参考 こちらの記事に従いました。 https://note.com/npaka/n/nb8814ef37da5 セットアップ コード全文 実行結果 ということで、正常に動きました。 実行には 1分かかりました。い アドバ...
LLM AI キャッチアップ
すごい勢いでLLMがリリースされています。 独自のデータで学習されたものもあれば、ファインチューニングされたものもあります。 詳しく読み込んだり、試したりするには時間がいくらあっても足りないので、とりあえずリストアップし...