ベンチマーク
| 前日比順 | 年初来順 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
海外
中国、インド、ブラジル
| 香港 | -0.54 | 0.94 |
| 上海 | -0.93 | 1.29 |
| ムンバイ | -0.48 | 0.42 |
| 1309 乖離率 | -1.13 | -1.05 |
| 1325 乖離率 | 2.25 | 1.14 |
| 1678 乖離率 | 0.10 | 0.41 |
| 1309 中国 |
 |
 |
| 1325 ブラジル |
 |
 |
| 1678 インド |
 |
 |
AI
NVIDIA「Chat With RTX」を、RTX4060搭載ノートPCで動かす〜ローカルLLMでRAGを実現
Chat With RTX
- AIチャット
- ローカル動作
- TensorRT-LLMで最適化されたモデル
- Llama2 13B（int4）
- Mistral 7B（int4）
- RAG（Retrieval Augmentation Generation）実装済み
RTX環境に最適化されたLLM（大規模言語モデル）を使って、ローカルで文書QAなどを実現できる（RAGとは、外部のソースから取得した情報をもとに回答を生成すること。自分が用意した文書を参照させて言語モデルに回答させることが、RAGの活用方法の一例となる）。ローカルのデータを、ローカルのLLMを使って、ローカルのベクトル検索で利用できるため、社外にアップロードすることができない内部的な文書を利用したチャットが手軽に実現できる
Llama2 13Bを利用する場合でトータル10GB前後、Mistral 7Bを利用する場合でトータル6GB前後のVRAMが消費される。
Pythonで作成されたプログラムとなっており、Anaconda（Miniconda）によって作成された環境から起動するように構成されている。
