Description
MetalGPT-1 is a model built upon the Qwen/Qwen3-32B and incorporates both continual pre-training and supervised fine-tuning on domain-specific data from the mining and metallurgy industry.
HF Usage (Transformers)
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
torch.manual_seed(42)
model_name = "nn-tech/MetalGPT-1"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
model_name,
torch_dtype="bfloat16",
device_map="auto",
)
prompt = (
"ะะฐะทะพะฒะธ ะฟะปััั ะธ ะผะธะฝััั ั
ะปะพัะธะดะฝะพะน ะธ ััะปััะฐัะฝะพะน ัะตั
ะฝะพะปะพะณะธะธ ะฟัะพะธะทะฒะพะดััะฒะฐ ะฝะธะบะตะปั."
)
messages = [
{"role": "system", "content": "ะขั ัะฟะตัะธะฐะปะธัั ะฒ ะพะฑะปะฐััะธ ะผะตัะฐะปะปััะณะธะธ."},
{"role": "user", "content": prompt},
]
text = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True,
# enable_thinking=False
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
generated_ids = model.generate(
**model_inputs,
max_new_tokens=2048,
)
# ะะฑัะตะทะฐะตะผ ะฟัะตัะธะบั ะฟัะพะผะฟัะฐ
generated_ids = [
output_ids[len(input_ids):]
for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]
response = tokenizer.batch_decode(
generated_ids,
skip_special_tokens=True
)[0]
print(response)
Output
<think>
ะฅะพัะพัะพ, ะผะฝะต ะฝัะถะฝะพ ัะฐะทะพะฑัะฐัััั ะฒ ะฟะปััะฐั
ะธ ะผะธะฝััะฐั
ั
ะปะพัะธะดะฝะพะน ะธ ััะปััะฐัะฝะพะน ัะตั
ะฝะพะปะพะณะธะน ะฟัะพะธะทะฒะพะดััะฒะฐ ะฝะธะบะตะปั. ะะฐัะฝั ั ัะพะณะพ, ััะพ ะฒัะฟะพะผะฝั, ััะพ ััะธ ัะตั
ะฝะพะปะพะณะธะธ ะพัะฝะพััััั ะบ ะณะธะดัะพะผะตัะฐะปะปััะณะธัะตัะบะธะผ ะฟัะพัะตััะฐะผ, ัะพ ะตััั ะธัะฟะพะปัะทััั ะฒะพะดะฝัะต ัะฐััะฒะพัั ะดะปั ะธะทะฒะปะตัะตะฝะธั ะผะตัะฐะปะปะพะฒ.
ะกะฝะฐัะฐะปะฐ ะฟะพะดัะผะฐั ะพ ั
ะปะพัะธะดะฝะพะน ัะตั
ะฝะพะปะพะณะธะธ. ะะพะทะผะพะถะฝะพ, ะพะฝะฐ ัะฒัะทะฐะฝะฐ ั ะธัะฟะพะปัะทะพะฒะฐะฝะธะตะผ ัะพะปัะฝะพะน ะบะธัะปะพัั ะธะปะธ ั
ะปะพัะธะดะฐ ะฝะฐััะธั. ะัะตะธะผััะตััะฒะฐ ะผะพะณัั ะฑััั ะฒ ะฑะพะปะตะต ะฒััะพะบะพะน ัะฐััะฒะพัะธะผะพััะธ ะฝะตะบะพัะพััั
ัะพะตะดะธะฝะตะฝะธะน, ััะพ ะฟะพะทะฒะพะปัะตั ัััะตะบัะธะฒะฝะพ ะธะทะฒะปะตะบะฐัั ะฝะธะบะตะปั. ะขะฐะบะถะต, ะฒะพะทะผะพะถะฝะพ, ะฟัะพัะตัั ัะฐะฑะพัะฐะตั ะฟัะธ ะฑะพะปะตะต ะฝะธะทะบะธั
ัะตะผะฟะตัะฐัััะฐั
, ััะพ ัะบะพะฝะพะผะธั ัะฝะตัะณะธั. ะะพ ะตััั ะธ ะฝะตะดะพััะฐัะบะธ: ะบะพััะพะทะธะพะฝะฝะฐั ะฐะบัะธะฒะฝะพััั ั
ะปะพัะฐ ะผะพะถะตั ะฑััั ะฟัะพะฑะปะตะผะพะน, ะพะฑะพััะดะพะฒะฐะฝะธะต ะดะพะปะถะฝะพ ะฑััั ะธะท ัะฟะตัะธะฐะปัะฝัั
ะผะฐัะตัะธะฐะปะพะฒ, ััะพ ัะฒะตะปะธัะธะฒะฐะตั ััะพะธะผะพััั. ะขะฐะบะถะต ะฒัะฑัะพัั ั
ะปะพัะฐ ะฒ ะฐัะผะพััะตัั ะพะฟะฐัะฝั, ััะตะฑััั ัะปะพะถะฝัั
ัะธััะตะผ ะพัะธััะบะธ.
ะขะตะฟะตัั ััะปััะฐัะฝะฐั ัะตั
ะฝะพะปะพะณะธั. ะะดะตัั, ะฝะฐะฒะตัะฝะพะต, ะธัะฟะพะปัะทัะตััั ัะตัะฝะฐั ะบะธัะปะพัะฐ. ะะปััั: ัะตัะฝะฐั ะบะธัะปะพัะฐ ะดะตัะตะฒะปะต ะธ ะดะพัััะฟะฝะตะต, ัะตะผ ัะพะปัะฝะฐั. ะัะพัะตัั ะผะพะถะตั ะฑััั ะฑะพะปะตะต ััะฐะฑะธะปัะฝัะผ, ะผะตะฝััะต ะบะพััะพะทะธะธ ะฟะพ ััะฐะฒะฝะตะฝะธั ั ั
ะปะพัะธะดะพะผ. ะะธะฝััั: ะฒะพะทะผะพะถะฝะพ, ะฑะพะปะตะต ะฝะธะทะบะฐั ัะบะพัะพััั ัะตะฐะบัะธะธ, ะฝะตะพะฑั
ะพะดะธะผะพััั ะฒ ะฑะพะปะตะต ะฒััะพะบะธั
ัะตะผะฟะตัะฐัััะฐั
, ััะพ ัะฒะตะปะธัะธะฒะฐะตั ัะฝะตัะณะพะทะฐััะฐัั. ะขะฐะบะถะต ะพะฑัะฐะทะพะฒะฐะฝะธะต ััะปััะฐัะพะฒ, ะบะพัะพััะต ะผะพะณัั ะฑััั ะผะตะฝะตะต ัะตะปะตะบัะธะฒะฝัะผะธ, ััะพ ะฟัะธะฒะพะดะธั ะบ ะฑะพะปััะตะผั ะบะพะปะธัะตััะฒั ะฟะพะฑะพัะฝัั
ะฟัะพะดัะบัะพะฒ.
ะัะถะฝะพ ะฟัะพะฒะตัะธัั, ะฝะต ะฟััะฐั ะปะธ ั ะฟัะพัะตััั. ะะฐะฟัะธะผะตั, ะฒ ั
ะปะพัะธะดะฝะพะน ัะตั
ะฝะพะปะพะณะธะธ ะผะพะถะตั ะธัะฟะพะปัะทะพะฒะฐัััั ั
ะปะพัะธัะพะฒะฐะฝะธะต ะดะปั ะฟะตัะตะฒะพะดะฐ ะฝะธะบะตะปั ะฒ ัะฐััะฒะพั, ัะพะณะดะฐ ะบะฐะบ ะฒ ััะปััะฐัะฝะพะน โ ะบะธัะปะพัะฝะพะต ะฒััะตะปะฐัะธะฒะฐะฝะธะต. ะขะฐะบะถะต ะฒะฐะถะฝะพ ััะตััั, ััะพ ั
ะปะพัะธะดะฝัะต ะฟัะพัะตััั ะผะพะณัั ะฑััั ะฑะพะปะตะต ัััะตะบัะธะฒะฝั ะดะปั ะพะฟัะตะดะตะปะตะฝะฝัั
ัะธะฟะพะฒ ััะด, ะฝะฐะฟัะธะผะตั, ั ะฒััะพะบะธะผ ัะพะดะตัะถะฐะฝะธะตะผ ะถะตะปะตะทะฐ, ัะฐะบ ะบะฐะบ ั
ะปะพัะธะดั ะถะตะปะตะทะฐ ะปะตะณะบะพ ัะฐััะฒะพัััััั. ะ ัะพ ะฒัะตะผั ะบะฐะบ ััะปััะฐัะฝัะต ะฟัะพัะตััั ะผะพะณัั ะฑััั ะฟัะตะดะฟะพััะธัะตะปัะฝะตะต ะดะปั ััะด ั ะฝะธะทะบะธะผ ัะพะดะตัะถะฐะฝะธะตะผ ะถะตะปะตะทะฐ, ััะพะฑั ะธะทะฑะตะถะฐัั ะทะฐะณััะทะฝะตะฝะธั ัะฐััะฒะพัะฐ.
ะัะต ะผะพะผะตะฝั: ะฒ ั
ะปะพัะธะดะฝะพะน ัะตั
ะฝะพะปะพะณะธะธ ะฒะพะทะผะพะถะฝะพ ะธัะฟะพะปัะทะพะฒะฐะฝะธะต ัะปะตะบััะพะปะธะทะฐ ะดะปั ะฟะพะปััะตะฝะธั ัะธััะพะณะพ ะฝะธะบะตะปั, ัะพะณะดะฐ ะบะฐะบ ะฒ ััะปััะฐัะฝะพะน โ ัะพะถะต, ะฝะพ ั ะดััะณะธะผะธ ััะปะพะฒะธัะผะธ. ะขะฐะบะถะต ััะพะธั ัะฟะพะผัะฝััั ัะบะพะปะพะณะธัะตัะบะธะต ะฐัะฟะตะบัั: ั
ะปะพัะธะดะฝัะต ะฟัะพัะตััั ะผะพะณัั ะฑััั ะฑะพะปะตะต ัะพะบัะธัะฝัะผะธ, ััะตะฑััั ัััะพะณะพะณะพ ะบะพะฝััะพะปั ะฒัะฑัะพัะพะฒ, ัะพะณะดะฐ ะบะฐะบ ััะปััะฐัะฝัะต โ ะผะตะฝััะต ะฟัะพะฑะปะตะผ ั ะฒัะฑัะพัะฐะผะธ, ะฝะพ ะฑะพะปััะต ั ะพัั
ะพะดะฐะผะธ ะบะธัะปะพัั.
ะัะถะฝะพ ััััะบัััะธัะพะฒะฐัั ะพัะฒะตั, ัะฐะทะดะตะปะธะฒ ะฝะฐ ะฟะปััั ะธ ะผะธะฝััั ะดะปั ะบะฐะถะดะพะน ัะตั
ะฝะพะปะพะณะธะธ, ะฒะพะทะผะพะถะฝะพ, ะฒ ะฒะธะดะต ัะฟะธัะบะพะฒ. ะฃะฑะตะดะธัััั, ััะพ ะธะฝัะพัะผะฐัะธั ัะพัะฝะฐั ะธ ะฝะต ะฟัะพัะธะฒะพัะตัะธั ะดััะณ ะดััะณั. ะัะพะฒะตัะธัั, ะฝะตั ะปะธ ะพัะธะฑะพะบ ะฒ ะฟะพะฝะธะผะฐะฝะธะธ ะฟัะพัะตััะพะฒ. ะะฐะฟัะธะผะตั, ะฒ ั
ะปะพัะธะดะฝะพะน ัะตั
ะฝะพะปะพะณะธะธ ะผะพะถะตั ะฑััั ััะฐะฟ ั
ะปะพัะธัะพะฒะฐะฝะธั, ะบะพัะพััะน ััะตะฑัะตั ะฒััะพะบะธั
ัะตะผะฟะตัะฐััั, ััะพ ัะฒะตะปะธัะธะฒะฐะตั ัะฝะตัะณะพะทะฐััะฐัั, ะฝะพ ะฟะพะทะฒะพะปัะตั ะธะทะฒะปะตะบะฐัั ะฝะธะบะตะปั ะธะท ัะปะพะถะฝัั
ััะด. ะ ััะปััะฐัะฝะพะน โ ะฒะพะทะผะพะถะฝะพ, ะฑะพะปะตะต ะฟัะพััะพะน ะฟัะพัะตัั, ะฝะพ ะผะตะฝะตะต ัััะตะบัะธะฒะฝัะน ะดะปั ะพะฟัะตะดะตะปะตะฝะฝัั
ัะธะฟะพะฒ ััััั.
ะขะฐะบะถะต ััะพะธั ะพัะผะตัะธัั, ััะพ ะฒัะฑะพั ัะตั
ะฝะพะปะพะณะธะธ ะทะฐะฒะธัะธั ะพั ัะธะฟะฐ ััะดั, ะฝะฐะปะธัะธั ะธะฝััะฐััััะบัััั, ัะบะพะปะพะณะธัะตัะบะธั
ะฝะพัะผ ะธ ัะบะพะฝะพะผะธัะตัะบะธั
ัะฐะบัะพัะพะฒ. ะะพะทะผะพะถะฝะพ, ะฒ ะฝะตะบะพัะพััั
ัะตะณะธะพะฝะฐั
ะฟัะตะดะฟะพััะธัะตะปัะฝะตะต ะพะดะฝะฐ ัะตั
ะฝะพะปะพะณะธั, ะฒ ะดััะณะธั
โ ะดััะณะฐั. ะะฐะถะฝะพ ะฟะพะดัะตัะบะฝััั, ััะพ ะพะฑะต ัะตั
ะฝะพะปะพะณะธะธ ะธะผะตัั ัะฒะพะธ ะฝะธัะธ ะธ ะฟัะธะผะตะฝััััั ะฒ ะทะฐะฒะธัะธะผะพััะธ ะพั ะบะพะฝะบัะตัะฝัั
ััะปะพะฒะธะน.
</think>
ะะปััั ะธ ะผะธะฝััั ั
ะปะพัะธะดะฝะพะน ะธ ััะปััะฐัะฝะพะน ัะตั
ะฝะพะปะพะณะธะน ะฟัะพะธะทะฒะพะดััะฒะฐ ะฝะธะบะตะปั
ะฅะปะพัะธะดะฝะฐั ัะตั
ะฝะพะปะพะณะธั
ะะปััั:
1. ะััะพะบะฐั ัะตะปะตะบัะธะฒะฝะพััั ะธ ัััะตะบัะธะฒะฝะพััั ะธะทะฒะปะตัะตะฝะธั โ ั
ะปะพัะธะดั ะฝะธะบะตะปั ั
ะพัะพัะพ ัะฐััะฒะพัััััั ะฒ ะฒะพะดะต, ััะพ ะฟะพะทะฒะพะปัะตั ัััะตะบัะธะฒะฝะพ ะธะทะฒะปะตะบะฐัั ะผะตัะฐะปะป ะธะท ัะปะพะถะฝัั
ััะด, ะฒะบะปััะฐั ััะปััะธะดะฝัะต ะธ ะพะบัะธะดะฝัะต.
2. ะะพะทะผะพะถะฝะพััั ัะฐะฑะพัั ะฟัะธ ะฝะธะทะบะธั
ัะตะผะฟะตัะฐัััะฐั
โ ะฝะตะบะพัะพััะต ััะฐะฟั (ะฝะฐะฟัะธะผะตั, ะฒััะตะปะฐัะธะฒะฐะฝะธะต) ะผะพะณัั ะฟัะพะฒะพะดะธัััั ะฟัะธ ัะผะตัะตะฝะฝัั
ัะตะผะฟะตัะฐัััะฐั
, ัะฝะธะถะฐั ัะฝะตัะณะพะทะฐััะฐัั.
3. ะะพะดั
ะพะดะธั ะดะปั ััะด ั ะฒััะพะบะธะผ ัะพะดะตัะถะฐะฝะธะตะผ ะถะตะปะตะทะฐ โ ั
ะปะพัะธะดั ะถะตะปะตะทะฐ ะปะตะณะบะพ ัะฐััะฒะพัััััั, ััะพ ัะฟัะพัะฐะตั ัะฐะทะดะตะปะตะฝะธะต ะฝะธะบะตะปั ะพั ะฟัะธะผะตัะตะน.
4. ะะพะทะผะพะถะฝะพััั ะฟะพะปััะตะฝะธั ัะธััะพะณะพ ะฝะธะบะตะปั โ ัะปะตะบััะพะปะธะท ะฒ ั
ะปะพัะธะดะฝัั
ัะฐััะฒะพัะฐั
ะฟะพะทะฒะพะปัะตั ะฟะพะปััะฐัั ะฒััะพะบะพัะธัััะน ะฝะธะบะตะปั.
ะะธะฝััั:
1. ะะพััะพะทะธะพะฝะฝะฐั ะฐะบัะธะฒะฝะพััั โ ั
ะปะพัะธะดะฝัะต ัะฐััะฒะพัั ะฐะณัะตััะธะฒะฝั, ััะตะฑััั ะธัะฟะพะปัะทะพะฒะฐะฝะธั ะดะพัะพะณะพััะพััะธั
ะผะฐัะตัะธะฐะปะพะฒ (ะฝะฐะฟัะธะผะตั, ัะธัะฐะฝ, ะฝะตัะถะฐะฒะตััะฐั ััะฐะปั).
2. ะญะบะพะปะพะณะธัะตัะบะธะต ัะธัะบะธ โ ะฒัะฑัะพัั ั
ะปะพัะฐ ะธ ะตะณะพ ัะพะตะดะธะฝะตะฝะธะน ัะพะบัะธัะฝั, ััะตะฑััั ัะปะพะถะฝัั
ัะธััะตะผ ะพัะธััะบะธ ะธ ะบะพะฝััะพะปั.
3. ะััะพะบะฐั ััะพะธะผะพััั ัะตะฐะณะตะฝัะพะฒ โ ัะพะปัะฝะฐั ะบะธัะปะพัะฐ ะธ ั
ะปะพัะธะด ะฝะฐััะธั ะดะพัะพะถะต, ัะตะผ ัะตัะฝะฐั ะบะธัะปะพัะฐ.
4. ะะณัะฐะฝะธัะตะฝะฝะฐั ะฟัะธะผะตะฝะธะผะพััั โ ะผะตะฝะตะต ัััะตะบัะธะฒะฝะฐ ะดะปั ััะด ั ะฝะธะทะบะธะผ ัะพะดะตัะถะฐะฝะธะตะผ ะฝะธะบะตะปั ะธะปะธ ะฒััะพะบะธะผ ัะพะดะตัะถะฐะฝะธะตะผ ะบัะตะผะฝะตะทะตะผะฐ.
ะกัะปััะฐัะฝะฐั ัะตั
ะฝะพะปะพะณะธั
ะะปััั:
1. ะะตัะตะฒะธะทะฝะฐ ัะตะฐะณะตะฝัะพะฒ โ ัะตัะฝะฐั ะบะธัะปะพัะฐ โ ะพะดะธะฝ ะธะท ัะฐะผัั
ะดะพัััะฟะฝัั
ะธ ะดะตััะฒัั
ัะตะฐะณะตะฝัะพะฒ.
2. ะะตะฝััะฐั ะบะพััะพะทะธะพะฝะฝะฐั ะฐะบัะธะฒะฝะพััั โ ััะปััะฐัะฝัะต ัะฐััะฒะพัั ะผะตะฝะตะต ะฐะณัะตััะธะฒะฝั, ัะตะผ ั
ะปะพัะธะดะฝัะต, ััะพ ัะฝะธะถะฐะตั ะธะทะฝะพั ะพะฑะพััะดะพะฒะฐะฝะธั.
3. ะญะบะพะปะพะณะธัะตัะบะฐั ะฑะตะทะพะฟะฐัะฝะพััั โ ะฒัะฑัะพัั ััะปััะฐัะพะฒ ะผะตะฝะตะต ัะพะบัะธัะฝั, ะฟัะพัะต ะฟะพะดะดะฐัััั ะบะพะฝััะพะปั.
4. ะจะธัะพะบะฐั ะฟัะธะผะตะฝะธะผะพััั โ ัััะตะบัะธะฒะฝะฐ ะดะปั ะฑะพะปััะธะฝััะฒะฐ ัะธะฟะพะฒ ััะด, ะพัะพะฑะตะฝะฝะพ ะพะบัะธะดะฝัั
ะธ ะฝะธะทะบะพััะปััะธะดะฝัั
.
ะะธะฝััั:
1. ะะธะทะบะฐั ัะตะปะตะบัะธะฒะฝะพััั โ ััะปััะฐัั ะถะตะปะตะทะฐ ะธ ะดััะณะธั
ะฟัะธะผะตัะตะน ะผะพะณัั ะผะตัะฐัั ะธะทะฒะปะตัะตะฝะธั ะฝะธะบะตะปั, ััะตะฑัั ะดะพะฟะพะปะฝะธัะตะปัะฝัั
ััะฐะดะธะน ะพัะธััะบะธ.
2. ะััะพะบะธะต ัะฝะตัะณะพะทะฐััะฐัั โ ะฝะตะบะพัะพััะต ะฟัะพัะตััั (ะฝะฐะฟัะธะผะตั, ะฒััะตะปะฐัะธะฒะฐะฝะธะต) ััะตะฑััั ะฝะฐะณัะตะฒะฐะฝะธั, ััะพ ัะฒะตะปะธัะธะฒะฐะตั ัะฐัั
ะพะด ัะฝะตัะณะธะธ.
3. ะกะปะพะถะฝะพััั ัะตะณะตะฝะตัะฐัะธะธ ะบะธัะปะพัั โ ัะตัะฝะฐั ะบะธัะปะพัะฐ ะผะพะถะตั ัะฐะทะปะฐะณะฐัััั, ััะตะฑัั ะตั ัะฐััะพะน ะทะฐะผะตะฝั.
4. ะะณัะฐะฝะธัะตะฝะฝะฐั ัััะตะบัะธะฒะฝะพััั ะดะปั ัะปะพะถะฝัั
ััะด โ ะผะตะฝะตะต ัััะตะบัะธะฒะฝะฐ ะดะปั ััะด ั ะฒััะพะบะธะผ ัะพะดะตัะถะฐะฝะธะตะผ ะถะตะปะตะทะฐ ะธะปะธ ะบัะตะผะฝะตะทะตะผะฐ.
ะัะพะณ:
- ะฅะปะพัะธะดะฝะฐั ัะตั
ะฝะพะปะพะณะธั ะฟัะตะดะฟะพััะธัะตะปัะฝะฐ ะดะปั ัะปะพะถะฝัั
ััะด ั ะฒััะพะบะธะผ ัะพะดะตัะถะฐะฝะธะตะผ ะฝะธะบะตะปั ะธ ะถะตะปะตะทะฐ, ะฝะพ ััะตะฑัะตั ัััะพะณะพะณะพ ะบะพะฝััะพะปั ะบะพััะพะทะธะธ ะธ ะฒัะฑัะพัะพะฒ.
- ะกัะปััะฐัะฝะฐั ัะตั
ะฝะพะปะพะณะธั โ ะฑะพะปะตะต ัะบะพะฝะพะผะธัะฝะฐ ะธ ัะบะพะปะพะณะธัะฝะฐ, ะฝะพ ะผะตะฝะตะต ัััะตะบัะธะฒะฝะฐ ะดะปั ัะปะพะถะฝัั
ััะด. ะัะฑะพั ะทะฐะฒะธัะธั ะพั ัะธะฟะฐ ััััั, ะธะฝััะฐััััะบัััั ะธ ัะบะพะปะพะณะธัะตัะบะธั
ะฝะพัะผ.
vLLM Usage
from transformers import AutoTokenizer
from vllm import LLM, SamplingParams
model_name = "nn-tech/MetalGPT-1"
tokenizer = AutoTokenizer.from_pretrained(model_name)
llm = LLM(model=model_name, max_model_len=8192)
sampling_params = SamplingParams(
temperature=0.7,
repetition_penalty=1.05,
top_p=0.8,
top_k=70,
max_tokens=2048,
)
prompt = (
"ะะฐะทะพะฒะธ ะฟะปััั ะธ ะผะธะฝััั ั
ะปะพัะธะดะฝะพะน ะธ ััะปััะฐัะฝะพะน ัะตั
ะฝะพะปะพะณะธะธ ะฟัะพะธะทะฒะพะดััะฒะฐ ะฝะธะบะตะปั."
)
messages = [
{"role": "system", "content": "ะขั ัะฟะตัะธะฐะปะธัั ะฒ ะพะฑะปะฐััะธ ะผะตัะฐะปะปััะณะธะธ."},
{"role": "user", "content": prompt},
]
prompt_token_ids = tokenizer.apply_chat_template(
messages,
add_generation_prompt=True,
)
outputs = llm.generate(
prompt_token_ids=prompt_token_ids,
sampling_params=sampling_params,
)
generated_text = [output.outputs[0].text for output in outputs]
print(generated_text[0])
- Downloads last month
- 688