japanese-reranker-tiny-v2

1.5K
6
1 language
INT8
license:mit
by
hotchpotch
Embedding Model
OTHER
New
1K downloads
Early-stage
Try on Hugging FaceAdd to Compare
Edge AI:
Mobile
Laptop
Server
Unknown
Mobile
Laptop
Server
Quick Summary

AI model with specialized capabilities.

Code Examples

使い方text
pip install -U "transformers>=4.48.0" sentence-transformers sentencepiece
使い方text
pip install -U "transformers>=4.48.0" sentence-transformers sentencepiece
使い方text
pip install -U "transformers>=4.48.0" sentence-transformers sentencepiece
使い方text
pip install -U "transformers>=4.48.0" sentence-transformers sentencepiece
使い方text
pip install -U "transformers>=4.48.0" sentence-transformers sentencepiece
使い方text
pip install -U "transformers>=4.48.0" sentence-transformers sentencepiece
使い方text
pip install -U "transformers>=4.48.0" sentence-transformers sentencepiece
使い方text
pip install -U "transformers>=4.48.0" sentence-transformers sentencepiece
使い方text
pip install -U "transformers>=4.48.0" sentence-transformers sentencepiece
使い方text
pip install -U "transformers>=4.48.0" sentence-transformers sentencepiece
使い方text
pip install -U "transformers>=4.48.0" sentence-transformers sentencepiece
使い方text
pip install -U "transformers>=4.48.0" sentence-transformers sentencepiece
使い方text
pip install -U "transformers>=4.48.0" sentence-transformers sentencepiece
使い方text
pip install -U "transformers>=4.48.0" sentence-transformers sentencepiece
使い方text
pip install -U "transformers>=4.48.0" sentence-transformers sentencepiece
使い方text
pip install -U "transformers>=4.48.0" sentence-transformers sentencepiece
使い方text
pip install -U "transformers>=4.48.0" sentence-transformers sentencepiece
使い方text
pip install -U "transformers>=4.48.0" sentence-transformers sentencepiece
使い方text
pip install -U "transformers>=4.48.0" sentence-transformers sentencepiece
使い方text
pip install -U "transformers>=4.48.0" sentence-transformers sentencepiece
使い方text
pip install -U "transformers>=4.48.0" sentence-transformers sentencepiece
使い方text
pip install -U "transformers>=4.48.0" sentence-transformers sentencepiece
使い方text
pip install -U "transformers>=4.48.0" sentence-transformers sentencepiece
使い方text
pip install -U "transformers>=4.48.0" sentence-transformers sentencepiece
使い方text
pip install -U "transformers>=4.48.0" sentence-transformers sentencepiece
使い方text
pip install -U "transformers>=4.48.0" sentence-transformers sentencepiece
使い方text
pip install -U "transformers>=4.48.0" sentence-transformers sentencepiece
使い方text
pip install -U "transformers>=4.48.0" sentence-transformers sentencepiece
使い方text
pip install -U "transformers>=4.48.0" sentence-transformers sentencepiece
使い方text
pip install -U "transformers>=4.48.0" sentence-transformers sentencepiece
使い方text
pip install -U "transformers>=4.48.0" sentence-transformers sentencepiece
使い方text
pip install -U "transformers>=4.48.0" sentence-transformers sentencepiece
使い方text
pip install -U "transformers>=4.48.0" sentence-transformers sentencepiece
使い方text
pip install -U "transformers>=4.48.0" sentence-transformers sentencepiece
使い方text
pip install -U "transformers>=4.48.0" sentence-transformers sentencepiece
使い方text
pip install -U "transformers>=4.48.0" sentence-transformers sentencepiece
使い方text
pip install -U "transformers>=4.48.0" sentence-transformers sentencepiece
使い方text
pip install -U "transformers>=4.48.0" sentence-transformers sentencepiece
使い方text
pip install -U "transformers>=4.48.0" sentence-transformers sentencepiece
text
pip install flash-attn --no-build-isolation
text
pip install flash-attn --no-build-isolation
text
pip install flash-attn --no-build-isolation
text
pip install flash-attn --no-build-isolation
text
pip install flash-attn --no-build-isolation
text
pip install flash-attn --no-build-isolation
text
pip install flash-attn --no-build-isolation
text
pip install flash-attn --no-build-isolation
text
pip install flash-attn --no-build-isolation
text
pip install flash-attn --no-build-isolation
text
pip install flash-attn --no-build-isolation
text
pip install flash-attn --no-build-isolation
text
pip install flash-attn --no-build-isolation
text
pip install flash-attn --no-build-isolation
text
pip install flash-attn --no-build-isolation
text
pip install flash-attn --no-build-isolation
text
pip install flash-attn --no-build-isolation
text
pip install flash-attn --no-build-isolation
text
pip install flash-attn --no-build-isolation
text
pip install flash-attn --no-build-isolation
text
pip install flash-attn --no-build-isolation
text
pip install flash-attn --no-build-isolation
text
pip install flash-attn --no-build-isolation
text
pip install flash-attn --no-build-isolation
text
pip install flash-attn --no-build-isolation
text
pip install flash-attn --no-build-isolation
text
pip install flash-attn --no-build-isolation
text
pip install flash-attn --no-build-isolation
text
pip install flash-attn --no-build-isolation
text
pip install flash-attn --no-build-isolation
text
pip install flash-attn --no-build-isolation
text
pip install flash-attn --no-build-isolation
text
pip install flash-attn --no-build-isolation
text
pip install flash-attn --no-build-isolation
text
pip install flash-attn --no-build-isolation
text
pip install flash-attn --no-build-isolation
text
pip install flash-attn --no-build-isolation
text
pip install flash-attn --no-build-isolation
text
pip install flash-attn --no-build-isolation
SentenceTransformers + onnx の利用textonnx
pip install onnx onnxruntime accelerate optimum
SentenceTransformers + onnx の利用textonnx
pip install onnx onnxruntime accelerate optimum
SentenceTransformers + onnx の利用textonnx
pip install onnx onnxruntime accelerate optimum
SentenceTransformers + onnx の利用textonnx
pip install onnx onnxruntime accelerate optimum
SentenceTransformers + onnx の利用textonnx
pip install onnx onnxruntime accelerate optimum
SentenceTransformers + onnx の利用textonnx
pip install onnx onnxruntime accelerate optimum
SentenceTransformers + onnx の利用textonnx
pip install onnx onnxruntime accelerate optimum
SentenceTransformers + onnx の利用textonnx
pip install onnx onnxruntime accelerate optimum
SentenceTransformers + onnx の利用textonnx
pip install onnx onnxruntime accelerate optimum
SentenceTransformers + onnx の利用textonnx
pip install onnx onnxruntime accelerate optimum
SentenceTransformers + onnx の利用textonnx
pip install onnx onnxruntime accelerate optimum
SentenceTransformers + onnx の利用textonnx
pip install onnx onnxruntime accelerate optimum
SentenceTransformers + onnx の利用textonnx
pip install onnx onnxruntime accelerate optimum
SentenceTransformers + onnx の利用textonnx
pip install onnx onnxruntime accelerate optimum
SentenceTransformers + onnx の利用textonnx
pip install onnx onnxruntime accelerate optimum
SentenceTransformers + onnx の利用textonnx
pip install onnx onnxruntime accelerate optimum
SentenceTransformers + onnx の利用textonnx
pip install onnx onnxruntime accelerate optimum
SentenceTransformers + onnx の利用textonnx
pip install onnx onnxruntime accelerate optimum
SentenceTransformers + onnx の利用textonnx
pip install onnx onnxruntime accelerate optimum
SentenceTransformers + onnx の利用textonnx
pip install onnx onnxruntime accelerate optimum
SentenceTransformers + onnx の利用textonnx
pip install onnx onnxruntime accelerate optimum
SentenceTransformers + onnx の利用textonnx
pip install onnx onnxruntime accelerate optimum
SentenceTransformers + onnx の利用textonnx
pip install onnx onnxruntime accelerate optimum
SentenceTransformers + onnx の利用textonnx
pip install onnx onnxruntime accelerate optimum
SentenceTransformers + onnx の利用textonnx
pip install onnx onnxruntime accelerate optimum
SentenceTransformers + onnx の利用textonnx
pip install onnx onnxruntime accelerate optimum
SentenceTransformers + onnx の利用textonnx
pip install onnx onnxruntime accelerate optimum
SentenceTransformers + onnx の利用textonnx
pip install onnx onnxruntime accelerate optimum
SentenceTransformers + onnx の利用textonnx
pip install onnx onnxruntime accelerate optimum
SentenceTransformers + onnx の利用textonnx
pip install onnx onnxruntime accelerate optimum
SentenceTransformers + onnx の利用textonnx
pip install onnx onnxruntime accelerate optimum
SentenceTransformers + onnx の利用textonnx
pip install onnx onnxruntime accelerate optimum
SentenceTransformers + onnx の利用textonnx
pip install onnx onnxruntime accelerate optimum
SentenceTransformers + onnx の利用textonnx
pip install onnx onnxruntime accelerate optimum
SentenceTransformers + onnx の利用textonnx
pip install onnx onnxruntime accelerate optimum
SentenceTransformers + onnx の利用textonnx
pip install onnx onnxruntime accelerate optimum
SentenceTransformers + onnx の利用textonnx
pip install onnx onnxruntime accelerate optimum
SentenceTransformers + onnx の利用textonnx
pip install onnx onnxruntime accelerate optimum
SentenceTransformers + onnx の利用textonnx
pip install onnx onnxruntime accelerate optimum
SentenceTransformers + onnx の利用pythononnx
from sentence_transformers import CrossEncoder

# oxxn のモデルを選ばないと model.onnx が自動で使われる
# onnx_filename = None

# 量子化された最適なモデルを使う場合は、onnx_filename にファイル名を指定する
# onnx_filename = "onnx/model_qint8_avx2.onnx"
onnx_filename = "onnx/model_qint8_arm64.onnx"

if onnx_filename:
    model = CrossEncoder(
        MODEL_NAME,
        device="cpu",
        backend="onnx",
        model_kwargs={"file_name": onnx_filename},
    )
else:
    model = CrossEncoder(MODEL_NAME, device="cpu", backend="onnx")

...
SentenceTransformers + onnx の利用pythononnx
from sentence_transformers import CrossEncoder

# oxxn のモデルを選ばないと model.onnx が自動で使われる
# onnx_filename = None

# 量子化された最適なモデルを使う場合は、onnx_filename にファイル名を指定する
# onnx_filename = "onnx/model_qint8_avx2.onnx"
onnx_filename = "onnx/model_qint8_arm64.onnx"

if onnx_filename:
    model = CrossEncoder(
        MODEL_NAME,
        device="cpu",
        backend="onnx",
        model_kwargs={"file_name": onnx_filename},
    )
else:
    model = CrossEncoder(MODEL_NAME, device="cpu", backend="onnx")

...
SentenceTransformers + onnx の利用pythononnx
from sentence_transformers import CrossEncoder

# oxxn のモデルを選ばないと model.onnx が自動で使われる
# onnx_filename = None

# 量子化された最適なモデルを使う場合は、onnx_filename にファイル名を指定する
# onnx_filename = "onnx/model_qint8_avx2.onnx"
onnx_filename = "onnx/model_qint8_arm64.onnx"

if onnx_filename:
    model = CrossEncoder(
        MODEL_NAME,
        device="cpu",
        backend="onnx",
        model_kwargs={"file_name": onnx_filename},
    )
else:
    model = CrossEncoder(MODEL_NAME, device="cpu", backend="onnx")

...
SentenceTransformers + onnx の利用pythononnx
from sentence_transformers import CrossEncoder

# oxxn のモデルを選ばないと model.onnx が自動で使われる
# onnx_filename = None

# 量子化された最適なモデルを使う場合は、onnx_filename にファイル名を指定する
# onnx_filename = "onnx/model_qint8_avx2.onnx"
onnx_filename = "onnx/model_qint8_arm64.onnx"

if onnx_filename:
    model = CrossEncoder(
        MODEL_NAME,
        device="cpu",
        backend="onnx",
        model_kwargs={"file_name": onnx_filename},
    )
else:
    model = CrossEncoder(MODEL_NAME, device="cpu", backend="onnx")

...
SentenceTransformers + onnx の利用pythononnx
from sentence_transformers import CrossEncoder

# oxxn のモデルを選ばないと model.onnx が自動で使われる
# onnx_filename = None

# 量子化された最適なモデルを使う場合は、onnx_filename にファイル名を指定する
# onnx_filename = "onnx/model_qint8_avx2.onnx"
onnx_filename = "onnx/model_qint8_arm64.onnx"

if onnx_filename:
    model = CrossEncoder(
        MODEL_NAME,
        device="cpu",
        backend="onnx",
        model_kwargs={"file_name": onnx_filename},
    )
else:
    model = CrossEncoder(MODEL_NAME, device="cpu", backend="onnx")

...
SentenceTransformers + onnx の利用pythononnx
from sentence_transformers import CrossEncoder

# oxxn のモデルを選ばないと model.onnx が自動で使われる
# onnx_filename = None

# 量子化された最適なモデルを使う場合は、onnx_filename にファイル名を指定する
# onnx_filename = "onnx/model_qint8_avx2.onnx"
onnx_filename = "onnx/model_qint8_arm64.onnx"

if onnx_filename:
    model = CrossEncoder(
        MODEL_NAME,
        device="cpu",
        backend="onnx",
        model_kwargs={"file_name": onnx_filename},
    )
else:
    model = CrossEncoder(MODEL_NAME, device="cpu", backend="onnx")

...
SentenceTransformers + onnx の利用pythononnx
from sentence_transformers import CrossEncoder

# oxxn のモデルを選ばないと model.onnx が自動で使われる
# onnx_filename = None

# 量子化された最適なモデルを使う場合は、onnx_filename にファイル名を指定する
# onnx_filename = "onnx/model_qint8_avx2.onnx"
onnx_filename = "onnx/model_qint8_arm64.onnx"

if onnx_filename:
    model = CrossEncoder(
        MODEL_NAME,
        device="cpu",
        backend="onnx",
        model_kwargs={"file_name": onnx_filename},
    )
else:
    model = CrossEncoder(MODEL_NAME, device="cpu", backend="onnx")

...
SentenceTransformers + onnx の利用pythononnx
from sentence_transformers import CrossEncoder

# oxxn のモデルを選ばないと model.onnx が自動で使われる
# onnx_filename = None

# 量子化された最適なモデルを使う場合は、onnx_filename にファイル名を指定する
# onnx_filename = "onnx/model_qint8_avx2.onnx"
onnx_filename = "onnx/model_qint8_arm64.onnx"

if onnx_filename:
    model = CrossEncoder(
        MODEL_NAME,
        device="cpu",
        backend="onnx",
        model_kwargs={"file_name": onnx_filename},
    )
else:
    model = CrossEncoder(MODEL_NAME, device="cpu", backend="onnx")

...
SentenceTransformers + onnx の利用pythononnx
from sentence_transformers import CrossEncoder

# oxxn のモデルを選ばないと model.onnx が自動で使われる
# onnx_filename = None

# 量子化された最適なモデルを使う場合は、onnx_filename にファイル名を指定する
# onnx_filename = "onnx/model_qint8_avx2.onnx"
onnx_filename = "onnx/model_qint8_arm64.onnx"

if onnx_filename:
    model = CrossEncoder(
        MODEL_NAME,
        device="cpu",
        backend="onnx",
        model_kwargs={"file_name": onnx_filename},
    )
else:
    model = CrossEncoder(MODEL_NAME, device="cpu", backend="onnx")

...
SentenceTransformers + onnx の利用pythononnx
from sentence_transformers import CrossEncoder

# oxxn のモデルを選ばないと model.onnx が自動で使われる
# onnx_filename = None

# 量子化された最適なモデルを使う場合は、onnx_filename にファイル名を指定する
# onnx_filename = "onnx/model_qint8_avx2.onnx"
onnx_filename = "onnx/model_qint8_arm64.onnx"

if onnx_filename:
    model = CrossEncoder(
        MODEL_NAME,
        device="cpu",
        backend="onnx",
        model_kwargs={"file_name": onnx_filename},
    )
else:
    model = CrossEncoder(MODEL_NAME, device="cpu", backend="onnx")

...
SentenceTransformers + onnx の利用pythononnx
from sentence_transformers import CrossEncoder

# oxxn のモデルを選ばないと model.onnx が自動で使われる
# onnx_filename = None

# 量子化された最適なモデルを使う場合は、onnx_filename にファイル名を指定する
# onnx_filename = "onnx/model_qint8_avx2.onnx"
onnx_filename = "onnx/model_qint8_arm64.onnx"

if onnx_filename:
    model = CrossEncoder(
        MODEL_NAME,
        device="cpu",
        backend="onnx",
        model_kwargs={"file_name": onnx_filename},
    )
else:
    model = CrossEncoder(MODEL_NAME, device="cpu", backend="onnx")

...
SentenceTransformers + onnx の利用pythononnx
from sentence_transformers import CrossEncoder

# oxxn のモデルを選ばないと model.onnx が自動で使われる
# onnx_filename = None

# 量子化された最適なモデルを使う場合は、onnx_filename にファイル名を指定する
# onnx_filename = "onnx/model_qint8_avx2.onnx"
onnx_filename = "onnx/model_qint8_arm64.onnx"

if onnx_filename:
    model = CrossEncoder(
        MODEL_NAME,
        device="cpu",
        backend="onnx",
        model_kwargs={"file_name": onnx_filename},
    )
else:
    model = CrossEncoder(MODEL_NAME, device="cpu", backend="onnx")

...
SentenceTransformers + onnx の利用pythononnx
from sentence_transformers import CrossEncoder

# oxxn のモデルを選ばないと model.onnx が自動で使われる
# onnx_filename = None

# 量子化された最適なモデルを使う場合は、onnx_filename にファイル名を指定する
# onnx_filename = "onnx/model_qint8_avx2.onnx"
onnx_filename = "onnx/model_qint8_arm64.onnx"

if onnx_filename:
    model = CrossEncoder(
        MODEL_NAME,
        device="cpu",
        backend="onnx",
        model_kwargs={"file_name": onnx_filename},
    )
else:
    model = CrossEncoder(MODEL_NAME, device="cpu", backend="onnx")

...
SentenceTransformers + onnx の利用pythononnx
from sentence_transformers import CrossEncoder

# oxxn のモデルを選ばないと model.onnx が自動で使われる
# onnx_filename = None

# 量子化された最適なモデルを使う場合は、onnx_filename にファイル名を指定する
# onnx_filename = "onnx/model_qint8_avx2.onnx"
onnx_filename = "onnx/model_qint8_arm64.onnx"

if onnx_filename:
    model = CrossEncoder(
        MODEL_NAME,
        device="cpu",
        backend="onnx",
        model_kwargs={"file_name": onnx_filename},
    )
else:
    model = CrossEncoder(MODEL_NAME, device="cpu", backend="onnx")

...
SentenceTransformers + onnx の利用pythononnx
from sentence_transformers import CrossEncoder

# oxxn のモデルを選ばないと model.onnx が自動で使われる
# onnx_filename = None

# 量子化された最適なモデルを使う場合は、onnx_filename にファイル名を指定する
# onnx_filename = "onnx/model_qint8_avx2.onnx"
onnx_filename = "onnx/model_qint8_arm64.onnx"

if onnx_filename:
    model = CrossEncoder(
        MODEL_NAME,
        device="cpu",
        backend="onnx",
        model_kwargs={"file_name": onnx_filename},
    )
else:
    model = CrossEncoder(MODEL_NAME, device="cpu", backend="onnx")

...
SentenceTransformers + onnx の利用pythononnx
from sentence_transformers import CrossEncoder

# oxxn のモデルを選ばないと model.onnx が自動で使われる
# onnx_filename = None

# 量子化された最適なモデルを使う場合は、onnx_filename にファイル名を指定する
# onnx_filename = "onnx/model_qint8_avx2.onnx"
onnx_filename = "onnx/model_qint8_arm64.onnx"

if onnx_filename:
    model = CrossEncoder(
        MODEL_NAME,
        device="cpu",
        backend="onnx",
        model_kwargs={"file_name": onnx_filename},
    )
else:
    model = CrossEncoder(MODEL_NAME, device="cpu", backend="onnx")

...
SentenceTransformers + onnx の利用pythononnx
from sentence_transformers import CrossEncoder

# oxxn のモデルを選ばないと model.onnx が自動で使われる
# onnx_filename = None

# 量子化された最適なモデルを使う場合は、onnx_filename にファイル名を指定する
# onnx_filename = "onnx/model_qint8_avx2.onnx"
onnx_filename = "onnx/model_qint8_arm64.onnx"

if onnx_filename:
    model = CrossEncoder(
        MODEL_NAME,
        device="cpu",
        backend="onnx",
        model_kwargs={"file_name": onnx_filename},
    )
else:
    model = CrossEncoder(MODEL_NAME, device="cpu", backend="onnx")

...
SentenceTransformers + onnx の利用pythononnx
from sentence_transformers import CrossEncoder

# oxxn のモデルを選ばないと model.onnx が自動で使われる
# onnx_filename = None

# 量子化された最適なモデルを使う場合は、onnx_filename にファイル名を指定する
# onnx_filename = "onnx/model_qint8_avx2.onnx"
onnx_filename = "onnx/model_qint8_arm64.onnx"

if onnx_filename:
    model = CrossEncoder(
        MODEL_NAME,
        device="cpu",
        backend="onnx",
        model_kwargs={"file_name": onnx_filename},
    )
else:
    model = CrossEncoder(MODEL_NAME, device="cpu", backend="onnx")

...
SentenceTransformers + onnx の利用pythononnx
from sentence_transformers import CrossEncoder

# oxxn のモデルを選ばないと model.onnx が自動で使われる
# onnx_filename = None

# 量子化された最適なモデルを使う場合は、onnx_filename にファイル名を指定する
# onnx_filename = "onnx/model_qint8_avx2.onnx"
onnx_filename = "onnx/model_qint8_arm64.onnx"

if onnx_filename:
    model = CrossEncoder(
        MODEL_NAME,
        device="cpu",
        backend="onnx",
        model_kwargs={"file_name": onnx_filename},
    )
else:
    model = CrossEncoder(MODEL_NAME, device="cpu", backend="onnx")

...
SentenceTransformers + onnx の利用pythononnx
from sentence_transformers import CrossEncoder

# oxxn のモデルを選ばないと model.onnx が自動で使われる
# onnx_filename = None

# 量子化された最適なモデルを使う場合は、onnx_filename にファイル名を指定する
# onnx_filename = "onnx/model_qint8_avx2.onnx"
onnx_filename = "onnx/model_qint8_arm64.onnx"

if onnx_filename:
    model = CrossEncoder(
        MODEL_NAME,
        device="cpu",
        backend="onnx",
        model_kwargs={"file_name": onnx_filename},
    )
else:
    model = CrossEncoder(MODEL_NAME, device="cpu", backend="onnx")

...
SentenceTransformers + onnx の利用pythononnx
from sentence_transformers import CrossEncoder

# oxxn のモデルを選ばないと model.onnx が自動で使われる
# onnx_filename = None

# 量子化された最適なモデルを使う場合は、onnx_filename にファイル名を指定する
# onnx_filename = "onnx/model_qint8_avx2.onnx"
onnx_filename = "onnx/model_qint8_arm64.onnx"

if onnx_filename:
    model = CrossEncoder(
        MODEL_NAME,
        device="cpu",
        backend="onnx",
        model_kwargs={"file_name": onnx_filename},
    )
else:
    model = CrossEncoder(MODEL_NAME, device="cpu", backend="onnx")

...
SentenceTransformers + onnx の利用pythononnx
from sentence_transformers import CrossEncoder

# oxxn のモデルを選ばないと model.onnx が自動で使われる
# onnx_filename = None

# 量子化された最適なモデルを使う場合は、onnx_filename にファイル名を指定する
# onnx_filename = "onnx/model_qint8_avx2.onnx"
onnx_filename = "onnx/model_qint8_arm64.onnx"

if onnx_filename:
    model = CrossEncoder(
        MODEL_NAME,
        device="cpu",
        backend="onnx",
        model_kwargs={"file_name": onnx_filename},
    )
else:
    model = CrossEncoder(MODEL_NAME, device="cpu", backend="onnx")

...
SentenceTransformers + onnx の利用pythononnx
from sentence_transformers import CrossEncoder

# oxxn のモデルを選ばないと model.onnx が自動で使われる
# onnx_filename = None

# 量子化された最適なモデルを使う場合は、onnx_filename にファイル名を指定する
# onnx_filename = "onnx/model_qint8_avx2.onnx"
onnx_filename = "onnx/model_qint8_arm64.onnx"

if onnx_filename:
    model = CrossEncoder(
        MODEL_NAME,
        device="cpu",
        backend="onnx",
        model_kwargs={"file_name": onnx_filename},
    )
else:
    model = CrossEncoder(MODEL_NAME, device="cpu", backend="onnx")

...
SentenceTransformers + onnx の利用pythononnx
from sentence_transformers import CrossEncoder

# oxxn のモデルを選ばないと model.onnx が自動で使われる
# onnx_filename = None

# 量子化された最適なモデルを使う場合は、onnx_filename にファイル名を指定する
# onnx_filename = "onnx/model_qint8_avx2.onnx"
onnx_filename = "onnx/model_qint8_arm64.onnx"

if onnx_filename:
    model = CrossEncoder(
        MODEL_NAME,
        device="cpu",
        backend="onnx",
        model_kwargs={"file_name": onnx_filename},
    )
else:
    model = CrossEncoder(MODEL_NAME, device="cpu", backend="onnx")

...
SentenceTransformers + onnx の利用pythononnx
from sentence_transformers import CrossEncoder

# oxxn のモデルを選ばないと model.onnx が自動で使われる
# onnx_filename = None

# 量子化された最適なモデルを使う場合は、onnx_filename にファイル名を指定する
# onnx_filename = "onnx/model_qint8_avx2.onnx"
onnx_filename = "onnx/model_qint8_arm64.onnx"

if onnx_filename:
    model = CrossEncoder(
        MODEL_NAME,
        device="cpu",
        backend="onnx",
        model_kwargs={"file_name": onnx_filename},
    )
else:
    model = CrossEncoder(MODEL_NAME, device="cpu", backend="onnx")

...
SentenceTransformers + onnx の利用pythononnx
from sentence_transformers import CrossEncoder

# oxxn のモデルを選ばないと model.onnx が自動で使われる
# onnx_filename = None

# 量子化された最適なモデルを使う場合は、onnx_filename にファイル名を指定する
# onnx_filename = "onnx/model_qint8_avx2.onnx"
onnx_filename = "onnx/model_qint8_arm64.onnx"

if onnx_filename:
    model = CrossEncoder(
        MODEL_NAME,
        device="cpu",
        backend="onnx",
        model_kwargs={"file_name": onnx_filename},
    )
else:
    model = CrossEncoder(MODEL_NAME, device="cpu", backend="onnx")

...
SentenceTransformers + onnx の利用pythononnx
from sentence_transformers import CrossEncoder

# oxxn のモデルを選ばないと model.onnx が自動で使われる
# onnx_filename = None

# 量子化された最適なモデルを使う場合は、onnx_filename にファイル名を指定する
# onnx_filename = "onnx/model_qint8_avx2.onnx"
onnx_filename = "onnx/model_qint8_arm64.onnx"

if onnx_filename:
    model = CrossEncoder(
        MODEL_NAME,
        device="cpu",
        backend="onnx",
        model_kwargs={"file_name": onnx_filename},
    )
else:
    model = CrossEncoder(MODEL_NAME, device="cpu", backend="onnx")

...
SentenceTransformers + onnx の利用pythononnx
from sentence_transformers import CrossEncoder

# oxxn のモデルを選ばないと model.onnx が自動で使われる
# onnx_filename = None

# 量子化された最適なモデルを使う場合は、onnx_filename にファイル名を指定する
# onnx_filename = "onnx/model_qint8_avx2.onnx"
onnx_filename = "onnx/model_qint8_arm64.onnx"

if onnx_filename:
    model = CrossEncoder(
        MODEL_NAME,
        device="cpu",
        backend="onnx",
        model_kwargs={"file_name": onnx_filename},
    )
else:
    model = CrossEncoder(MODEL_NAME, device="cpu", backend="onnx")

...
SentenceTransformers + onnx の利用pythononnx
from sentence_transformers import CrossEncoder

# oxxn のモデルを選ばないと model.onnx が自動で使われる
# onnx_filename = None

# 量子化された最適なモデルを使う場合は、onnx_filename にファイル名を指定する
# onnx_filename = "onnx/model_qint8_avx2.onnx"
onnx_filename = "onnx/model_qint8_arm64.onnx"

if onnx_filename:
    model = CrossEncoder(
        MODEL_NAME,
        device="cpu",
        backend="onnx",
        model_kwargs={"file_name": onnx_filename},
    )
else:
    model = CrossEncoder(MODEL_NAME, device="cpu", backend="onnx")

...
SentenceTransformers + onnx の利用pythononnx
from sentence_transformers import CrossEncoder

# oxxn のモデルを選ばないと model.onnx が自動で使われる
# onnx_filename = None

# 量子化された最適なモデルを使う場合は、onnx_filename にファイル名を指定する
# onnx_filename = "onnx/model_qint8_avx2.onnx"
onnx_filename = "onnx/model_qint8_arm64.onnx"

if onnx_filename:
    model = CrossEncoder(
        MODEL_NAME,
        device="cpu",
        backend="onnx",
        model_kwargs={"file_name": onnx_filename},
    )
else:
    model = CrossEncoder(MODEL_NAME, device="cpu", backend="onnx")

...
SentenceTransformers + onnx の利用pythononnx
from sentence_transformers import CrossEncoder

# oxxn のモデルを選ばないと model.onnx が自動で使われる
# onnx_filename = None

# 量子化された最適なモデルを使う場合は、onnx_filename にファイル名を指定する
# onnx_filename = "onnx/model_qint8_avx2.onnx"
onnx_filename = "onnx/model_qint8_arm64.onnx"

if onnx_filename:
    model = CrossEncoder(
        MODEL_NAME,
        device="cpu",
        backend="onnx",
        model_kwargs={"file_name": onnx_filename},
    )
else:
    model = CrossEncoder(MODEL_NAME, device="cpu", backend="onnx")

...
SentenceTransformers + onnx の利用pythononnx
from sentence_transformers import CrossEncoder

# oxxn のモデルを選ばないと model.onnx が自動で使われる
# onnx_filename = None

# 量子化された最適なモデルを使う場合は、onnx_filename にファイル名を指定する
# onnx_filename = "onnx/model_qint8_avx2.onnx"
onnx_filename = "onnx/model_qint8_arm64.onnx"

if onnx_filename:
    model = CrossEncoder(
        MODEL_NAME,
        device="cpu",
        backend="onnx",
        model_kwargs={"file_name": onnx_filename},
    )
else:
    model = CrossEncoder(MODEL_NAME, device="cpu", backend="onnx")

...
SentenceTransformers + onnx の利用pythononnx
from sentence_transformers import CrossEncoder

# oxxn のモデルを選ばないと model.onnx が自動で使われる
# onnx_filename = None

# 量子化された最適なモデルを使う場合は、onnx_filename にファイル名を指定する
# onnx_filename = "onnx/model_qint8_avx2.onnx"
onnx_filename = "onnx/model_qint8_arm64.onnx"

if onnx_filename:
    model = CrossEncoder(
        MODEL_NAME,
        device="cpu",
        backend="onnx",
        model_kwargs={"file_name": onnx_filename},
    )
else:
    model = CrossEncoder(MODEL_NAME, device="cpu", backend="onnx")

...
SentenceTransformers + onnx の利用pythononnx
from sentence_transformers import CrossEncoder

# oxxn のモデルを選ばないと model.onnx が自動で使われる
# onnx_filename = None

# 量子化された最適なモデルを使う場合は、onnx_filename にファイル名を指定する
# onnx_filename = "onnx/model_qint8_avx2.onnx"
onnx_filename = "onnx/model_qint8_arm64.onnx"

if onnx_filename:
    model = CrossEncoder(
        MODEL_NAME,
        device="cpu",
        backend="onnx",
        model_kwargs={"file_name": onnx_filename},
    )
else:
    model = CrossEncoder(MODEL_NAME, device="cpu", backend="onnx")

...
SentenceTransformers + onnx の利用pythononnx
from sentence_transformers import CrossEncoder

# oxxn のモデルを選ばないと model.onnx が自動で使われる
# onnx_filename = None

# 量子化された最適なモデルを使う場合は、onnx_filename にファイル名を指定する
# onnx_filename = "onnx/model_qint8_avx2.onnx"
onnx_filename = "onnx/model_qint8_arm64.onnx"

if onnx_filename:
    model = CrossEncoder(
        MODEL_NAME,
        device="cpu",
        backend="onnx",
        model_kwargs={"file_name": onnx_filename},
    )
else:
    model = CrossEncoder(MODEL_NAME, device="cpu", backend="onnx")

...
SentenceTransformers + onnx の利用pythononnx
from sentence_transformers import CrossEncoder

# oxxn のモデルを選ばないと model.onnx が自動で使われる
# onnx_filename = None

# 量子化された最適なモデルを使う場合は、onnx_filename にファイル名を指定する
# onnx_filename = "onnx/model_qint8_avx2.onnx"
onnx_filename = "onnx/model_qint8_arm64.onnx"

if onnx_filename:
    model = CrossEncoder(
        MODEL_NAME,
        device="cpu",
        backend="onnx",
        model_kwargs={"file_name": onnx_filename},
    )
else:
    model = CrossEncoder(MODEL_NAME, device="cpu", backend="onnx")

...
SentenceTransformers + onnx の利用pythononnx
from sentence_transformers import CrossEncoder

# oxxn のモデルを選ばないと model.onnx が自動で使われる
# onnx_filename = None

# 量子化された最適なモデルを使う場合は、onnx_filename にファイル名を指定する
# onnx_filename = "onnx/model_qint8_avx2.onnx"
onnx_filename = "onnx/model_qint8_arm64.onnx"

if onnx_filename:
    model = CrossEncoder(
        MODEL_NAME,
        device="cpu",
        backend="onnx",
        model_kwargs={"file_name": onnx_filename},
    )
else:
    model = CrossEncoder(MODEL_NAME, device="cpu", backend="onnx")

...
SentenceTransformers + onnx の利用pythononnx
from sentence_transformers import CrossEncoder

# oxxn のモデルを選ばないと model.onnx が自動で使われる
# onnx_filename = None

# 量子化された最適なモデルを使う場合は、onnx_filename にファイル名を指定する
# onnx_filename = "onnx/model_qint8_avx2.onnx"
onnx_filename = "onnx/model_qint8_arm64.onnx"

if onnx_filename:
    model = CrossEncoder(
        MODEL_NAME,
        device="cpu",
        backend="onnx",
        model_kwargs={"file_name": onnx_filename},
    )
else:
    model = CrossEncoder(MODEL_NAME, device="cpu", backend="onnx")

...
SentenceTransformers + onnx の利用pythononnx
from sentence_transformers import CrossEncoder

# oxxn のモデルを選ばないと model.onnx が自動で使われる
# onnx_filename = None

# 量子化された最適なモデルを使う場合は、onnx_filename にファイル名を指定する
# onnx_filename = "onnx/model_qint8_avx2.onnx"
onnx_filename = "onnx/model_qint8_arm64.onnx"

if onnx_filename:
    model = CrossEncoder(
        MODEL_NAME,
        device="cpu",
        backend="onnx",
        model_kwargs={"file_name": onnx_filename},
    )
else:
    model = CrossEncoder(MODEL_NAME, device="cpu", backend="onnx")

...

Deploy This Model

Production-ready deployment in minutes

Together.ai

Instant API access to this model

Fastest API

Production-ready inference API. Start free, scale to millions.

Try Free API

Replicate

One-click model deployment

Easiest Setup

Run models in the cloud with simple API. No DevOps required.

Deploy Now

Disclosure: We may earn a commission from these partners. This helps keep LLMYourWay free.