GbrlOl/ft-all-MiniLM-L6-v2-geotechnical-semanticidad-test-2

SentenceTransformer based on sentence-transformers/all-MiniLM-L6-v2

This is a sentence-transformers model finetuned from sentence-transformers/all-MiniLM-L6-v2 on the json dataset. It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: sentence-transformers/all-MiniLM-L6-v2
• Maximum Sequence Length: 256 tokens
• Output Dimensionality: 384 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • json

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("GbrlOl/ft-all-MiniLM-L6-v2-geotechnical-semanticidad-test-2")
# Run inference
sentences = [
    '¿Qué compromisos ambientales voluntarios ha adquirido el titular del proyecto "Depósito de Relaves Filtrados Doña Rosa"?',
    'Ordinario N° 57 de fecha 25 de Enero de 2011 \ninformó favorablemente.  \n5.  Que, en lo relativo a los efectos, características y circunstancias señalados en los literales “a”,  "b", “c”, \n“d”, “e” y “f”, del artículo 11 de la Ley 19.300, y sobre la base de los antecedentes que constan en el \nexpediente de la evaluación, debe indicarse que el proyecto "Depósito de Relaves Filtrados Doña Rosa” \nno genera ni presenta ninguno de tales efectos, características y circunstancias.  \n6.-    Que, en el proceso de evolución de proyecto " Depósito de Relaves Filtrados Doña Rosa”, el titular \nha adquirido los siguientes compromisos ambientales voluntarios:  \nEl proyecto contempla el monitoreo de aguas superficiales y subterráneas. Respecto a la periodicidad de \nmonitoreo, este será cuatrimestral durante los tres primeros años de operación del proyecto. Una vez \ncumplidos los tres años iniciales, se analizarán los resultados. Sobre la base de dicho análisis el titular \npropondrá fundadamente cambios a los parámetros, puntos y frecuencias de monitoreo, si es que los \nresultados así lo ameritan.  \nEn la siguiente tabla se presentan las coordenadas de los puntos de control de calidad de aguas, tanto \nsuperficiales como subterráneas.',
    '1). \n4.2 Del Proyecto de Depósito de Relaves \n4.2.1 Definición \n\x7f Cierre: Hecho que el depósito de relaves deje de operar por un plazo mayor de dos años o en forma \ndefinitiva o cuando se da por terminada su  vida útil y se han efectuado las acciones tendientes a \nasegurar la obra en el tiempo.  \n\x7f Proyecto de Depósitos de Relaves: el conjunto de estudios técnicos requeridos para la definición de \nun sistema de disposición de relaves, incluyendo etapas de investigación, prospección, diseño, \nevaluación y construcción, cuyos resultados se encuentran en una serie de documentos que para \ngarantizar la estabilidad física y química del depósito y su entorno, con el fin de proteger a las \npersonas, bienes y medio ambiente. (Art. 5). \n\x7f Cierre  final:  Conclusión  definitiva  de  las  actividades  para  el  cierre  de  todas  las labores, áreas \ne instalaciones de una unidad minera, que por razones operativas, no hayan podido cerrarse \ndurante la etapa productiva o comercial, de modo tal que se garantice  el  cumplimiento  de  los  \nobjetivos  de  cierre  contemplados  en  el  Plan  de Cierre  de  Minas  aprobado  y  cuya  adecuada  \nejecución  ha  sido  verificada  a  través de  una  auditoría  integral  dispuesta  por  la  autoridad  \ncompetente,  sin  perjuicio  de las actividades de post cierre que deberán continuar ejecutándose en \nel marco de la legislación ambiental vigente.  \n\x7f Estabilidad física: Comportamiento estable en el corto, mediano y largo plazo de los componentes o',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

json

• Dataset: json
• Size: 1,628 training samples
• Columns: query, sentence, and label
• Approximate statistics based on the first 1000 samples:

  	query	sentence	label
  type	string	string	int
  details	min: 9 tokens mean: 25.12 tokens max: 69 tokens	min: 44 tokens mean: 232.21 tokens max: 256 tokens	0: ~59.80% 1: ~40.20%

• Samples:

  query	sentence	label
  ¿Cuál es el volumen máximo estimado de aguas servidas generadas por el personal durante la etapa de construcción del proyecto?	3.11.5.2. Efluentes Líquidos Etapa de Construcción La única generación de residuos líquidos, corresponderá a las aguas servidas generadas por el personal que trabajará en la etapa de construcción del proyecto, con un volumen máximo estimado de 6,0 m3/día. El personal de construcción se alojará en las instalaciones existentes en la faena de SCMET. Por lo que utilizará los servicios sanitarios que se encuentran en operación en el campamento de SCMET. Durante la jornada de trabajo en terreno, los trabajadores utilizarán los servicios higiénicos de la sala de cambio existente, ubicada en las inmediaciones del portal Doña Rosa. En atención a lo anterior, no se requerirá de la construcción de nuevas instalaciones sanitarias adicionales a las ya existentes en la faena. Etapa de Operación Dadas las características del proceso productivo, no se descargarán residuos industriales líquidos durante esta etapa. Toda el agua resultante del proceso de filtrado del relave será recircul...	1
  ¿Dónde no deben ser depositados los materiales de baja calidad para evitar problemas de inestabilidad?	Esto podría incluir material afectado por Steam Heated o suelos asociados a depósitos cuaternarios. Para evitar problemas de inestabilidad, estos materiales de baja calidad no deben ser depositados : ni al pie del botadero Sur; ni al fondo de la cuenca en donde se emplazará el botadero Sur (donde hay mayor espesor de materiales aluviales y piroclásticos); ni bajo el área donde estará emplazado el depósito de relaves filtrados.	1
  ¿Cuál es la altura máxima del botadero Cachinalito?	25 Las características geométricas de los botaderos existentes se presentan se indican en la T abla 18 y corresponden a las características finales de construcción del botadero. En general , su crecimiento se realizará alcanzando rápidamente su cota final de coronamiento y luego se avanzará frontalmente con una plataforma pareja, hasta lograr la geometría final indicada. Tabla 18. Características Geométricas de Botaderos existentes Botadero Parámetros Altura Máxima Longitud Media Ancho Medio Angulo de Talud (m) (m) (m) (°) 1 57 440 270 34 2 55 390 360 34 3 58 420 330 26 4 96 230 160 34 5 110 340 200 36 6 66 240 165 37 7 44 550 435 40 Las características geométricas del botadero Cachinalito se presenta a continuación: Tabla 19. Característica Geométricas Botadero Cachinalito Parámetros Botadero Elevación (msnm) Altura Máxima (m) Longitud Media (m) Ancho Medio (m) Inclinación Talud (H:V) Volumen Final (m3) Cachinalitoa 2710 25 270 1...	1

• Loss: CoSENTLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "pairwise_cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• learning_rate: 2e-05
• num_train_epochs: 100
• warmup_ratio: 0.1
• fp16: True
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 100
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss
2.3902	100	4.7321
4.7805	200	2.4273
7.1463	300	0.9425
9.5366	400	0.2229
11.9268	500	0.1093
14.2927	600	0.0061
16.6829	700	0.0053
19.0488	800	0.0057
21.4390	900	0.0005
23.8293	1000	0.0002
26.1951	1100	0.0
28.5854	1200	0.0
30.9756	1300	0.0001
33.3415	1400	0.0
35.7317	1500	0.0
38.0976	1600	0.0
40.4878	1700	0.0
42.8780	1800	0.0
45.2439	1900	0.0
47.6341	2000	0.0
50.0244	2100	0.0
52.3902	2200	0.0
54.7805	2300	0.0
57.1463	2400	0.0
59.5366	2500	0.0
61.9268	2600	0.0
64.2927	2700	0.0
66.6829	2800	0.0
69.0488	2900	0.0
71.4390	3000	0.0
73.8293	3100	0.0
76.1951	3200	0.0
78.5854	3300	0.0
80.9756	3400	0.0
83.3415	3500	0.0
85.7317	3600	0.0
88.0976	3700	0.0
90.4878	3800	0.0
92.8780	3900	0.0
95.2439	4000	0.0
97.6341	4100	0.0

Framework Versions

• Python: 3.10.16
• Sentence Transformers: 3.3.1
• Transformers: 4.48.1
• PyTorch: 2.5.1+cu124
• Accelerate: 1.3.0
• Datasets: 3.2.0
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CoSENTLoss

@online{kexuefm-8847,
    title={CoSENT: A more efficient sentence vector scheme than Sentence-BERT},
    author={Su Jianlin},
    year={2022},
    month={Jan},
    url={https://kexue.fm/archives/8847},
}