erax-ai

EraX-Smile-UnixSex-F5: Giving F5-TTS a Unisex Vietnamese Twist (with Online Zero-Shot Voice Cloning!) ✨ This model is built upon the fantastic F5-TTS architecture (arXiv:2410.06885). To teach it the beautiful nuances of Vietnamese, we embarked on a fine-tuning adventure using a pretty hefty dataset: over 2,700,000 Vietnamese-only samples! This includes a mix of public data and a significant 1000-hour private dataset (we're incredibly grateful for the usage rights! 🙏). Fully open source codes https://github.com/EraX-AI/viF5TTS/tree/main/src The base F5-TTS model was pretrained with Emilia dataset which is under BY-NC 4.0 license (non-commercial). Sorry for any inconvenient. We also have model that is trained from scratch for commercial use. Please contact us for further information. This model has been putting in the work! It's powered through approximately 12 epochs and some until almost overfit. It's been quite the ride – almost a full week of number crunching, complete with the occasional fiery crash and burn 🔥😅, but we're super proud of how far it's come! Our hope is that EraX-Smile-UnixSex-F5 proves to be a useful contribution to the community for ethical and creative purposes. Okay, moment of truth. Here's a sample voice we fed into the model (the "reference"): body { font-family: Arial, sans-serif; max-width: 800px; margin: 0 auto; padding: 20px; } .audio-container { margin-bottom: 30px; padding: 15px; border: 1px solid #e0e0e0; border-radius: 8px; background-color: #f9f9f9; } h2 { color: #333; } audio { width: 100%; margin: 10px 0; } .description { margin-top: 5px; color: #555; } Text: "Ai đã đến Hàng Dương, đều không thể cầm lòng về những nấm mộ chen nhau, nhấp nhô trải khắp một vùng đồi. Những nấm mộ có tên và không tên, nhưng nấm mộ lấp ló trong lùm cây, bụi cỏ." Text: "Sáng 18-4, cơ quan chức năng Quảng Ninh cho biết hiện cơ quan Cảnh sát điều tra Công an tỉnh Quảng Ninh đang tiếp tục truy bắt Bùi Đình Khánh, 31 tuổi, tay buôn ma túy đã xả súng làm một chiến sĩ Công an hi sinh." Text: "Người người hô hào thay đổi phương pháp giảng dạy. Bộ giáo dục và đào tạo Việt Nam không thiếu những dự án nhằm thay đổi diện mạo giáo dục nước nhà. Nhưng trong khi những thành quả đổi mới còn chưa kịp thu về, thì những ví dụ điển hình về bước lùi của giáo dục ngày càng hiện rõ." Text: "Tại lễ xuất quân, Thứ trưởng Lê Văn Tuyến cho hay chiều 28.3, Myanmar đã trải qua thảm kịch động đất mạnh nhất từ trước tới nay, gây thiệt hại lớn về người và tài sản, gây ra nhiều dư chấn tại Thái Lan, Ấn Độ và Trung Quốc... Tính đến ngày 29.3, đã có hơn 1.000 người thiệt mạng và hơn 2.300 người bị thương, nhiều người còn mất tích và ước tính con số thương vong sẽ tiếp tục tăng lên." This repo has 4 models, please try them all. - model42000.safetensors - model45000.safetensors - model48000.safetensors - overfit.safetensors The code that wrangles this thing lives over on our GitHub: (EraX Smile Github). Give it a visit! Getting started is hopefully not too painful. After downloading this repo and cloning our GitHub, you can try something like this: For full Web interface and control with Gradio, please clone and use the original repository of F5-TTS Github We use the cool library from Vinorm Team for Vietnamese text normalization. What's Next? 🤔 The EraX Team (that's us!) are always tinkering and trying to make things better (or at least, less broken!). We hope to bring more updates your way. Let us know what you think – feedback, bug reports, or even just saying hi is always welcome! ⚠️ Important Note on Responsible Use ⚠️ - Voice cloning technology is powerful and comes with significant ethical responsibilities. - Intended Use: This model is intended for creative purposes, accessibility tools, personal projects, and applications where consent is explicit and ethical considerations are prioritized. - Prohibited Use: We strongly condemn and strictly prohibit the use of this model for any malicious or unethical purposes, including but not limited to: - Creating non-consensual deepfakes or impersonating individuals without permission. - Generating misinformation, fraudulent content, or defamatory material. - Harassment, abuse, or any form of criminal activity. - User Responsibility: By using this model, you agree to do so responsibly and ethically. You are solely responsible for the content you generate and ensuring it complies with all applicable laws and ethical standards. The creators (EraX Team) disavow any responsibility for misuse of this model. Please use this technology thoughtfully and ethically. ⚠️ Lưu ý Quan trọng về Việc Sử dụng có Trách nhiệm ⚠️ - Sức mạnh và Trách nhiệm: Công nghệ nhân bản giọng nói sở hữu sức mạnh to lớn và đi kèm với những trách nhiệm đạo đức hết sức quan trọng. - Mục đích Sử dụng Dự kiến: Mô hình này được tạo ra nhằm phục vụ các mục đích sáng tạo, phát triển công cụ hỗ trợ tiếp cận, thực hiện dự án cá nhân và các ứng dụng khác nơi có sự đồng thuận rõ ràng từ các bên liên quan và các yếu tố đạo đức luôn được đặt lên hàng đầu. - Nghiêm cấm Sử dụng Sai trái: Chúng tôi cực lực lên án và nghiêm cấm tuyệt đối việc sử dụng mô hình này cho bất kỳ mục đích xấu xa, phi đạo đức nào, bao gồm nhưng không giới hạn ở: - Tạo ra deepfake hoặc mạo danh người khác khi chưa được sự cho phép hoặc đồng thuận rõ ràng. - Phát tán thông tin sai lệch, tạo nội dung lừa đảo hoặc các tài liệu mang tính phỉ báng, bôi nhọ. - Thực hiện hành vi quấy rối, lạm dụng hoặc bất kỳ hoạt động tội phạm nào khác. - Trách nhiệm của Người dùng: Khi sử dụng mô hình này, bạn cam kết hành động một cách có trách nhiệm và tuân thủ các chuẩn mực đạo đức. Bạn phải chịu trách nhiệm hoàn toàn về nội dung do mình tạo ra và đảm bảo rằng nội dung đó tuân thủ mọi quy định pháp luật hiện hành và các tiêu chuẩn đạo đức. Đội ngũ phát triển (Nhóm EraX) hoàn toàn không chịu trách nhiệm cho bất kỳ hành vi lạm dụng nào đối với mô hình này. Lời kêu gọi: Xin hãy sử dụng công nghệ này một cách có suy xét, thận trọng và đạo đức. License Stuff 📜 We're keeping it simple with the MIT License for our codes, following in the footsteps of giants like Whisper. Use it, break it, hopefully make cool things with it! Unfortunelately, the base F5-TTS model was pretrained with Emilia dataset which is under BY-NC 4.0 license (non-commercial). Sorry for any inconvenient. Feeling Generous? (Citation) 🙏 Did this model actually help you? Or maybe just provide a moment's amusement? If so, a star ⭐ on our GitHub repo would totally make our day! And if you're writing something fancy (like a research paper) and want to give us a nod, here's the bibtex snippet: