Multiverso 是一种基于参数服务器(parameter server)的框架,可用于使用大量机器在大数据上训练机器学习模型。它目前是一个标准的 C++ 库,并且提供了一系列友好的编程接口,而且它也扩展了来自 Python 和 Lua 程序的调用。通过这些易于使用的 API,机器学习研究者和实践者不再需要担心系统的流程问题,比如分布式模型存储和操作、进程间和线程间通信、多线程管理等等。这样,研究者们就能够将重心放到机器学习逻辑上面了:数据、模型和训练。
了解更多关于 Multiverso 的情况,请查看 http://www.dmtk.io
项目地址:https://github.com/Microsoft/Multiverso
版本
Linux(已在 Ubuntu 14.04 测试过)
sudo apt-get install libopenmpi-dev openmpi-bin build-essential cmake git git clone https://github.com/Microsoft/multiverso.git && cd multiverso mkdir build && cd build cmake .. && make && sudo make install
Windows
使用 Visual Studio 2013 打开 Multiverso.sln 并 build。
相关项目
目前基于 Multiverso 的分布式系统:
lightLDA:用于大规模主题建模的可扩展、高速、轻量级系统
distributed_word_embedding:用于词嵌入的分布式系统
distributed_word_embedding :用于词嵌入的分布式系统D
distributed_skipgram_mixture :用于多义词嵌入的分布式 skipgram mixture