在预训练和微调中使用广泛的文本数据来训练 LLM; LLM 的规模可扩展到包含数百亿甚至数千亿个参数。
论文标题:Make Knowledge Computable: Towards Differentiable Neural-Symbolic AI 机构:加利福尼亚大学 作者:Ziniu Hu 论文地址:https://escholarship.org/uc/item/3ft4t0nj
设计新型推理模块:设计可微分的神经模块,能够进行符号推理,包括知识图谱推理和复杂的逻辑推理。 通过自监督学习:从结构化和符号知识库中获取自监督信号来训练神经模型,无需额外的标注。 跨领域泛化:神经 - 符号系统的模块化设计天然有助于更好地进行分布外、词汇外、跨语言和跨类型的泛化。
论文标题:Artificial Intelligence for Data-centric Surveillance and Forecasting of Epidemics 机构:佐治亚理工学院 作者:Alexander Rodriguez 论文地址:https://repository.gatech.edu/entities/publication/aa292b79-26bb-4aec-a3f3-0fd87911ff74/full
作者:Viet Duong, Qiong Wu, Zhengyi Zhou, Hongjue Zhao, Chenxiang Luo, Eric Zavesky, Huaxiu Yao, Huajie Shao 论文地址:https://arxiv.org/pdf/2406.17931 项目地址:https://github.com/vduong143/CAT-KDD-2024
机构:中国科学技术大学、华为 作者:Mingjia Yin, Hao Wang, Wei Guo, Yong Liu, Suojuan Zhang, Sirui Zhao, Defu Lian, Enhong Chen 论文地址:https://arxiv.org/pdf/2405.17795 项目链接:https://anonymous.4open.science/r/KDD2024-86EA
机构:领英 作者:Fedor Borisyuk, Shihai He, Yunbo Ouyang, Morteza Ramezani, Peng Du, Xiaochen Hou, Chengming Jiang, Nitin Pasumarthy, Priya Bannur, Birjodh Tiwana, Ping Liu, Siddharth Dangi, Daqi Sun, Zhoutao Pei, Xiao Shi, Sirou Zhu, Kay Shen, Kuang-Hsuan Lee, David Stein, Baolei Li, Haichao Wei, Amol Ghoting, Souvik Ghosh 论文地址:https://arxiv.org/pdf/2402.11139
机构:佐治亚理工学院、加州理工学院 作者:Austin Wright, Duen Chau, Scott Davidoff 论文地址:https://dl.acm.org/doi/pdf/10.1145/3637528.3671596 项目链接:https://github.com/pixlise/NestedFusion.
机构:纽约州立大学石溪分校 作者:Brian Perozzi, Rami Al-Rfou, Steven Skiena 论文链接:https://arxiv.org/pdf/1403.6652 项目链接:https://github.com/phanein/deepwalk
机构:微软亚洲研究院 作者:Yu Zheng, Furui Liu, Hsun-Ping Hsieh 论文链接:http://chbrown.github.io/kdd-2013-usb/kdd/p1436.pdf