可以向人民法院申请撤销仲裁裁决，然后根据法院的裁定重新申请仲裁或向人民法院起诉。
仲裁是指民(商)事争议的双方当事人达成协议，自愿将争议提交选定的第三者根据一定程序规则和公正原则作出裁决，并有义务履行裁决的一种法律制度。
仲裁通常为行业性的民间活动，是一种私行为，即私人裁判行为，而非国家裁判行为，它与和解、调解、诉讼并列为解决民(商)事争议的方式。但仲裁依法受国家监督，国家通过法院对仲裁协议的效力、仲裁程序的制定以及仲裁裁决的执行和遇有当事人不自愿执行的情况时可按照审判地法律所规定的范围进行干预。
《中华人民共和国仲裁法》第九条规定仲裁实行一裁终局的制度。
裁决作出后，当事人就同一纠纷再申请仲裁或者向人民法院起诉的，仲裁委员会或者人民法院不予受理。裁决被人民法院依法裁定撤销或者不予执行的，当事人就该纠纷可以根据双方重新达成的仲裁协议申请仲裁，也可以向人民法院起诉。该法第五十八条当事人提出证据证明裁决有下列情形之一的，可以向仲裁委员会所在地的中级人民法院申请撤销裁决：
(一)没有仲裁协议的;
(二)裁决的事项不属于仲裁协议的范围或者仲裁委员会无权仲裁的;
(三)仲裁庭的组成或者仲裁的程序违反法定程序的;
(四)裁决所根据的证据是伪造的;
(五)对方当事人隐瞒了足以影响公正裁决的证据的;
(六)仲裁员在仲裁该案时有索贿受贿，徇私舞弊，枉法裁决行为的。人民法院经组成合议庭审查核实裁决有前款规定情形之一的，应当裁定撤销。人民法院认定该裁决违背社会公共利益的，应当裁定撤销。
第五十九条当事人申请撤销裁决的，应当自收到裁决书之日起六个月内提出。
第六十条人民法院应当在受理撤销裁决申请之日起两个月内作出撤销裁决或者驳回申请的裁定。
第六十一条人民法院受理撤销裁决的申请后，认为可以由仲裁庭重新仲裁的，通知仲裁庭在一定期限内重新仲裁，并裁定中止撤销程序。仲裁庭拒绝重新仲裁的，人民法院应当裁定恢复撤销程序。
根据上述规定和我国民事诉讼法的规定，陈某可以在收到仲裁裁决六个月内向仲裁地的中级法院申请撤销仲裁裁决，但要提供相关的证据，即陈某认为仲裁人员在仲裁该案时有索贿受贿，徇私舞弊，枉法裁决行为的等的证据如果确实，法院会撤销该仲裁裁决的。该裁决撤销后，陈某可以重新申请仲裁或向有管辖权的人民法院起诉。至于信用社已经申请了执行的问题，根据《仲裁法》第六十四条规定：一方当事人申请执行裁决，另一方当事人申请撤销裁决的，人民法院应当裁定中止执行。人民法院裁定撤销裁决的，应当裁定终结执行。撤销裁决的申请被裁定驳回的，人民法院应当裁定恢复执行。这样人民法院会作出中止裁决执行的裁定，中止执行。