I was able to figure out my design matrix issue. I had not originally appreciated that there were no data sets from a particular class.
Thanks!
-Tim
FreeSurfer experts,
I am attempting to use the two stage model for longitudinal analysis, however I keep receiving an error message that my design matrix is poorly scaled. I belive I have cross-checked my qdec, fsgd, design matrix, and contrast files and they all match so I do not think the problem is a mismatch. I am wondering if I made some sort of mistake in my script design or design matrix creation...
Anyway here is the command line input:
mri_glmfit --glmdir lh.AllSite.gender.group.Age.thickness.fwhm10.twoStage.glmdir --X DOSSDS.twoStage_AllSite_Gender_Group_Age.dat --y lh.testretest.thickness-pc1.stack.fwhm10.mgh --C age_AcctGroup_AcctSite_AcctGender_twoStage.DOSSDS.mtx --C DiffDiagnosis_ControlMore_AcctSite_AcctGender_AcctAge_twoStage.DOSSDS.mtx --C DiffDiagnosis_ControlMore_AgeSlope_AcctSite_AcctGender_twoStage.DOSSDS.mtx --C DiffGender_MaleMore_AcctSite_AcctDiagnosis_AcctAge_twoStage.DOSSDS.mtx --C DiffGender_MaleMore_AgeSlope_AcctSite_AcctDiagnosis_twoStage.DOSSDS.mtx --label lh.testretest.fsaverage.cortex.label --surf fsaverage lh
The error message is attached within file AllSite_twoStageLongitudinal_DsgnMtxErr.txt
Additionally I've included my analysis script, all timepoint qdec file, temporal average qdec file, fsgd file, and design matrix.
-Tim
Timothy Hendrickson Department of Psychiatry University of Minnesota Office: 612-624-6441 Mobile: 507-259-3434 (texts okay)
Design matrix ------------------ 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 12.600 0.000; 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 13.800 0.000 0.000 0.000; 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 12.500 0.000 0.000; 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 17.200 0.000; 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 16.295 0.000 0.000 0.000; 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 17.800 0.000 0.000 0.000; 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 12.495 0.000; 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 11.095 0.000 0.000; 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 15.895 0.000; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 16.665 0.000; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 11.745 0.000 0.000; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 12.500 0.000 0.000; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 13.995; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 14.740; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 11.265 0.000 0.000; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 16.240 0.000 0.000; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 13.415 0.000 0.000 0.000; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 14.835 0.000 0.000; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 14.240 0.000 0.000 0.000; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 11.835 0.000 0.000 0.000; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 16.825 0.000 0.000; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 16.835 0.000 0.000; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 15.820; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 16.000 0.000 0.000 0.000; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 13.675 0.000; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 15.420; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 11.245 0.000; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 15.695; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 17.400 0.000 0.000 0.000; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 16.310 0.000; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 13.450; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 12.400; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 10.955 0.000 0.000 0.000; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 12.410 0.000 0.000 0.000; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 12.905 0.000 0.000 0.000; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 11.210 0.000; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 15.500; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 12.200 0.000; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 16.305; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 13.435 0.000; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 14.895 0.000; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 16.795 0.000 0.000 0.000; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 11.500 0.000 0.000 0.000; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 17.900 0.000 0.000 0.000; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 14.985 0.000 0.000 0.000; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 16.390 0.000 0.000 0.000; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 16.180; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 13.380 0.000 0.000 0.000; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 11.200; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 14.090 0.000 0.000 0.000; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 16.790 0.000 0.000 0.000; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 13.090; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 13.090; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 14.685 0.000 0.000 0.000; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 16.085 0.000 0.000 0.000; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 13.810 0.000; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 17.885 0.000; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 14.900 0.000; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 11.000; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 16.995 0.000; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 12.595 0.000 0.000 0.000; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 16.200 0.000 0.000 0.000; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 14.950 0.000; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 14.490 0.000; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 11.495 0.000 0.000 0.000; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 17.295 0.000 0.000 0.000; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 11.595 0.000; 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 16.415 0.000 0.000; 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 16.605 0.000 0.000; 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 15.605 0.000 0.000; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 14.600; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 17.600; 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 17.005 0.000 0.000; 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 15.705 0.000 0.000; 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 17.585 0.000 0.000 0.000; 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 13.795 0.000; 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 13.690 0.000 0.000; 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 16.190 0.000 0.000 0.000; 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 14.400 0.000; 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 17.605 0.000; 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 17.210 0.000 0.000; 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 11.090 0.000 0.000; 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 13.495 0.000 0.000 0.000; 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 17.195 0.000 0.000; 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 15.595; 0.000 0.000 0.000 0.000 0.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 13.400 0.000 0.000; -------------------------------- ERROR: matrix is ill-conditioned or badly scaled, condno = 1e+08 -------------------------------- Possible problem with experimental design: Check for duplicate entries and/or lack of range of continuous variables within a class. If you seek help with this problem, make sure to send:
*[image: Attachment:] http://www.mail-archive.com/freesurfer@nmr.mgh.harvard.edu/msg50287/AllSite_longAnalysis_11_16_16_noYears.table.dat AllSite_longAnalysis_11_16_16_noYears.table.dat http://www.mail-archive.com/freesurfer@nmr.mgh.harvard.edu/msg50287/AllSite_longAnalysis_11_16_16_noYears.table.dat* *Description:* Binary data
*[image: Attachment:] http://www.mail-archive.com/freesurfer@nmr.mgh.harvard.edu/msg50287/cross.AllSite_longAnalysis_11_16_16_noYears.table.dat cross.AllSite_longAnalysis_11_16_16_noYears.table.dat http://www.mail-archive.com/freesurfer@nmr.mgh.harvard.edu/msg50287/cross.AllSite_longAnalysis_11_16_16_noYears.table.dat* *Description:* Binary data
*[image: Attachment:] http://www.mail-archive.com/freesurfer@nmr.mgh.harvard.edu/msg50287/DOSSDS.twoStage_AllSite_Gender_Group_Age.dat DOSSDS.twoStage_AllSite_Gender_Group_Age.dat http://www.mail-archive.com/freesurfer@nmr.mgh.harvard.edu/msg50287/DOSSDS.twoStage_AllSite_Gender_Group_Age.dat* *Description:* Binary data
*[image: Attachment:] http://www.mail-archive.com/freesurfer@nmr.mgh.harvard.edu/msg50287/twoStageLongitudinal_AllSite_Gender_Group_Age.fsgd twoStageLongitudinal_AllSite_Gender_Group_Age.fsgd http://www.mail-archive.com/freesurfer@nmr.mgh.harvard.edu/msg50287/twoStageLongitudinal_AllSite_Gender_Group_Age.fsgd* *Description:* Binary data
#!/bin/bash
#Author Timothy Hendrickson #Modified last -July 12, 2016
#This is a script which will run the two-stage model from Freesurfer.
#debugging set -x
# set nice priority to 19 for given job renice -n 19 -p $$
# set command argument to determine hemisphere hemi=$1 #will accept '$hemi' or 'lh'
#set qdec file for first stage qdec=AllSite_longAnalysis_11_16_16_noYears.table.dat #set qdec file for second stage tempAvgQdec=cross.AllSite_longAnalysis_11_16_16_noYears.table.dat
#set fsgd file for second stage, created in part by performing the following command to average covariates #fsgdfile=twoStageLongitudinal_AllSite_Gender_Group_StanAges.fsgd fsgdfile=twoStageLongitudinal_AllSite_Gender_Group_Age.fsgd #set data dir and SUBJECTS_DIR for freesurfer datadir=`pwd -P` SUBJECTS_DIR=$datadir
#set base up to be used later when determining .mgh and .glmdir base=$hemi.AllSite.gender.group.Age.thickness.fwhm10.twoStage smooth=10
# First stage: Prepare the Data long_mris_slopes --qdec $qdec --meas thickness --hemi $hemi --do-avg --do-rate --do-pc1 --do-spc --do-stack --do-label --time age --qcache fsaverage --sd $SUBJECTS_DIR
#Second stage: Perform tests on data.
#long_mris_slopes: Computes slope maps (e.g. of thickness) in a longitudinal study. #The slope is computed within subject from the longitudinally processed #results (taken from the <tpNid>.long.<template> directories) and the #output is written into the subjects <template>/surf directory for further #processing
long_mris_slopes --qdec $tempAvgQdec \ --meas thickness \ --hemi $hemi \ --sd $SUBJECTS_DIR \ --do-pc1 --do-label \ --generic-time \ --fwhm $smooth \ --qcache fsaverage \ --stack-pc1 $hemi.testretest.thickness-pc1.stack.mgh \ --isec-labels $hemi.testretest.fsaverage.cortex.label
mri_glmfit \ --glmdir $base.glmdir \ --X DOSSDS.twoStage_AllSite_Gender_Group_Age.dat \ --y $hemi.testretest.thickness-pc1.stack.fwhm${smooth}.mgh \ --C age_AcctGroup_AcctSite_AcctGender_twoStage.DOSSDS.mtx \ --C DiffDiagnosis_ControlMore_AcctSite_AcctGender_AcctAge_twoStage.DOSSDS.mtx \ --C DiffDiagnosis_ControlMore_AgeSlope_AcctSite_AcctGender_twoStage.DOSSDS.mtx \ --C DiffGender_MaleMore_AcctSite_AcctDiagnosis_AcctAge_twoStage.DOSSDS.mtx \ --C DiffGender_MaleMore_AgeSlope_AcctSite_AcctDiagnosis_twoStage.DOSSDS.mtx \ --label $hemi.testretest.fsaverage.cortex.label \ --surf fsaverage $hemi
for i in abs pos neg do mri_glmfit-sim \ --glmdir ${base}.glmdir \ --cache 1.3 $i \ --cwp 0.05 \ --2spaces & done
_______________________________________________ Freesurfer mailing listFreesurfer@nmr.mgh.harvard.eduhttps://mail.nmr.mgh.harvard.edu/mailman/listinfo/freesurfer
The information in this e-mail is intended only for the person to whom it is addressed. If you believe this e-mail was sent to you in error and the e-mail contains patient information, please contact the Partners Compliance HelpLine athttp://www.partners.org/complianceline . If the e-mail was sent to you in error but does not contain patient information, please contact the sender and properly dispose of the e-mail.
Timothy Hendrickson Department of Psychiatry University of Minnesota Office: 612-624-6441 Mobile: 507-259-3434 (texts okay)